- Rust 96.4%
- Shell 3.6%
llama-swap v262 ustawia lastUse przy każdym zapytaniu przez proces modelu, więc /upstream/<model>/metrics co 0,5 s blokowało zwolnienie modelu. Sprawdzone 2026-10-22 na Strata live: TTL 120 s, model zwolniony po 120 s. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com> |
||
|---|---|---|
| docs | ||
| scripts | ||
| src | ||
| .gitignore | ||
| Cargo.lock | ||
| Cargo.toml | ||
| CLAUDE.md | ||
| HANDOFF.md | ||
| README.md | ||
strata-dash
Dashboard TUI (Rust, ratatui 0.29) dla Strata live: sprzęt (GPU, CPU, RAM, dysk, sieć), llama-swap i silnik Strata. Działa lokalnie na
maszynie ze Stratą (pc-alatar-01-linux), tylko do odczytu: nie ładuje modeli, nic nie zapisuje poza własną pamięcią.
Powstał jako narzędzie obok repo coder-llm (git.chaos-it.pl/b.zablocki/coder-llm), ale jest samodzielny.
Szybki start
scripts/deploy.sh # buduje na glitch, kopiuje na pc-alatar-01-linux do /tmp/strata-dash, robi próbę
ssh -t pc-alatar-01-linux /tmp/strata-dash # interaktywnie
ssh pc-alatar-01-linux '/tmp/strata-dash --dump 1' # jedna klatka jako tekst (zakładki 1-4), bez terminala
Strata live trzyma system w RAM-ie, więc plik trzeba wgrywać po każdym restarcie maszyny.
Zakładki i klawisze
- przegląd: paski sprzętu (GPU moc/obciążenie/VRAM/temperatura, CPU moc/obciążenie/Tctl, RAM, RSS strata, swap, NVMe, sieć), energia, wykres mocy (GPU, CPU, suma), wykres dekodu i prefillu (dwie osie), panel silnika (model, KV, sloty ekspertów, stan, ostatnie żądanie).
- sesje i silnik: tabela żądań z logu silnika,
session-gate.log, surowy log silnika z kolorami. - log llama-swap:
/logs. - na żywo: stan generowania, postęp prefillu, ostatnie żądanie, ogon generowanego tekstu.
1-4 zakładki, q / Esc wyjście, r zeruj liczniki energii, p pauza liczników, + / - delta ściany (±1 W),
↑ ↓ PgUp PgDn End przewijanie logów, / filtr (Enter zatwierdza, Esc czyści).
Co pokazuje i skąd
Pełna lista pól i reguł: docs/zrodla-danych.md. W skrócie: nvidia-smi, RAPL (sudo -n), k10temp, /proc,
llama-swap :8081 (/running, /logs) oraz, tylko dla modelu w stanie ready, /metrics i /status wprost z silnika
(adres proxy z /running; przez /upstream dashboard ładowałby model i blokował jego zwalnianie po TTL), a także /var/log/strata/*.log.
- Dekod jest pokazywany w tok/s oraz w rundach/s (rundy = wygenerowane − zaakceptowane drafty), bo akceptacja draftu MTP jest losowa.
- Wykres dekodu/prefillu: kropka = zakończone żądanie, linia = trwające generowanie lub czytanie promptu (w obrębie jednego żądania, różne żądania nie są łączone). Prawa oś (prefill) jest przeskalowana ręcznie, bo ratatui ma jedną oś Y.
- Ściana = GPU + CPU z czujników + stała delta (
DEFAULT_PARASITIC_Wwsrc/main.rs). Domyślnie 0 W: pomiar 2026-10-11 (watomierz 78,1 W w idle wobec 23,2 W CPU i 23,7 W GPU, czyli 31,2 W) uznano za niepewny. Straty zasilacza rosną z obciążeniem, więc to dolna granica. - Ostatnie żądanie (dekod, rundy, drafty, prefill) pochodzi z
requests[0]i zostaje widoczne po zakończeniu generowania, bo silnik zeruje pola „na żywo” poza stanemgenerating.
Wymagania
- Maszyna docelowa: Linux z
bash,curl,nvidia-smi,sudo -nbez hasła (RAPL), llama-swap na127.0.0.1:8081, katalog logów/var/log/strata. - Założenia sprzętowe wpisane na sztywno: dysk
nvme0n1, czujnikik10tempinvmew hwmon, RAPLintel-rapl:0, limit pakietu CPU 142 W (skala paska, Ryzen 7 5700X3D). Inny sprzęt: zmienićSAMPLERi stałe na górzesrc/main.rs. - Budowa: Rust (testowano cargo 1.96.1),
ratatui 0.29,serde_json. Strata live nie ma Rusta, więc buduje się na innej maszynie (glitch) i kopiuje plik. Binarka nie może wymagać nowszego glibc niż 2.39 (Ubuntu 24.04 na Strata live);deploy.shto sprawdza.
Testy
cargo test (7 testów jednostkowych: parser żądań z logu, segmenty wykresu, linie ostatniego żądania, postęp prefillu, przyrost liczników).
Rysowanie sprawdza --dump. Interakcji klawiszami nie testuje nic automatycznie.
Struktura
src/main.rs cały program: SAMPLER (skrypt bash), pollery (sprzęt, llama-swap/silnik, logi), App, rysowanie, testy
scripts/deploy.sh budowa na hoście z Rustem + kopia na Strata live + próba --dump
docs/zrodla-danych.md pola, endpointy, reguły bezpieczeństwa, wzory
CLAUDE.md, HANDOFF.md wskazówki dla Claude Code i bieżący stan