No description
  • Rust 96.4%
  • Shell 3.6%
Find a file
Alatar 9f7f2f5486 Silnik wprost pod adresem proxy z /running zamiast /upstream: odpytywanie przez llama-swap zerowało TTL
llama-swap v262 ustawia lastUse przy każdym zapytaniu przez proces modelu, więc /upstream/<model>/metrics
co 0,5 s blokowało zwolnienie modelu. Sprawdzone 2026-10-22 na Strata live: TTL 120 s, model zwolniony po 120 s.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-22 18:59:20 +02:00
docs Silnik wprost pod adresem proxy z /running zamiast /upstream: odpytywanie przez llama-swap zerowało TTL 2026-10-22 18:59:20 +02:00
scripts Repo samodzielne: dokumentacja, CLAUDE.md, HANDOFF.md, skrypt wdrożenia, Cargo.lock, testy 2026-10-11 22:09:56 +02:00
src Silnik wprost pod adresem proxy z /running zamiast /upstream: odpytywanie przez llama-swap zerowało TTL 2026-10-22 18:59:20 +02:00
.gitignore Szkielet dashboardu TUI Strata live (ratatui): sprzęt, llama-swap, silnik 2026-10-11 19:47:12 +02:00
Cargo.lock Repo samodzielne: dokumentacja, CLAUDE.md, HANDOFF.md, skrypt wdrożenia, Cargo.lock, testy 2026-10-11 22:09:56 +02:00
Cargo.toml Szkielet dashboardu TUI Strata live (ratatui): sprzęt, llama-swap, silnik 2026-10-11 19:47:12 +02:00
CLAUDE.md Silnik wprost pod adresem proxy z /running zamiast /upstream: odpytywanie przez llama-swap zerowało TTL 2026-10-22 18:59:20 +02:00
HANDOFF.md HANDOFF: nie uruchamiać na lokalnej konsoli Strata live (zakleszczenie nvidia_drm 2026-10-12) 2026-10-12 09:27:43 +02:00
README.md Silnik wprost pod adresem proxy z /running zamiast /upstream: odpytywanie przez llama-swap zerowało TTL 2026-10-22 18:59:20 +02:00

strata-dash

Dashboard TUI (Rust, ratatui 0.29) dla Strata live: sprzęt (GPU, CPU, RAM, dysk, sieć), llama-swap i silnik Strata. Działa lokalnie na maszynie ze Stratą (pc-alatar-01-linux), tylko do odczytu: nie ładuje modeli, nic nie zapisuje poza własną pamięcią. Powstał jako narzędzie obok repo coder-llm (git.chaos-it.pl/b.zablocki/coder-llm), ale jest samodzielny.

Szybki start

scripts/deploy.sh                                 # buduje na glitch, kopiuje na pc-alatar-01-linux do /tmp/strata-dash, robi próbę
ssh -t pc-alatar-01-linux /tmp/strata-dash        # interaktywnie
ssh pc-alatar-01-linux '/tmp/strata-dash --dump 1'   # jedna klatka jako tekst (zakładki 1-4), bez terminala

Strata live trzyma system w RAM-ie, więc plik trzeba wgrywać po każdym restarcie maszyny.

Zakładki i klawisze

  1. przegląd: paski sprzętu (GPU moc/obciążenie/VRAM/temperatura, CPU moc/obciążenie/Tctl, RAM, RSS strata, swap, NVMe, sieć), energia, wykres mocy (GPU, CPU, suma), wykres dekodu i prefillu (dwie osie), panel silnika (model, KV, sloty ekspertów, stan, ostatnie żądanie).
  2. sesje i silnik: tabela żądań z logu silnika, session-gate.log, surowy log silnika z kolorami.
  3. log llama-swap: /logs.
  4. na żywo: stan generowania, postęp prefillu, ostatnie żądanie, ogon generowanego tekstu.

1-4 zakładki, q / Esc wyjście, r zeruj liczniki energii, p pauza liczników, + / - delta ściany (±1 W), ↑ ↓ PgUp PgDn End przewijanie logów, / filtr (Enter zatwierdza, Esc czyści).

Co pokazuje i skąd

Pełna lista pól i reguł: docs/zrodla-danych.md. W skrócie: nvidia-smi, RAPL (sudo -n), k10temp, /proc, llama-swap :8081 (/running, /logs) oraz, tylko dla modelu w stanie ready, /metrics i /status wprost z silnika (adres proxy z /running; przez /upstream dashboard ładowałby model i blokował jego zwalnianie po TTL), a także /var/log/strata/*.log.

  • Dekod jest pokazywany w tok/s oraz w rundach/s (rundy = wygenerowane − zaakceptowane drafty), bo akceptacja draftu MTP jest losowa.
  • Wykres dekodu/prefillu: kropka = zakończone żądanie, linia = trwające generowanie lub czytanie promptu (w obrębie jednego żądania, różne żądania nie są łączone). Prawa oś (prefill) jest przeskalowana ręcznie, bo ratatui ma jedną oś Y.
  • Ściana = GPU + CPU z czujników + stała delta (DEFAULT_PARASITIC_W w src/main.rs). Domyślnie 0 W: pomiar 2026-10-11 (watomierz 78,1 W w idle wobec 23,2 W CPU i 23,7 W GPU, czyli 31,2 W) uznano za niepewny. Straty zasilacza rosną z obciążeniem, więc to dolna granica.
  • Ostatnie żądanie (dekod, rundy, drafty, prefill) pochodzi z requests[0] i zostaje widoczne po zakończeniu generowania, bo silnik zeruje pola „na żywo” poza stanem generating.

Wymagania

  • Maszyna docelowa: Linux z bash, curl, nvidia-smi, sudo -n bez hasła (RAPL), llama-swap na 127.0.0.1:8081, katalog logów /var/log/strata.
  • Założenia sprzętowe wpisane na sztywno: dysk nvme0n1, czujniki k10temp i nvme w hwmon, RAPL intel-rapl:0, limit pakietu CPU 142 W (skala paska, Ryzen 7 5700X3D). Inny sprzęt: zmienić SAMPLER i stałe na górze src/main.rs.
  • Budowa: Rust (testowano cargo 1.96.1), ratatui 0.29, serde_json. Strata live nie ma Rusta, więc buduje się na innej maszynie (glitch) i kopiuje plik. Binarka nie może wymagać nowszego glibc niż 2.39 (Ubuntu 24.04 na Strata live); deploy.sh to sprawdza.

Testy

cargo test (7 testów jednostkowych: parser żądań z logu, segmenty wykresu, linie ostatniego żądania, postęp prefillu, przyrost liczników). Rysowanie sprawdza --dump. Interakcji klawiszami nie testuje nic automatycznie.

Struktura

src/main.rs             cały program: SAMPLER (skrypt bash), pollery (sprzęt, llama-swap/silnik, logi), App, rysowanie, testy
scripts/deploy.sh       budowa na hoście z Rustem + kopia na Strata live + próba --dump
docs/zrodla-danych.md   pola, endpointy, reguły bezpieczeństwa, wzory
CLAUDE.md, HANDOFF.md   wskazówki dla Claude Code i bieżący stan