Stalker Portal Manager

[Phil1988HB]

@tem_invictus ich habe im docker folgende Änderung temporär eingefügt, ggf. kannst du ja mal Feedback geben ob aus deiner Sicht plausibel.

STREAM_POLL_SECONDS = 1 -> STREAM_POLL_SECONDS = 5

sed -i 's/STREAM_POLL_SECONDS = 1.0/STREAM_POLL_SECONDS = 5.0/' /opt/app/backend/app/api/routes/jobs.py
sed -i 's/STREAM_POLL_SECONDS = 1.0/STREAM_POLL_SECONDS = 5.0/' /opt/app/backend/app/api/routes/notifications.py

Aktuell läuft es seit längerer Zeit stabil, CPU 10% - 30%...

 

[60plus]

@tem_invictus,

super Arbeit, danke dafür.

 

[Schille81]

Jap @ Phil1988HB...server reagiert.direkt schneller...evtl baut tem invictus das ja in das nächste update mit ein..greetz

 

[tem_invictus]

[3.7.2] - 2026-04-09​

Changed

• Version bumped to v3.7.2.
• Live jobs and notifications subscriptions are now centralized so the frontend opens fewer duplicate server-sent event streams.
• Proxy log live updates now use lighter stream signals, a slower 5s poll interval, and explicit details: trace searching to reduce SQLite and CPU load on weaker devices.
• Background maintenance now runs in the worker process instead of the API startup thread, which makes multi-worker API deployment safer.

Improved

• Added targeted composite SQLite indexes for hot jobs, notifications, job logs, and proxy log queries.
• Reduced duplicate list refetches after stream events and common mutations by updating frontend caches more directly.

ANMERKUNG:

Gerne mal testen, dass sollte die performance verbessern. Hoffentlich auch genug, um es auf Raspberry PIs besser laufen zu lassen.

 

[rockingwing]

3.7.2 ist bei mir leider komplett tot. 3.6.0 lief einwandfrei, wollte auf 3.7.2 upgraden, jetzt lädt nicht mal mehr die loginseite. keine fehler in den logs erkenntlich :/

EDIT: Hab das Image durchforstet, anscheinend hat sich der Nginx Port auf 17880 geändert... Läuft wieder

 

[60plus]

@tem_invictus,
auf meinem Pi4 mit 8GB und einer schnellen SD, läuft die v3.7.2 Version mit einer CPU Auslastung von ca 2-3% meim Mac Check, Vod Aufrufe zwischen 30-40% und TV mit
7-10% .
Auf meinem Raspi läuft imo nur dein Stalker Portal-Manager.

 

[tem_invictus]

Die Frage wäre ja, wie lief es vorher auf der 3.7.1 , damit man den Unterschied wüsste

 

[Phil1988HB]

Ich kann aber bestätigen, egal ob RPi3 oder RPi5, verschiedene SD Karten, keine weiteren Instanzen auf dem RPi3 ein paar wenige auf dem RPi5...

3.7.1 STREAM_POLL_SECONDS = 1 nach 6-10h CPU 99% -> STREAM_POLL_SECONDS = 5 nach Tagen 5-20% (pendelnd)
3.7.2 "Out of the Box" bisher top

...und ich meine eigentlich macht/darf das ja kein Last verursachen. Selbst beim Playlist erstellen passiert da nicht so viel...

Aber Danke für die Anpassung, dafür ist das hier doch da...

 

[tem_invictus]

Das täuscht ein wenig, da passieren im Hintergrund schon einige Sachen in Verbindung mit der Datenbank.
Aber dann ist doch gut, wenn das Update was gebracht hat.

 

[Volker4123686]

habe vor dem Update etwa 12 Prozent Last gemessen , jetzt mit 3.7.2 messe ich etwa 1 Prozent. Die Reaktionszeit beim Senderwechsel ist auch gefühlt schneller. Habe alles auf Raspberry 5 Es läuft darauf nur Portainer I O , der Portalmanager , Webmin und Openvpn

 

[klaus333]

Kann es nur bestätigen, Update bringt ganz klar eine Verbesserung in sachen Performance des Systems.

 

[Phil1988HB]

Das täuscht ein wenig, da passieren im Hintergrund schon einige Sachen in Verbindung mit der Datenbank.
Aber dann ist doch gut, wenn das Update was gebracht hat.

Da gebe ich dir 100% recht, wollte damit auch nicht sagen, dass hier nichts passiert, weiterhin "Top Job" - Nur das ggf. nicht jede Sekunde was passieren muss und damit die Last runter geht, unabhängig ob RPi oder High-End...

Mal als Feature Idee:

• Beliebigen Scanner oder eine Python, bash was auch immer als Pfad innerhalb der "Settings" hinterlegen zu können -> z.B. /home/name/scanner/doit.py
• 1-n Paramater mit Werten mitzugeben -> -input input.txt; -macs 1000, ...
• Nach dem Scan die MACs aufbereiten und im Frontend anzeigen nach Portal -> Portal1 mac1, mac2, mac3,... Portal2 mac1, mac2, ...
• Dann direkt in Portal (wenn vorhanden) in die DB schreiben
• Natürlich in Verbindung mit deiner Job-Logik

 

[seppfx]

Ich habe zwar keinen Vergleich bzgl. der Performance der einzelnen Versionen, kann aber sagen, es läuft top (Synology NAS und Windows)

 

[Phil1988HB]

@tem_invictus falls es von Interesse ist, die abgeschlossenen Jobs in der History haben ebenfalls einen Einfluss auf die Performance (wahrscheinlich wegen DB Aktivitäten), ab 100 merkt man es zumindest beim RPi3 schon. Kann man das löschen über nen "Schedule" laufen lassen? Danke.

 

[remz]

Wollte jetzt auch mal von der Version 2.22 auf die Version 3 umsteigen.
Aber egal was ich probiere, kann mich nicht einloggen. Komme bis zum login und nicht weiter

APP_ENV schon alles ausprobiert, PRODUCTION_TLS_TERMINATED true, false ...
Laut log ist alles OK, vielleicht kann ja mal jemand drüber schauen, ob ich was falsch eingestellt bzw. übersehen habe.

Spoiler: log

remz@portal-manager:~/portal-manager$ docker compose logs -f
portal-manager | ============================================================
portal-manager | IPTV Stalker Portal Manager v3.7.2 by tem_invictus
portal-manager | Startup mode: compact
portal-manager | ============================================================
portal-manager | [startup][2026-04-12 08:47:35 UTC] Writable data directory: OK
portal-manager | [startup][2026-04-12 08:47:35 UTC] Startup secret guard: OK
portal-manager | [startup][2026-04-12 08:47:36 UTC] Production TLS guard: OK
portal-manager | [startup][2026-04-12 08:47:36 UTC] Production admin credential guard: OK
portal-manager | [startup][2026-04-12 08:47:37 UTC] Database migrations: OK
portal-manager | [startup][2026-04-12 08:47:37 UTC] Launching services (api, worker, nginx)...
portal-manager | [startup][2026-04-12 08:47:37 UTC] Runtime log levels: supervisor=warn, uvicorn=warning
portal-manager | 127.0.0.1 - - [12/Apr/2026:08:47:41 +0000] "GET / HTTP/1.1" 200 2150 "-" "curl/8.14.1"
portal-manager | [startup][2026-04-12 08:47:41 UTC] Worker started (poll_interval=2s)
portal-manager | [startup][2026-04-12 08:47:41 UTC] Maintenance scheduler started (session_interval=60m, job_cleanup=24h, old_retention=30d, proxy_logs_retention=30d)
portal-manager | {"event":"maintenance.jobs_cleanup","interval_hours":24,"jobs_deleted_cancelled":0,"jobs_deleted_failed":0,"jobs_deleted_old":0,"jobs_deleted_success":0,"jobs_deleted_total":0,"retention_cancelled_days":30,"retention_failed_days":30,"retention_old_days":30,"retention_success_days":30,"ts":"2026-04-12T08:47:41.401743+00:00"}
portal-manager | {"event":"maintenance.proxy_logs_cleanup","interval_hours":24,"proxy_logs_deleted":0,"retention_days":30,"ts":"2026-04-12T08:47:41.427201+00:00"}
portal-manager | {"duration_ms":13,"event":"maintenance.db_maintenance","include_integrity_check":false,"interval_hours":24,"ok":true,"operations":["quick_check","checkpoint","optimize"],"ts":"2026-04-12T08:47:41.456311+00:00"}
portal-manager | {"duration_ms":22,"event":"maintenance.db_vacuum","interval_hours":168,"ok":true,"ts":"2026-04-12T08:47:41.499313+00:00"}
portal-manager | [startup][2026-04-12 08:47:42 UTC] API started (env=prod)
portal-manager | [startup][2026-04-12 08:47:42 UTC] Startup complete. Switching to runtime logs.
portal-manager | ------------------------------------------------------------
portal-manager | 127.0.0.1 - - [12/Apr/2026:08:47:46 +0000] "GET / HTTP/1.1" 200 435 "-" "curl/8.14.1"

Kann die docker-compose.yml & .env nicht anhängen, Fehlermeldung vom Board, keine Ahnung ...