CF-Karten Auslastung was ist normal, was ist zuviel

[maxx8888]

Hi,

Habe gestern mal ioTop auf meinen Igel IPC installiert und über Nacht die Lese/Schreib Zugriffe loggen lassen.
Das ist was heute morgen (ca. 8 Stunden akkumuliert) dabei rauskam:

Spoiler

Total DISK READ: 0.00 B/s | Total DISK WRITE: 0.00 B/s
TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND
198 be/4 root 0.00 B 34.71 M 0.00 % 0.43 % [kjournald]
2327 be/4 www-data 0.00 B 2.97 M 0.00 % 0.05 % apache2 -k start
2328 be/4 www-data 0.00 B 5.08 M 0.00 % 0.04 % apache2 -k start
6873 be/4 www-data 0.00 B 4.42 M 0.00 % 0.03 % apache2 -k start
6860 be/4 www-data 0.00 B 3.31 M 0.00 % 0.03 % apache2 -k start
3051 be/4 www-data 0.00 B 3.62 M 0.00 % 0.02 % apache2 -k start
6421 be/4 www-data 0.00 B 3.65 M 0.00 % 0.02 % apache2 -k start
26058 be/4 www-data 0.00 B 1996.00 K 0.00 % 0.02 % apache2 -k start
26052 be/4 www-data 0.00 B 2.64 M 0.00 % 0.01 % apache2 -k start
19102 be/4 root 0.00 B 0.00 B 0.00 % 0.01 % [flush-8:0]
2669 be/4 www-data 0.00 B 1688.00 K 0.00 % 0.01 % apache2 -k start
2325 be/4 www-data 0.00 B 1120.00 K 0.00 % 0.01 % apache2 -k start
716 be/4 root 0.00 B 40.00 K 0.00 % 0.00 % dhclient -v -pf /var/run/dhclient.eth0.pid -lf /var/lib/dhcp/dhclient.eth0.leases eth0

Natürlich würde ich gerne meine CF-Karte so schonend wie möglich betreiben und deshalb kommen mir ~55Mb schreiben relativ hoch vor.

Wobei 35Mb auf das Jornal von ext3 zurückzuführen ist.
Was der Apache Server da die ganze Zeit schreibt weiß ich nicht :-/

Habe ich nun was falsch konfiguriert auf meinen Igel oder sind diese Schreibzugriffe als normal anzusehen?
Wielange hält so eine CF-Karte durch?

Hat schon mal wer versucht den IPC komplett aus einem RamDrive zu betreiben?
Quasi die CF-Karte beim booten komplett in den Speicher lesen...

Grüsse,
Maxx

 

[aragorn]

AW: CF-Karten Auslastung was ist normal, was ist zuviel

apache2 schreibt eigentlich nur herrum wenn man das IPC WebInterface offen hat aber selbst dabei ist fraglich "wohin" es schreibt - wenn das /var/log/ ist und du ipc 11.5 installiert hast, wird dadurch die compactflash nicht belastet da tmp2ram.sh installiert sein müsste (wird standardmässig seit 11.5 installiert)

wozu willst du IPC in tmpfs ablegen? das eine hat mit dem anderen wie ich glaube nichts zu tun..
die cams werden einmal gestartet und liegen dann im ram - jedes programm was gestartet wurde liegt im ram ebenso die libs die es benutzt und häufig aufgerufene scripts also auch die watchdogs..
was würde sonst noch von ipc ständig aufgerufen werden? solange du kein webbrowser auf das IPC WebIf auf hast werden auch nicht die php dateien ständig geladen wobei das vermutlich ebenfals nur minimale datenzugriffe sind und das was apache2 schreibt sind dann eben /var/log/apache2/access.log aufgrund der ajax elemente im ipc webif, aber da das ja eigentlich durch tmp2ram im ram liegen sollte wird dadurch die cf auch nicht belastet - und wenn man das IPC WebIf nicht anspricht sollte da eigentlich sowieso nix belastet oder ins log geschrieben werden

 

[maxx8888]

AW: CF-Karten Auslastung was ist normal, was ist zuviel

Hi,

tmp2ram ist natürlich installiert.

Im ioTop sehe ich keinen Schreibzugriff von Oscam oder CCcam, aber das logging ist aktiv.
Es scheint daß alles was tmp2ram in den Ram schreibt, wird vom im ioTop sowieso nicht angezeigt.

Das heißt die 50Mb die da drin stehen sind tatsächlich auf die CF-Karte geschrieben worden.

Wie gesagt 35Mb werden vom ext3 Journal Dienst geschrieben, der Rest von Apache.

Deshalb auch die Frage ob es Sinn macht den ganzen IPC in den Ram zu laden "ala LiveCD" um auch diese Zugriffe wegzubekommen.

Hat einer von euch vielleicht auch schon mal mit ioTop gecheckt was alles auf die CF-Karte geschrieben wird?

 

[aragorn]

AW: CF-Karten Auslastung was ist normal, was ist zuviel

hattest du denn das IPC WebIf die ganze zeit auf weswegen auch apache2 angesprochen wurde??


IPC besteht nicht nur aus dem WebIf das vom apache2 verwaltet wird



"was" und "wohin" geschrieben wird zeigt iotop auch nicht, nur "welches prozess" und "wieviel" ... um deine fragen aber vernünftig beantworten zu können muss man
a) die umstände kennen, also musste mir auch meine fragen beantworten
b) "wohin" geschrieben wird


ob "iotop" tatsächlich nur die "echten" disk zugriffe anzeigt oder auch die, die im ram liegen - kann man ganz einfach herrausfinden indem man ein kleines script erstellt das alle 2 sekunden eine datei schreibt:

#!/bin/bash

while true; do
        echo "this is a test" > $1
        sleep 2
done

exit 0

dann das script ausführen: bash -x /tmp/iotest.sh /root/test.txt
oder zum prüfen ob iotop auch was anzeigt wenns ins tmpfs geht: bash -x /tmp/iotest.sh /tmp/test.txt


also.. zunächst mal "iotop" vernünftig ausführen:
nach starten die tasten o p und a drücken und sobald man einen prozess gefunden hat der viele I/O erzeugt,
(mit den pfeiltasten 'rechts' / ' links' kann man auswählen wonach iotop sortiert werden soll)
über eine weitere konsole prüfen was genau und wohin geschrieben wird:

strace -f -p <PID> -e trace=read,write

so, nun prüf ich das uns sehe erstmal "es wird nichts geschrieben" auch nicht nach 5 minuten..
aber sobald ich das IPC WebIf aufrufe wird verständlicherweise vom apache2 webserver etwas geschrieben (aber am meisten gelesen). das beobachten wir jetzt ein bischen..
dann öffne ich eine weitere konsole und gib den oben genannten strace befehl mit der PID vom apache2 ein der am meisten geschrieben hat, in meinem fall war das:
strace -f -p 16575 -e trace=read,write

so, das erschlägt einen erstmal weil da ne ganze menge angezeigt wird (kommt aber auch darauf an welche seite man im ipc webif auf hat) - eben nicht nur die php dateien die gelesen werden sondern auch das laden der libs die apache2 verwendet und ständige aufrufe (alle 10sek) von den ajax relevanten elementen:
/var/www/ipc/page/menue.php
/var/www/ipc/page/include/menue_access.php
/var/www/ipc/page/include/messages_recieve.php
/var/www/ipc/page/messages/msgs.txt
/var/www/ipc/page/messages/badwords.txt
/var/www/ipc/page/messages/smiley.txt
usw
aber insbesondere sehr viel zeuch das im cache landet oder dort abgehandelt wird..

die meisten php geschichten könnte man ggf auch mithilfe "

Sie müssen registriert sein, um Links zu sehen.

" cachen lassen, aber wie man sieht ist in meinem beispiel das meiste zeuchs vom Chat - wenn man den nicht brauch einfach ausschalten..


aber wie gesagt wird der apache2 aber auch nur angesprochen wenn man das IPC WebIf aufruft bzw offen hat - das sollte aber eigentlich nicht immer der fall sein - ich zumindest schliese meinen browser sobald ich ihn nicht mehr brauche und auch meine rechner werden über nacht ausgeschaltet..




du kannst auch eine "ala LiveCD" erstellen indem du dir zunächst eine eigene LiveCD erstellst:

Sie müssen registriert sein, um Links zu sehen.

dann partitionierst du deine CompactFlash in 2 bereiche:
- metaroot
- other

"metaroot" ist das debian system
"others" sind dateien/daten die du speicherst

dann unpackst du alles von deiner selbst erstellten LiveCD auf die "metaroot" partition und installierst manuell GRUB
danach musst du halt jedesmal eine neue LiveCD erstellen wenn du ein weiteres programm installieren willst - aber kannst dadurch optimal kontrollieren was tatsächlich geschrieben wird denn das geht dann nurnoch auf der "other" partition..
die IPC configs sowie die webif.db müsstest du dann aber eben auch auf die "other" partition legen bzw verlinken

DAS wäre eine "ala LiveCD"
oder du nimmst dir sowas wie

Sie müssen registriert sein, um Links zu sehen.

anstatt Debian



/EDIT: um die ajax geschichten von der festplatte (cf) fern zu halte gäbe es evtl. die möglichkeit über das /etc/init.d/varlog bei systemstart die /var/www/ipc/ dateien in ein tmpfs zu kopieren worauf dann apache2 zugreift.. problem dabei könnte aber die webif.db sein weil wenn das system einfach ausgeschaltet wird, sind alle geschrieben daten usw futsch... das hatte ich bei der entwicklung nämlich auch überlegt ob das sinnvoll wäre aber dann wieder fallen gelassen..

 

[maxx8888]

AW: CF-Karten Auslastung was ist normal, was ist zuviel

Hi Aragorn,

Danke für Deine perfekte Erklärung!

Ich habe das nun mal probiert.
Du hast recht, ich hatte sogar mehrere Webinterfaces offen. Wusste nicht das deshalb Apache anfängt zu schreiben.
Das ist mein kleinstes Problem. Ab sofort einfach Webinterface zu, wenn nicht in Verwendung!

Nachdem ich alle WebIf geschlossen hatte, habe ich nun mit ioTop (a,o,p) nochmals angesehen was geschrieben wird.

Der einzige Process der jetzt noch zu schreiben scheint ist: kjournald
Dafür aber wieder gleich recht viel... In ca. 10min Beobachtung 3Mb

strace kann zu diesem Process nicht attachen (Permission denied).

Vermutlich schreibt dieser Process aber auf jedem IPC, da es irgendwie mit dem Filesystem zusammenhängt...
Könntest Du das bestätigen? Ist das bei Dir auch so?


P.s:
Mit dem Textfile nach root oder temp schreiben werde ich noch testen und berichten!

 

[aragorn]

AW: CF-Karten Auslastung was ist normal, was ist zuviel

Der einzige Process der jetzt noch zu schreiben scheint ist: kjournald
Dafür aber wieder gleich recht viel... In ca. 10min Beobachtung 3Mb

strace kann zu diesem Process nicht attachen (Permission denied).

Vermutlich schreibt dieser Process aber auf jedem IPC, da es irgendwie mit dem Filesystem zusammenhängt...
Könntest Du das bestätigen? Ist das bei Dir auch so?

hm.. nein, zumindest nicht soviel - auf meinem raspberry nur 4k in 10min

was hast du denn alles unter ipc laufen bzw installiert?


diese

Sie müssen registriert sein, um Links zu sehen.

geschichte liegt am ext4 filesystem - es wird aber auch empfohlen journaling abzuschalten weil wegen weniger belastung/beanspruchung

ob dein laufwerk journal an hat kannst du über folgenden befehl feststellen:

dumpe2fs /dev/sda1 | grep journal

die ausgabe sähe dann zum beispiel so aus:

root@debian64 ~ > dumpe2fs /dev/sda1 | grep journal
dumpe2fs 1.41.12 (17-May-2010)
Filesystem features:      [COLOR=#ff0000]has_journal[/COLOR] ext_attr resize_inode dir_index filetype needs_recovery sparse_super large_file
Jounaleigenschaften:         journal_incompat_revoke

zum ausschalten müsstest du aber ein LiveCD system booten da das nur im read-only funktioniert:

tune2fs -O ^has_journal /dev/sda1

danach solltest du auch unbedingt ein filesystem check durchführen (noch über das LiveCD system):

e2fsck -f /dev/sda1

deshalb wärs besser wenn man ext3 verwendet dann gibts auch kein journal - aber das muss man eben bei der debian installation bereits auswählen


/edit: beim letzten satz meinte ich -> deshalb wärs besser wenn man ext2 verwendet dann gibts auch kein journal

 

[maxx8888]

AW: CF-Karten Auslastung was ist normal, was ist zuviel

Hi!

dump2fs Kommando scheint nicht installiert zu sein.
In welchen Package sind diese Kommandos denn enthalten?

Eigentlich wird /dev/sda1 als ext3 unter Sysinfo vom IPC angezeigt.
Aber wenn ich das richtig recherchiert habe, hat ja ext3 auch bereits journaling...

Wenn man dannach googelt findet man viele Beitrage, wo beschrieben wird das ext3 das gleiche sei als ext2, nur eben mit Journal.
Und man könne ext3 Dateisystem einfach als ext2 mounten um daß Journal zu deaktivieren.

Funktioniert Deine obige Beschreibung auch bei Ext3 Dateisystem?
Oder würde es vielleicht sogar noch leichter funktionieren mit dieser ext2 mount Geschichte?

Wie kann ich das Laufwerk als ext2 mounten?
Laufe ich da Gefahr daß gar nichts mehr gelesen werden kann?


Danke für die Hilfe!!

 

[aragorn]

AW: CF-Karten Auslastung was ist normal, was ist zuviel

dump2fs Kommando scheint nicht installiert zu sein.
In welchen Package sind diese Kommandos denn enthalten?

der befehl lautet ja auch nicht dump2fs sondern dumpe2fs

in welchem paket das wäre kann man über apt-cache search dumpe2fs herrausfinden

Eigentlich wird /dev/sda1 als ext3 unter Sysinfo vom IPC angezeigt.
Aber wenn ich das richtig recherchiert habe, hat ja ext3 auch bereits journaling...

Wenn man dannach googelt findet man viele Beitrage, wo beschrieben wird das ext3 das gleiche sei als ext2, nur eben mit Journal.

ahja stimmt, entschuldige - ich meinte ext2

Und man könne ext3 Dateisystem einfach als ext2 mounten um daß Journal zu deaktivieren.

hm das wusst ich auch noch nicht

Funktioniert Deine obige Beschreibung auch bei Ext3 Dateisystem?

ja

Oder würde es vielleicht sogar noch leichter funktionieren mit dieser ext2 mount Geschichte?

keine Ahnung, ich würd es lieber über tune2fs deaktivieren

Wie kann ich das Laufwerk als ext2 mounten?

mit dem parameter " -t ".. siehe man mount ->

       -t, --types vfstype
              The  argument  following the -t is used to indicate the filesystem type.  The filesystem types which are currently
              supported include: adfs, affs, autofs, cifs, coda, coherent, cramfs, debugfs, devpts, efs, ext, ext2, ext3,  ext4,
              hfs,  hfsplus,  hpfs,  iso9660,  jfs,  minix,  msdos,  ncpfs, nfs, nfs4, ntfs, proc, qnx4, ramfs, reiserfs, romfs,
              squashfs, smbfs, sysv, tmpfs, ubifs, udf, ufs, umsdos, usbfs, vfat, xenix, xfs, xiafs.  Note that  coherent,  sysv
              and  xenix  are  equivalent  and  that  xenix  and coherent will be removed at some point in the future — use sysv
              instead. Since kernel version 2.1.21 the types ext and xiafs do not exist anymore. Earlier,  usbfs  was  known  as
              usbdevfs.  Note, the real list of all supported filesystems depends on your kernel.

wobei ich nicht genau weiss ob man das tatsächlich über "mount" einfach so machen kann.. ich würd eher vermuten das man das über /etc/fstab machen müsste ( man fstab )
also zum beispiel:

UUID=2c5d7b24-b4dc-4980-bb07-c910caa31886 /               [COLOR=#ff0000]ext2[/COLOR]    errors=remount-ro 0       1

(wobei die UUID inviduell von deinem laufwerk wäre, kann aber auch " /dev/sda1 " o.ä. sein

Laufe ich da Gefahr daß gar nichts mehr gelesen werden kann?

da ich das noch nie gemacht hab weiss ich das auch nicht - spontan würde ich sagen das mans lieber deaktivieren sollte um sicher zu gehn aber kann auch sein das es funtz.. wo hast du das denn nachgelesen? da steht doch bestimmt auch noch mehr dazu