1. Diese Seite verwendet Cookies. Wenn du dich weiterhin auf dieser Seite aufhältst, akzeptierst du unseren Einsatz von Cookies. Weitere Informationen

Talk CF-Karten Auslastung was ist normal, was ist zuviel

Dieses Thema im Forum "IPC" wurde erstellt von maxx8888, 22. Januar 2013.

  1. maxx8888
    Offline

    maxx8888 Ist gelegentlich hier

    Registriert:
    22. Dezember 2012
    Beiträge:
    36
    Zustimmungen:
    2
    Punkte für Erfolge:
    8
    Beruf:
    Elektroniker u. SW-Entwickler
    Ort:
    Austria
    Hi,

    Habe gestern mal ioTop auf meinen Igel IPC installiert und über Nacht die Lese/Schreib Zugriffe loggen lassen.
    Das ist was heute morgen (ca. 8 Stunden akkumuliert) dabei rauskam:

    Total DISK READ: 0.00 B/s | Total DISK WRITE: 0.00 B/s
    TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND
    198 be/4 root 0.00 B 34.71 M 0.00 % 0.43 % [kjournald]
    2327 be/4 www-data 0.00 B 2.97 M 0.00 % 0.05 % apache2 -k start
    2328 be/4 www-data 0.00 B 5.08 M 0.00 % 0.04 % apache2 -k start
    6873 be/4 www-data 0.00 B 4.42 M 0.00 % 0.03 % apache2 -k start
    6860 be/4 www-data 0.00 B 3.31 M 0.00 % 0.03 % apache2 -k start
    3051 be/4 www-data 0.00 B 3.62 M 0.00 % 0.02 % apache2 -k start
    6421 be/4 www-data 0.00 B 3.65 M 0.00 % 0.02 % apache2 -k start
    26058 be/4 www-data 0.00 B 1996.00 K 0.00 % 0.02 % apache2 -k start
    26052 be/4 www-data 0.00 B 2.64 M 0.00 % 0.01 % apache2 -k start
    19102 be/4 root 0.00 B 0.00 B 0.00 % 0.01 % [flush-8:0]
    2669 be/4 www-data 0.00 B 1688.00 K 0.00 % 0.01 % apache2 -k start
    2325 be/4 www-data 0.00 B 1120.00 K 0.00 % 0.01 % apache2 -k start
    716 be/4 root 0.00 B 40.00 K 0.00 % 0.00 % dhclient -v -pf /var/run/dhclient.eth0.pid -lf /var/lib/dhcp/dhclient.eth0.leases eth0

    Natürlich würde ich gerne meine CF-Karte so schonend wie möglich betreiben und deshalb kommen mir ~55Mb schreiben relativ hoch vor.

    Wobei 35Mb auf das Jornal von ext3 zurückzuführen ist.
    Was der Apache Server da die ganze Zeit schreibt weiß ich nicht :-/

    Habe ich nun was falsch konfiguriert auf meinen Igel oder sind diese Schreibzugriffe als normal anzusehen?
    Wielange hält so eine CF-Karte durch?

    Hat schon mal wer versucht den IPC komplett aus einem RamDrive zu betreiben?
    Quasi die CF-Karte beim booten komplett in den Speicher lesen...

    Grüsse,
    Maxx
     
    #1
  2. phantom

    Nervigen User Advertisement

  3. aragorn
    Offline

    aragorn Guest

    AW: CF-Karten Auslastung was ist normal, was ist zuviel

    apache2 schreibt eigentlich nur herrum wenn man das IPC WebInterface offen hat aber selbst dabei ist fraglich "wohin" es schreibt - wenn das /var/log/ ist und du ipc 11.5 installiert hast, wird dadurch die compactflash nicht belastet da tmp2ram.sh installiert sein müsste (wird standardmässig seit 11.5 installiert)

    wozu willst du IPC in tmpfs ablegen? das eine hat mit dem anderen wie ich glaube nichts zu tun..
    die cams werden einmal gestartet und liegen dann im ram - jedes programm was gestartet wurde liegt im ram ebenso die libs die es benutzt und häufig aufgerufene scripts also auch die watchdogs..
    was würde sonst noch von ipc ständig aufgerufen werden? solange du kein webbrowser auf das IPC WebIf auf hast werden auch nicht die php dateien ständig geladen wobei das vermutlich ebenfals nur minimale datenzugriffe sind und das was apache2 schreibt sind dann eben /var/log/apache2/access.log aufgrund der ajax elemente im ipc webif, aber da das ja eigentlich durch tmp2ram im ram liegen sollte wird dadurch die cf auch nicht belastet - und wenn man das IPC WebIf nicht anspricht sollte da eigentlich sowieso nix belastet oder ins log geschrieben werden
     
    #2
  4. maxx8888
    Offline

    maxx8888 Ist gelegentlich hier

    Registriert:
    22. Dezember 2012
    Beiträge:
    36
    Zustimmungen:
    2
    Punkte für Erfolge:
    8
    Beruf:
    Elektroniker u. SW-Entwickler
    Ort:
    Austria
    AW: CF-Karten Auslastung was ist normal, was ist zuviel

    Hi,

    tmp2ram ist natürlich installiert.

    Im ioTop sehe ich keinen Schreibzugriff von Oscam oder CCcam, aber das logging ist aktiv.
    Es scheint daß alles was tmp2ram in den Ram schreibt, wird vom im ioTop sowieso nicht angezeigt.

    Das heißt die 50Mb die da drin stehen sind tatsächlich auf die CF-Karte geschrieben worden.

    Wie gesagt 35Mb werden vom ext3 Journal Dienst geschrieben, der Rest von Apache.

    Deshalb auch die Frage ob es Sinn macht den ganzen IPC in den Ram zu laden "ala LiveCD" um auch diese Zugriffe wegzubekommen.

    Hat einer von euch vielleicht auch schon mal mit ioTop gecheckt was alles auf die CF-Karte geschrieben wird?
     
    #3
  5. aragorn
    Offline

    aragorn Guest

    AW: CF-Karten Auslastung was ist normal, was ist zuviel

    hattest du denn das IPC WebIf die ganze zeit auf weswegen auch apache2 angesprochen wurde??


    IPC besteht nicht nur aus dem WebIf das vom apache2 verwaltet wird



    "was" und "wohin" geschrieben wird zeigt iotop auch nicht, nur "welches prozess" und "wieviel" ... um deine fragen aber vernünftig beantworten zu können muss man
    a) die umstände kennen, also musste mir auch meine fragen beantworten
    b) "wohin" geschrieben wird


    ob "iotop" tatsächlich nur die "echten" disk zugriffe anzeigt oder auch die, die im ram liegen - kann man ganz einfach herrausfinden indem man ein kleines script erstellt das alle 2 sekunden eine datei schreibt:
    Code:
    #!/bin/bash
    
    while true; do
            echo "this is a test" > $1
            sleep 2
    done
    
    exit 0
    dann das script ausführen: bash -x /tmp/iotest.sh /root/test.txt
    oder zum prüfen ob iotop auch was anzeigt wenns ins tmpfs geht: bash -x /tmp/iotest.sh /tmp/test.txt


    also.. zunächst mal "iotop" vernünftig ausführen:
    nach starten die tasten o p und a drücken und sobald man einen prozess gefunden hat der viele I/O erzeugt,
    (mit den pfeiltasten 'rechts' / ' links' kann man auswählen wonach iotop sortiert werden soll)
    über eine weitere konsole prüfen was genau und wohin geschrieben wird:

    Code:
    strace -f -p <PID> -e trace=read,write
    so, nun prüf ich das uns sehe erstmal "es wird nichts geschrieben" auch nicht nach 5 minuten..
    aber sobald ich das IPC WebIf aufrufe wird verständlicherweise vom apache2 webserver etwas geschrieben (aber am meisten gelesen). das beobachten wir jetzt ein bischen..
    dann öffne ich eine weitere konsole und gib den oben genannten strace befehl mit der PID vom apache2 ein der am meisten geschrieben hat, in meinem fall war das:
    strace -f -p 16575 -e trace=read,write

    so, das erschlägt einen erstmal weil da ne ganze menge angezeigt wird (kommt aber auch darauf an welche seite man im ipc webif auf hat) - eben nicht nur die php dateien die gelesen werden sondern auch das laden der libs die apache2 verwendet und ständige aufrufe (alle 10sek) von den ajax relevanten elementen:
    /var/www/ipc/page/menue.php
    /var/www/ipc/page/include/menue_access.php
    /var/www/ipc/page/include/messages_recieve.php
    /var/www/ipc/page/messages/msgs.txt
    /var/www/ipc/page/messages/badwords.txt
    /var/www/ipc/page/messages/smiley.txt
    usw
    aber insbesondere sehr viel zeuch das im cache landet oder dort abgehandelt wird..

    die meisten php geschichten könnte man ggf auch mithilfe "

    Dieser Link ist nur für Mitglieder!!! Jetzt kostenlos Registrieren ?

    " cachen lassen, aber wie man sieht ist in meinem beispiel das meiste zeuchs vom Chat - wenn man den nicht brauch einfach ausschalten..


    aber wie gesagt wird der apache2 aber auch nur angesprochen wenn man das IPC WebIf aufruft bzw offen hat - das sollte aber eigentlich nicht immer der fall sein - ich zumindest schliese meinen browser sobald ich ihn nicht mehr brauche und auch meine rechner werden über nacht ausgeschaltet..




    du kannst auch eine "ala LiveCD" erstellen indem du dir zunächst eine eigene LiveCD erstellst:

    Dieser Link ist nur für Mitglieder!!! Jetzt kostenlos Registrieren ?


    dann partitionierst du deine CompactFlash in 2 bereiche:
    - metaroot
    - other

    "metaroot" ist das debian system
    "others" sind dateien/daten die du speicherst

    dann unpackst du alles von deiner selbst erstellten LiveCD auf die "metaroot" partition und installierst manuell GRUB
    danach musst du halt jedesmal eine neue LiveCD erstellen wenn du ein weiteres programm installieren willst - aber kannst dadurch optimal kontrollieren was tatsächlich geschrieben wird denn das geht dann nurnoch auf der "other" partition..
    die IPC configs sowie die webif.db müsstest du dann aber eben auch auf die "other" partition legen bzw verlinken

    DAS wäre eine "ala LiveCD"
    oder du nimmst dir sowas wie

    Dieser Link ist nur für Mitglieder!!! Jetzt kostenlos Registrieren ?

    anstatt Debian



    /EDIT: um die ajax geschichten von der festplatte (cf) fern zu halte gäbe es evtl. die möglichkeit über das /etc/init.d/varlog bei systemstart die /var/www/ipc/ dateien in ein tmpfs zu kopieren worauf dann apache2 zugreift.. problem dabei könnte aber die webif.db sein weil wenn das system einfach ausgeschaltet wird, sind alle geschrieben daten usw futsch... das hatte ich bei der entwicklung nämlich auch überlegt ob das sinnvoll wäre aber dann wieder fallen gelassen..
     
    Zuletzt von einem Moderator bearbeitet: 22. Januar 2013
    #4
  6. maxx8888
    Offline

    maxx8888 Ist gelegentlich hier

    Registriert:
    22. Dezember 2012
    Beiträge:
    36
    Zustimmungen:
    2
    Punkte für Erfolge:
    8
    Beruf:
    Elektroniker u. SW-Entwickler
    Ort:
    Austria
    AW: CF-Karten Auslastung was ist normal, was ist zuviel

    Hi Aragorn,

    Danke für Deine perfekte Erklärung!

    Ich habe das nun mal probiert.
    Du hast recht, ich hatte sogar mehrere Webinterfaces offen. Wusste nicht das deshalb Apache anfängt zu schreiben.
    Das ist mein kleinstes Problem. Ab sofort einfach Webinterface zu, wenn nicht in Verwendung!

    Nachdem ich alle WebIf geschlossen hatte, habe ich nun mit ioTop (a,o,p) nochmals angesehen was geschrieben wird.

    Der einzige Process der jetzt noch zu schreiben scheint ist: kjournald
    Dafür aber wieder gleich recht viel... In ca. 10min Beobachtung 3Mb

    strace kann zu diesem Process nicht attachen (Permission denied).

    Vermutlich schreibt dieser Process aber auf jedem IPC, da es irgendwie mit dem Filesystem zusammenhängt...
    Könntest Du das bestätigen? Ist das bei Dir auch so?


    P.s:
    Mit dem Textfile nach root oder temp schreiben werde ich noch testen und berichten!



     
    #5
    1 Person gefällt das.
  7. aragorn
    Offline

    aragorn Guest

    AW: CF-Karten Auslastung was ist normal, was ist zuviel

    hm.. nein, zumindest nicht soviel - auf meinem raspberry nur 4k in 10min

    was hast du denn alles unter ipc laufen bzw installiert?


    diese

    Dieser Link ist nur für Mitglieder!!! Jetzt kostenlos Registrieren ?

    geschichte liegt am ext4 filesystem - es wird aber auch empfohlen journaling abzuschalten weil wegen weniger belastung/beanspruchung

    ob dein laufwerk journal an hat kannst du über folgenden befehl feststellen:
    Code:
    dumpe2fs /dev/sda1 | grep journal
    die ausgabe sähe dann zum beispiel so aus:
    Code:
    root@debian64 ~ > dumpe2fs /dev/sda1 | grep journal
    dumpe2fs 1.41.12 (17-May-2010)
    Filesystem features:      [COLOR=#ff0000]has_journal[/COLOR] ext_attr resize_inode dir_index filetype needs_recovery sparse_super large_file
    Jounaleigenschaften:         journal_incompat_revoke
    zum ausschalten müsstest du aber ein LiveCD system booten da das nur im read-only funktioniert:
    Code:
    tune2fs -O ^has_journal /dev/sda1
    danach solltest du auch unbedingt ein filesystem check durchführen (noch über das LiveCD system):
    Code:
    e2fsck -f /dev/sda1

    deshalb wärs besser wenn man ext3 verwendet dann gibts auch kein journal - aber das muss man eben bei der debian installation bereits auswählen


    /edit: beim letzten satz meinte ich -> deshalb wärs besser wenn man ext2 verwendet dann gibts auch kein journal
     
    Zuletzt von einem Moderator bearbeitet: 23. Januar 2013
    #6
  8. maxx8888
    Offline

    maxx8888 Ist gelegentlich hier

    Registriert:
    22. Dezember 2012
    Beiträge:
    36
    Zustimmungen:
    2
    Punkte für Erfolge:
    8
    Beruf:
    Elektroniker u. SW-Entwickler
    Ort:
    Austria
    AW: CF-Karten Auslastung was ist normal, was ist zuviel

    Hi!

    dump2fs Kommando scheint nicht installiert zu sein.
    In welchen Package sind diese Kommandos denn enthalten?

    Eigentlich wird /dev/sda1 als ext3 unter Sysinfo vom IPC angezeigt.
    Aber wenn ich das richtig recherchiert habe, hat ja ext3 auch bereits journaling...

    Wenn man dannach googelt findet man viele Beitrage, wo beschrieben wird das ext3 das gleiche sei als ext2, nur eben mit Journal.
    Und man könne ext3 Dateisystem einfach als ext2 mounten um daß Journal zu deaktivieren.

    Funktioniert Deine obige Beschreibung auch bei Ext3 Dateisystem?
    Oder würde es vielleicht sogar noch leichter funktionieren mit dieser ext2 mount Geschichte?

    Wie kann ich das Laufwerk als ext2 mounten?
    Laufe ich da Gefahr daß gar nichts mehr gelesen werden kann?


    Danke für die Hilfe!!
     
    #7
  9. aragorn
    Offline

    aragorn Guest

    AW: CF-Karten Auslastung was ist normal, was ist zuviel

    der befehl lautet ja auch nicht dump2fs sondern dumpe2fs :)

    in welchem paket das wäre kann man über apt-cache search dumpe2fs herrausfinden

    ahja stimmt, entschuldige - ich meinte ext2

    hm das wusst ich auch noch nicht :)

    ja

    keine Ahnung, ich würd es lieber über tune2fs deaktivieren ;)

    mit dem parameter " -t ".. siehe man mount ->
    Code:
           -t, --types vfstype
                  The  argument  following the -t is used to indicate the filesystem type.  The filesystem types which are currently
                  supported include: adfs, affs, autofs, cifs, coda, coherent, cramfs, debugfs, devpts, efs, ext, ext2, ext3,  ext4,
                  hfs,  hfsplus,  hpfs,  iso9660,  jfs,  minix,  msdos,  ncpfs, nfs, nfs4, ntfs, proc, qnx4, ramfs, reiserfs, romfs,
                  squashfs, smbfs, sysv, tmpfs, ubifs, udf, ufs, umsdos, usbfs, vfat, xenix, xfs, xiafs.  Note that  coherent,  sysv
                  and  xenix  are  equivalent  and  that  xenix  and coherent will be removed at some point in the future — use sysv
                  instead. Since kernel version 2.1.21 the types ext and xiafs do not exist anymore. Earlier,  usbfs  was  known  as
                  usbdevfs.  Note, the real list of all supported filesystems depends on your kernel.
    wobei ich nicht genau weiss ob man das tatsächlich über "mount" einfach so machen kann.. ich würd eher vermuten das man das über /etc/fstab machen müsste ( man fstab )
    also zum beispiel:
    Code:
    UUID=2c5d7b24-b4dc-4980-bb07-c910caa31886 /               [COLOR=#ff0000]ext2[/COLOR]    errors=remount-ro 0       1
    (wobei die UUID inviduell von deinem laufwerk wäre, kann aber auch " /dev/sda1 " o.ä. sein

    da ich das noch nie gemacht hab weiss ich das auch nicht - spontan würde ich sagen das mans lieber deaktivieren sollte um sicher zu gehn aber kann auch sein das es funtz.. wo hast du das denn nachgelesen? da steht doch bestimmt auch noch mehr dazu
     
    #8

Diese Seite empfehlen