Support RSYNC BACKUP - MV_Backup.sh (Linux - Bash)

[BruceLee2016]

AW: RSYNC BACKUP - backup-321tux.sh

Klingt gut. Ich werde es so machen. Hatte den gleichen Gedanken. Danke

 

[MegaV0lt]

AW: RSYNC BACKUP - backup-321tux.sh

Habe jetzt eine erste Version fertig. Man kann den Parameter -f angeben, dann wird die Mail nur gesendet, wenn Fehler auftreten. In der .conf kann man das auch fest eintragen:

Du musst dich Anmelden oder Registrieren um den Inhalt der Codes zu sehen!

Die aktuellen Dateien wie immer hier:

Du musst dich Anmelden oder Registrieren um diesen link zusehen!

- - - - - - - - - -

Du musst dich Anmelden oder Registrieren um den Inhalt der Angebote zu sehen!

Wie würden die Befehle aussehen? Sind das Einzeiler oder soll da ein Skript starten?
Sollen die Pre- und Post-Befehle Global (also pro .conf) oder je Profil (Abschnitt in der .conf) sein?

 

[BruceLee2016]

AW: RSYNC BACKUP - backup-321tux.sh

Klasse,danke.
Für mich reicht die Option zu globalem Pre- und Post-Befehl. Pro Profil ist natürlich flexibler, aber mit Sicherheit auch komplexer in der Umsetzung.
Der Befehl kann ein bashscript sein oder ein Einzeiler. Im jetzigen Fall starte ich eine binary mit Optionen im Format binary -x option=irgendwas
Vielen Dank

 

[MegaV0lt]

AW: RSYNC BACKUP - backup-321tux.sh

Globale Pre- und Post-Aktionen sind nun auch drin. In der .conf ist nun das dazu gekommen:

Du musst dich Anmelden oder Registrieren um den Inhalt der Codes zu sehen!

Ausgeführt wird das ein mal vor der Sicherung bzw. nach der Sicherung. Kein Log im Fehlerfall, weil die Ausführung vor Verarbeitung der einzelnen Profile erfolgt.

 

[BruceLee2016]

wow...klasse...vielen Dank. Es kommt spätestens am Wochenende zum Einsatz. Ich melde mich mit Feedback.
Nochmals vielen Dank.

wie besprochen mein Feedback. Alles läuft, Pre- und Post-Command, rsync und emails.
Ich musste mir jedoch den email client selber anpassen, da ich hier nur einen speziellen zur Verfügung habe.
Macht meiner Meinung nach nicht zu viel Sinn diesen noch für alle miteinzubauen. Aber falls es doch gewünscht ist...das ist er:
h**ps://github.com/deanproxy/eMail

Eine ganz andere Frage. wie alle wissen ist rsync nicht multithreaded.
Ich sichere hier sehr viele Daten >5TB. Flaschenhals ist bei mir definitiv nicht das Disksystem,Netzwerk, CPU oder ähnliches..sondern schlichtweg rsync's Art der Abarbeitung.
h**p://www.krazyworks.com/making-rsync-faster/
Um hier mehr rauszuholen, stellte ich mir die Frage, ob dies noch miteingebunden werden kann?

Es wird hier letztendlich ein rsync Prozess pro Ordner basierend auf einer Vorgabe der Tiefe gestartet.

Danke MegaV0lt

 

[MegaV0lt]

AW: RSYNC BACKUP - backup-321tux.sh

Schön, wenn alles klappt

Wenn es damit getan ist, baue ich das gerne ein

Du musst dich Anmelden oder Registrieren um den Inhalt der Codes zu sehen!

Hast Du das mit dem "schnelleren" rsync getestet? Bringt das wirklich so viel? Es werden in dem Beispiel viele externe Programme verwendet (ps, sed, ...) Was ich bei mir versucht habe zu minimieren. Das einzubauen würde sicher gehen. Ich würde das allerdings optional machen. Ich muss dann auch schauen, was mit den Logs und Backups passiert...

 

[BruceLee2016]

AW: RSYNC BACKUP - backup-321tux.sh

Hi,

und danke für die schnelle Rückmeldung.
Ich hatte das hier verwendet (Achtung die binary wird komplett kleingeschrieben):
Code:

Du musst dich Anmelden oder Registrieren um den Inhalt der Codes zu sehen!

Aber mit Attachment ist es sinnvoller für alle. In meinem Fall würde das Attachment sehr groß, daher habe ich es rausgenommen.

Habe das Skript noch nicht getestet, da ich es nicht nutzen wollte, wenn es nicht in dein Script eingebunden werden kann oder du es nicht willst.
Rein von der Logik her dürfte es in meinem Fall bis zu 3-4 mal schneller werden.
Für einen Test müsste ich mir zunächst auch etwas auf dem Livesystem aufsetzen, was ebenfalls die Menge an Daten hat und auf dem Zielsystem ebenfalls Platz dafür haben.
Überlege gerade wie ich das am sinnvollsten testen kann.

Danke und viele Grüße

 

[MegaV0lt]

AW: RSYNC BACKUP - backup-321tux.sh

Das aktuelle Skript mit neuer Option "eMail" ist online. In der .conf die Zeile MAILPROG ist nun so geändert:

Du musst dich Anmelden oder Registrieren um den Inhalt der Codes zu sehen!

Das Skript komprimiert die Logs, bevor diese versendet werden... Hast Du mal geschaut, wie groß das wäre?
Beispiel von hier. Mein 5MB-Log wird auf 4% runter komprimiert:

 

[BruceLee2016]

AW: RSYNC BACKUP - backup-321tux.sh

Danke.

Mein Log ist aktuell 20MB, wird aber am Ende ca 100MB. Als tar.gz wird es natürlich viel kleiner.
Das funktioniert, ist aber dennoch in diesem Fall nicht so nützlich für mich. Daher habe ich es rausgenommen.

 

[MegaV0lt]

AW: RSYNC BACKUP - backup-321tux.sh

Ich habe nun eine erste Version online, wo man das Log konfigurieren kann:

Du musst dich Anmelden oder Registrieren um den Inhalt der Codes zu sehen!

Sollte selbsterklärend sein. Wenn in der .conf der Wert fehlt (MAXLOGSIZE) wird 1 MB als Vorgabe verwendet. Die Größe bezieht sich auf das Logarchiv, welches komprimiert ist und nur noch versendet wird, wenn es max. die Größe von MAXLOGSIZE hat. Ansonsten wird ein kurzer Hinweistext angehängt.

 

[BruceLee2016]

AW: RSYNC BACKUP - backup-321tux.sh

Aah, danke. Eine gute Idee und Umsetzung.
Ich versuche heute einen Test mit dem "schnellen" Multirsync zu machen. Mal schauen, was dabei rumkommt.

 

[MegaV0lt]

AW: RSYNC BACKUP - backup-321tux.sh

Das einzubauen wird nicht einfach... Schau Dir mal alternativen an wie

Du musst dich Anmelden oder Registrieren um diesen link zusehen!

Ich tendiere momentan noch zu sowas:

Du musst dich Anmelden oder Registrieren um diesen link zusehen!

Aber beim Snapshot wird das wohl nicht funktionieren.

 

[BruceLee2016]

AW: RSYNC BACKUP - backup-321tux.sh

hhmm..schade. die beiden Links benötigen zusätzliche binaries, die ich auf dem System nicht installieren/kompilieren kann und beim nächsten Update auch weg wären.
daher die Idee mit dem Script mit Boardmitteln.

 

[MegaV0lt]

AW: RSYNC BACKUP - backup-321tux.sh

Ich könnte das Skript so einbauen, dass es ein eigenen Modus hat. Momentan gibt es den Normalen und den Snapshot-Modus.
Am einfachsten wäre wohl das andere Skript anzupassen und zu verwenden...

Ich komme vor Ostern nicht mehr dazu größere Änderungen zu machen. Bin ab Dienstag erst mal weg...

 

[BruceLee2016]

AW: RSYNC BACKUP - backup-321tux.sh

Danke für deine Mühen. Ein eigener Modus dafür klingt vielversprechend.
Ich checke heute, was es für einen Unterscheid ausmacht den Sync über dieses Script laufen zu lassen.
Vielleicht hast du eine AmazonWunschliste mit dessen Hilfe ich dich etwas entlohnen könnte?!