Schlagwort-Archive: ownCloud

BitBastelei #193 – Backups unter Linux » Borg Backup

BitBastelei #193 - Backups unter Linux » Borg Backup

(48 MB) 00:36:23

2016-04-17 10:00 🛈

Existiert kein Backup, sind die Daten nicht wichtig

Diese Aussage ist schön provozierend, treibt gerne Leute in meiner Umgebung zur Weißglut, hat aber einen wichtigen Kern: Wer seine Daten benötigt sollte Datensicherungen haben. Während ich bei den lokalen Servern eine gut funktionierende und getestete Infrastruktur habe liegen mir externe Dienste etwas im Magen. Auf allen Systemen habe ich direkten Zugriff, die Daten sollen übers Netz auf ein Zielsystem gesichert werden. Die Übertragung muss verschlüsselt erfolgen, als zusätzliche Hürde ist die Bandbreite recht gering: Je nach Last kann diese schon mal auf wenige MBit/s sinken oder gar ganz abbrechen. Weiterhin benötige ich schnellen Zugriff auf einzelne Dateien der Sicherung und die Möglichkeit auch ältere Revisionen einer Datei zu erhalten. Hier setzte ich lange Zeit auf rdiff-backup.

Videoinhalt

  • 01:06 Meine Anforderungen
  • 02:51 rdiff-backup // Wie lief mein Backup bisher?
  • 05:10 OwnCloud/BTSync/Sparkleshare
  • 06:33 Unison
  • 07:36 Obnam
  • 10:18 BORG › Was ist BORG?
  • 12:42 BORG › Geschichte
  • 13:39 BORG › Aufbau & Code
  • 14:32 BORG › Sicherheit
  • 15:47 BORG › Kompression
  • 17:39 BORG › Deduplizierung
  • 19:45 BORG › DEMO
  • 33:28 BORG › EOT

rdiff-backup

Das Programm arbeitet über eine SSH-Verbindung und kann nahezu alle unter Linux auftretenden Dateitypen verarbeiten. Auch ACL & Co. ist üblicherweise kein Problem. Wie der Name schon andeutet werden bei bestehenden Dateien nur Änderungen übertragen. Auf dem Zielsystem findet sich nach dem Backup der letzte Stand direkt zugreifbar im Dateisystem – perfekt wenn man nur eine gelöschte Datei schnell zurückspielen muss. Ältere Versionen (bzw. die Differenzen) werden in einem zusätzlichen Ordner gespeichert, über die Software lassen sich ältere Versionen der Dateien dann rekonstruieren.

Eigentlich war ich recht zufrieden mit diesem System. Backupfehler traten nur selten auf, der Restore war einfach und der Ressourcenverbrauch überschauber. Nicht ganz so prickelnd: Die Software, welche auf Python 2 (ja, nicht 3) basiert, hat seit 2009 kein Update mehr gesehen. Zum einen ein Problem wegen der nur schwer noch zu installierenden Python-Version, zum Andern gibt es Gerüchte über mögliche Datenverluste. Auch bei mir hat es zuletzt durch Netzabbrüche das Repository zerlegt, sodass ich mich auf die Suche nach Alternativen machte.

Owncloud, Sparkleshare, BTSync & Co

…sind auf Desktop-Systemen schöne Systeme, für Datensicherungen aber eher wenig geeignet. Zwar gibt es die Möglichkeit auf ältere Versionen zugreifen zu können, die Archivverwaltung ist aber meist nicht sehr flexibel. Auch die Unterstützung erweiterter Attribute ist prinzipbedingt meist nicht gegeben. Größtes Problem für mein Vorhaben: Mit großen Datenmengen kommen solche Programme nicht wirklich klar.

Unison

Unison fällt in etwa in die selbe Kategorie, schien aber besser optimiert. Leider zeigt sich die Revisionsverwaltung für meine Zwecke etwas unflexibel. Auch die genutzte Programmiersprache OCaml ist nicht unbedingt etwas, was für mich leicht anpassbar aussieht. Zuletzt ist auch hier die Unterstützung von Metadaten unter Linux noch ausbaufähig.

Obnam

…wird bei vielen als “Drop-In-Replacement” beworben. Die Funktionen ähneln rdiff-backup, jedoch wird zusätzlich eine Deduplizierung und Verschlüsselung unterstützt. Die Software muss nur auf einem System installiert werden, am Ziel werden “Chunks” abgelegt, ein direkter Zugriff auf Dateien ist entsprechend nicht mehr möglich.

Bei mir wollte die Software nicht sonderlich mitspielen – Backups dauerten ewig, Verbindungsabbrüche führten zu verwaisten Locks und Mangels brauchbarem Verbose-Mode ist nur schwer zu ermitteln was genau die Software aktuell überhaupt versucht zo erledigen.

(Wir sind die) Borg

Der Funktionsumfang von BorgBackup ist Ähnlich zu Obnam: Deduplizierung, Kompression, Verschlüsselung und Co. Der Fork der Software Attic hat vor kurzem die Version 1.0.0 erreicht. Hier ist der direkte Zugriff nicht über ein FUSE-Modul möglich. Mit Ausnahme von dateisystemspezifischen Attributen werden ACLs und Xattr samt den meisten Device-Files und FIFOs mitgesichert.

Erster Eindruck: Scheint recht sauber zu laufen, das Projekt sieht gut dokumentiert aus. Die Optionen erlauben es alle Dateien und laufenden Abläufe auf der Konsole anzuzeigen – gerade bei meiner Konstellation sehr praktisch, da ich so direkt sehe ob überhaupt noch etwas passiert. Obendrein kann man auch gleich die Effizienz von Kompression und Deduplizierung schon während des Backups sehen. Die fehlende Konfigurationsdatei lässt sich über passende Shellscripte kompensieren, führt auf meinem 1080p-Monitor allerdings auch zu einem 4-zeiligen Progammaufruf. Der 200GB-Datensatz eines meiner Server mit 10 Revisionen passt auf etwa 75GB. Minuspunkte gibt es für die Tatsache, dass das Grundsystem (mit Ausnahme von Kompression/Deduplizierung) nicht mit mehreren Threads klar kommt. Gerade bei großen Repositories führt das doch zu der ein oder anderen Wartezeit.

Momentan sieht BORG als vielversprechendste Lösung aus, bietet es doch den größten Funktionsumfang, eine aktive Weiterentwicklung und bisher keine nennenswerten Programmfehler. Sicher nicht so ausgearbeitet wie große Lösungen wie Amanda oder Bacula, für die meisten Anwendungen aber ausreichend und wesentlich einfacher einzurichten.

Falsche Zeitzone im OwnCloud Webinterface

Ich nutze OwnCloud hauptsächlich um u.A. Termine zwischen meinen Mobilgeräten und den PCs auf einem gemeinsamen Stand zu halten. Vor kurzem kam ein Schwung Termine rein,  ich war jedoch an einem Bastellaptop ohne Kallenderanwendung. Kein Problem: Das Webinterface der OwnCloud erlaubt es ja auch Termine einzutragen. Gesagt, getan – im Webinterface tauchte der Termin nach dem Eintragen wie Folgt auf:

Bild: https://adlerweb.info/blog/wp-content/uploads/2015/01/1.png

 

19:30 – passt. Mein Tabelt synchronisierte wenig später und notierte folgendes im Kalender

Bild: https://adlerweb.info/blog/wp-content/uploads/2015/01/Screenshot_2015-01-23-13-15-29-300×86.png

Nanu – eine Stunde Unterschied? Klingt nach Zeitzonenfehler und dieser bestätigt sich auch in Details des Handys.

Etwas Ratlosigkeit – die WebUI in OwnCloud ist bereits auf Deutsch eingestellt. Die Lösung hat etwas gedauert, denn in den Kalenderansicht versteckt sich eine eigene Zeitzoneneinstellung, welche offenbar standardmäßig auf “Abidjan” steht. Diese findet sich hinter dem Zahnrad in der unteren, linken Ecke. Nach dem Ändern werden neue Termine korrekt abgespeichert.

Bild: https://adlerweb.info/blog/wp-content/uploads/2015/01/2.png

Bild: https://adlerweb.info/blog/wp-content/uploads/2015/01/3-120×300.png

 

Zu Beachten ist, dass die WebUI offenbar keine Zeitzonen beachtet – in der Übersicht werden Termine mit abweichender Zeitzone zwar korrekt angezeigt, bearbeitet man diese wird jedoch die Zeitzone ohne Zeitanpassung auf die aktuelle zurückgesetzt – wer Zeitzonen absichtlich nutzt kann sich so schnell Termine zerschießen.

Bild: https://adlerweb.info/blog/wp-content/uploads/2015/01/4.png

 

BitBastelei #111 – OwnCloud – Installation für Linux & Android

BitBastelei #111 - OwnCloud - Installation für Linux & Android

(24 MB) 00:26:06

2014-08-24 10:00 🛈

Die Cloud ist praktisch – alle Daten auf allen Geräten immer greifbar – doch möchte man “sein Leben” wirklich Firmen anvertrauen, die ihr Geld mit dem Verkauf von Daten machen? Mit Owncloud könnt ihr das Ruder selbst in die Hand nehmen: Dateien, Kontakte, Kalender u.v.m über den eigenen Server überall synchron.

Gezeigt wird:
00:12 Einführung
01:25 Installation auf einem Server
05:28 Die Owncloud WebApp
10:19 [Linux] Dateizugriff Part 1: WebDAV (online-Zugriff)
11:08 [Linux] Termine mit Thunderbird/Lightning
12:48 [Linux] Kontakte mit Thunderbird/Sogo Connector (http://www.sogo.nu/downloads/frontends.html)
15:41 [Linux] Dateizugriff Part 2: Miral/OwnCloud-Client (syncronisation)
18:48 [Android] Dateien mit OwnCloud (https://play.google.com/store/apps/details?id=com.owncloud.android – 0,79€ + https://play.google.com/store/apps/details?id=com.owncloud.android.workaround.accounts)
20:18 [Android] Kalender mit CalDAV-Sync (https://play.google.com/store/apps/details?id=org.dmfs.caldav.lib – 2,59€ + https://play.google.com/store/apps/details?id=org.dmfs.jb.workaround.caldavsync)
22:27 [Android] Kontakte mit CardDAV-Sync (https://play.google.com/store/apps/details?id=org.dmfs.carddav.sync )
24:06 Audblick & Fazit

Weitere Links:
Owncloud: http://owncloud.org/
Aufgabenverwaltung: https://play.google.com/store/apps/details?id=org.dmfs.tasks

Hinweis zum Gentoo-Update auf www-apps/owncloud-5.0.12

Kurzer Hinweis zu letzten Owncloud-Update unter Gentoo: Durch eine nicht ganz performante Funktion scheint das ebuild in der Install-Phase zu hängen. Auf einem Atom-System dauerte es 2 Stunden bis Portage den Vorgang abschließen konnte, auf einem i7 mit RAID 15 Minuten, also nicht ungeduldig werden und nach Anstoßen des Updates doch erst mal eine (Familien)Pizza essen gehen. Der Installationsvorgang kann mit lsof auf den Temp-Ordner (/var/tmp/portage/) beobachtet werden.