Alle Beiträge von adlerweb

Synchronkopien auf Open Source-Basis

Netzwerk ist toll. Alle Daten überall verfügbar. Theoretisch.

Um ein solches Konstrukt zu realisieren hatte ich bisher ein NFS-Share auf meinem Server aktiv und an den Clients selbiges gemountet – üblicherweise eine solide Basis, allerdings gibt es einen gewaltigen Nachteil: Es wird eine ständige Verbindung zum Server benötigt und Daten werden bei jedem Vorgang (sofern nicht im Cache) neu über das Netzwerk gelesen. Ergebnis sind hohe Netzlasten und kein Offlinebetrieb.

Zwichenzeitlich hatte ich immer wieder nach anderen Lösungen gesucht welche auf meinem Laptop einen Offlinebetrieb sicherstellen und auch große Dateien meines Hauptrechners schnell verarbeiten kann. Vorzugsweise sollten die Daten also lokal liegen und auf einen Server repliziert werden, hierdurch habe ich einen Offlinebetrieb und kann auf Systemen mit SSD einen Leistungssprung erhalten.

Dropbox
Die Lösung, welche vermutlich die meisten Leute kennen ist Dropbox. Zwar ist das System weit verbreitet und ausgereift, allerdings nicht Open Source, es werden Server verwendet welche man nicht selbst kontrollieren kann und der Speicher ist relativ teuer. Keine Lösung für mich.

SparkleShare
SparkleShare arbeitet ähnlich wie Dropbox, jedoch benötigt man einen eigenen Server. Standardmäßig wird für Synchronisationsnachrichten ein externer Server verwendet, hierbei sollen jedoch keine indentifizierbaren Daten gesendet werden – wem dies nicht gefällt kann über einen zusätzlichen Serverdienst diese Aufgabe auch selbst übernehmen. Im Hintergrund arbeitet das System auf Basis der Revisionsverwaltung Git. Leider scheint das System nicht für meine Datenmassen ausgelegt zu sein, daher war auch dieses System für micht nicht sinnvoll nutzbar.

DDRB
Auch DDRB könnte eine lokale SSD ausnuzten, jedoch wäre ein Betrieb ohne dauerhafte Verbindung nicht möglich. Da der für solche Zwecke fast schon unumgängliche Proxy nicht Open Source ist fällt auch diese Lösung in die Tonne.

rsync
Also back to the shell – mit rsync lassen sich Ordner auch über mehrere Systeme schnell und effizient Synchronisieren. Regelmäßig ausgeführt lässst sich so eine von mit gewünschte Lösung erreichen. Zwar könnte es zu Problemen bei der gleichzeitigen Nutzung mehrerer Computer kommen, da sowas jedoch bei einem Nutzer nur selten vorkommt kann ich hiermit leben. Das regelmäßige Ausführen ließ sich beispielsweise über einen Cronjob realisieren.

lsyncd
Um das RSync-Prinzip zu vereinfachen lässt sich die Software LSyncd verwenden – sie überwacht die verwendeten Ordner, sammelt Änderungen und löst bei Bedarf passende rsync-Prozesse aus. Über dieses Konzept erspart man sich das ständige Prüfen auf Änderungen. Lsyncd arbetet nur in eine Richtung – da dies für micht kein Problem ist wird nun beim Login ein rsync Server->Client ausgelöst und danach LSyncd für Client->Server gestartet.

…and beyond
Da rsync/lsyncd sehr zuverlässig arbeitet darf sich neben dem Datenordner die Lösung bei mir noch an ganz anderer Stelle beweisen: Einige Programme benötigen viel IO, jedoch ist die Datenintegrität nicht sonderlich wichtig, hierzu zählen vor allem die Caches von Browser und Mailsoftware. Diese Ordner werden nun beim Login auf ein tmpfs kopiert und verknüpft. Rsync/LSyncd sorgen dafür, dass die Daten regelmäßig wieder auf der Platte landen und so auch bei einem Absturz der Datenverlust nur gering ist. Bei einem regulären Logout wird natürlich ohnehin synchronisiert. Da die fragliche Maschiene genügend RAM besitzt sollte der Platz kein Problem sein – durch die Swapiness müsste Linux ohnehin unbenutzte Bereiche des tmpfs-Volumes wieder auf die Platte befördern.

Linux: Anzahl der geöffneten Dateien pro Prozess anzeigen

*Poff* – das war die Wand der maximal geöffneten Prozesse auf einem Linux-System – praktisch wäre es jetzt noch zu wissen welcher Prozess dafür verantwortlich ist. In diesem Fall hilft folgender Befehl – er erstellt eine Liste aller Prozesse mit der Anzahl der geöffneten Dateien, die verschwenderichsten oben:

lsof | cut -d ' ' -f 1 | uniq -c | sort -r

Ranttime: Step-up-converter mit Lochfraß

Step-Up-Converter ziehen ggf. sehr hohe Strömen – einige Profis schaffen es dennoch ein Montageloch in die Leiterbahn zu bohren…

Aktuelle Wetterdaten aus Saffig und Solarstatistiken hinzugefügt

Sowohl hier als auch auf 56648.de sind in der Rechten Spalte nun Wetter- und Solardaten meiner Sensoren verfügbar. Als Temperaturwerte gibt es in der Übersicht die aktuelle Temperatur sowie Tagesmaximum, -minimum und der -durchschnitt. Bei den Solarwerten gibts den aktuellen Ertrag, Tagespeak und den heutigen Ertrag samt der daraus ermittelten Sonnenstunden. Mit einem Klick auf die Überschriften lassen sich weitere Statistiken auf der Wetterseite sowie der Solarseite finden. Für beide Systeme liegt hier noch eine Kiste mit Sensoren, wird also irgendwann noch ausgebaut.

Technisch werden die Daten über einen 1Wire-Converter für Temperaturen bzw. den bereits vorgestellten USB-Solar-Adapter an meinen Homeserver übertragen und dort für interne Verwendung über das Volkszähler-Projekt in einer MySQL-Datenbank zwischengelagert. Für die externen Statistikseiten laufen kleine PHP-Scripte welche die Daten aus der DB ohne Umwege aufarbeiten.

Unfreie Energiewende?

Seit einigen Tagen geistert im Netz der erste Teil des Dokumentarfilms „Leben mit der Energiewende“ im Netz herum. Nicht unbedingt etwas neues – Dokumentarfilme im Netz gibt es wie Sand am Meer, aber ein Tweet von Markus Beckedahl (Netzpolitik) brachte mich auf einen interessant klingenden Artikel aus dem Heise-Milieu: In diesem Interview wird erklärt

Warum ein ZDF-Journalist seinen Film samt Rohmaterial zur Energiewende unter Open Source allen zur Verfügung stellt

. Remixe, Gegenvideos, Netzpropaganda – alles erwünscht. Verwiesen wird im Artikel auf das oben genannte Video, von dort auf die offizielle Webseite, welche vollmundig „Das Open-Source-Projekt“ anpreist. Leider ist hinter der Fassade bisher nicht viel zu entdecken: Außer dem 45minütigen Video finden sich zwei Interviews und einige Fotos, das Bewegtmaterial ist dabei auf YouTube gehostet. Einen Download oder weiteres Rohmaterial sucht man vergebens – selbst die YouTube-Videos sind nicht zum Remixen freigegeben. In der Projektbeschreibung konnte ich ebenfalls keine klare Aussage finden: In der Sidebar wird wiefolgt der „Open Source“-Gedanke angepriesen:

Ohne Einschränkungen steht das Material kostenlos und überall einsehbar zur Verfügung…alles auch zum kostenlosen und freien Download, öffentliche Vorführungen und Nutzung erwünscht. Ohne weitere notwendigen Genehmigungen. Alles frei!

Gleich daneben wird es dann aber teuer, denn

Für Unterstützer des Projekts werden sog. „Lizenzen“ vergeben. Jede Lizenz kostet 2.500€ (zzgl. Mwst.).
…Die Unterstützer erhalten für ihre Lizenz ein umfangreiches Rechtepaket mit folgendem Inhalt:
Unbeschränkte Nutzungsrechte für den gesamten Film, auch in Ausschnitten…Ebenfalls erhalten die Lizenznehmer das gedrehte Rohmaterial zur freien Verfügung gestellt.

Auch wenn die Bezeichnung „Open-Source-Projekt“ durch die Möglichkeit die Quellen zu kaufen möglicherweise nicht komplett falsch ist, so hinterlässt die Aggressive Werbung mit diesem Begriff bei mir jedoch einen vertrauensschädigenden Nachgeschmack, denn gerade bei technologieaffinen Internetnutzern ist dieser Begriff eher mit freien Inhalten bzw. der Definition der Open Source Initiative verbunden und deren Erkennungsmerkmale sind mit dem aktuellen Projektinhalten nach meiner Auffassung kaum vereinbar.

Auch wenn ich das Thema der Dokumentation interessant finde: Die Vorgehensweise kratzt nach meiner Auffassung an der Glaubwürdigkeit der Produktion – ohne klare Aussagen zu Lizenz und Verfügbarkeit ist eine Weiterempfehlung als verlässliche Informationsquelle wohl nicht mit dem Gewissen zu vereinbaren.

(Kommentar) Ein neuer Lebensmittelladen – nur wie lange noch?

Großes aufatmen in Saffig: Im Gegensatz zum allgemeinen Trend eröffnet ein neuer, kleiner Lebensmittelladen. Der Vorgänger hatte vor etwa einem Jahr das Handtuch geschmissen. Kein Wunder, liegen die Versorgungszentren der Nachbarorte schließlich direkt nebenan. Der neue Laden wäre notwendig um die Eigenversorgung der älteren Bürger zu gewährleisten.

Bild: https://www.adlerweb.info/blog/wp-content/uploads/2012/10/wpid-IMG_20121002_073257.jpg

Nun ist er da, der Laden. Einige wenige Parkplätze befinden sich vor dem Laden – und sind alle üblicherweise von den Anwohnern belegt. Also doch zu Fuß – und das am besten ohne Rollator, denn mit diesem wird man die 3 Stufen am Eingang kaum überwinden können. Apropos Stufen: Natürlich gibt es auch keine Handläufe – die Senioren dürfen mit sportlichen Einlagen nach den nahegelegenen Säulen greifen – und sich dabei von zwei nicht ausgezeichneten Überwachungskameras filmen lassen. Diese gehören vermutlich zu „familiären Atmosphäre“, welche man laut Besitzer eigentlich mit dem im Ladenraum befindlichen Kamin ausdrücken will. Vorbei geht es an der Glastür, auf welcher ich zwar viel Werbung, aber wenig Öffnungszeiten entdecke. Ist man dann  angekommen steht man vor den Produkten – wie zu erwarten keine Discountpreise, aber auf den ersten Blick für Ottonormalbürger erträglich. Ob es das auch für die mit immer knapperen Mitteln ausgestatteten Rentner gilt bleibt abzuwarten. Ebenfalls fällt auf, dass ein Großteil der Fläche mit Obst und Gemüse versehen ist. Fläche, welche das Sortiment weiter einschränken und Grünzeugs, welches in dieser Masse als einzigen Abnehmer wohl die Mülltonne finden wird.

Ich für meinen Fall konnte durch die Fenster im Innenraum kein Personal entdecken und werde mein Frühstück wie sonst auch im Discounter besorgen. Ob das Konzept auf Dauer aufgeht?

–Update–
Offenbar versucht man die Probleme anzugehen: Ein Geländer ermöglicht nun einen einfacheren Aufstieg.

EGK-Nachschlag

Eben wurde ich durch einen Tweet des CCC auf einen Beitrag in der SZ aufmerksam, welcher mir sehr bekannte Textblöcke zitierte. Die in meinem letzten Blogpost „angedrohten“

„nicht unerheblichen Eigenanteilen“

belaufen sich laut eines Sprechers der Barmer GEK auf Nachfrage der SZ auf

„mindestens 2,50 und höchstens 40 Euro“

zudem würde nach dem Bundesmantelvertrag der Ärzte auch ein „normaler“ Personalausweis zur Identifizierung genügen. Wer sich für das Thema interessiert sollte sich den Text mal durchlesen – schön zu sehen, was da alles an Dünnpfiff hinter manchen ach so sicheren Fakten steckt…