Überlegungen zu Reclaim.fm

Vor einigen Tagen hat Sascha Lobo in seinem Überraschungsvortrag auf der re:publica 2013 seine Strategie zur Rückeroberung der Netzdaten präsentiert: Mir Reclaim.fm möchte er dafür sorgen, dass die Blogs und Webseiten der Internetnutzer wieder aus ihrem Winterschlaf erwachen. Keine so schlechte Idee: Viele Daten liegen heute in der Cloud und diese ist – wie nicht zuletzt einige Ausfälle in letzter Zeit erneut bewiesen haben – nicht unfehlbar. Ich selbst bin nicht so tief in der Cloud versunken wie manch anderer: Die Inhalte wichtiger Twitter-Erkenntnisse finden sich in Blog-Posts wieder, viele YouTube-Videos stehen auch über meinen Server zum Download bereit, aber einige Sachen verschwinden auch in den Tiefen des Netzes.

Der erste Ansatz, welcher auf der Projektseite explizit als Entwicklerschnellschuss beschrieben wird, ist technisch zwar deutlich verbesserungswürdig, das Konzept ist aber vielversprechend: Statt eigener Systeme zu entwickeln setzt man auf Standards: Youtube-Videos, Facebook-Posts, Tweets – alles wird durch separate „Proxy-Scripts“ verarbeitet und am Ende als RSS ausgegeben. Da dieses Feed-Format weit verbreitet ist sind die Inhalte so über so ziemlich jeden Newsreader nutzbar. Unter anderem besteht so auch die Möglichkeit per Blog-Syndication (z.B. FeedWordPress für WordPress-Blogs) die Inhalte auf die eigene Webseite zu duplizieren.

Auch wenn die Scripte noch in einem frühen Stadium stecken: Das Grundkonzept funktioniert. Auch bei mir landen jetzt Inhalte aus verschiedenen Netzen in einer (auf der Startseite versteckten) Blog-Kategorie, jedoch ist noch ein weiter weg zu gehen: Bilder und Video werden so z.B. derzeit nur auf die Cloud-Dienste verlinkt, hier sollte besser eine lokale Kopie erfolgen um die Inhalte wirklich dauerhaft zu sichern. Auch hoffe ich, dass mit den ersten Versionen eine bessere Versionsverwaltung folgt: Momentan gibt es die Scripte nur als ZIP-Datei, kein GIT-Repository oder ähnliches – Patches erstellen ist somit nur schwer möglich.

Ein Anfang ist immerhin gemacht – ich hoffe, dass viele mitziehen und ihre Daten zukünftig nicht einfach nur großen Unternehmen schenken sondern selbst nutzen und dabei vorzugsweise auf freie Formate und Protokolle setzen, denn wie sich an der Nachricht über das Abhören von Skype zeigt sind die Warnungen der Verfechter von XMPP, PGP & Co nicht zwingend durch Verfolgungswahn entstanden.

Neue Daten von den Fußtruppen: Die Rhein-Zeitung über Ingress

Bild: https://www.adlerweb.info/blog/wp-content/uploads/2013/05/ingress.pngKurz war die Nachricht von Lars Wienand, Social-Network-Guru der Rhein-Zeitung: Er wolle einen Beitrag über Ingress, das neue Argumented-Reality-Spiel des Internetriesen Google, schreiben und suche daher Spieler aus der Umgebung. Nunja, ich hatte einige Wochen zuvor endlich meinen Invite für die mehr oder minder geschlossene Betaphase erhalten und wartete verzweifelt auf Portale in Laufweite, aber hey, in Koblenz waren Portale und es hatten sich schon ein paar Koblenzer angekündigt. Außerdem kenne ich Lars schon von einigen Twittertreffen und weiß, dass es in seiner Anwesenheit üblicherweise nicht langweilig wird. Auch Ingress-Frischling Sebastian Fuchs von „nebenan“ hatte Interesse und so ging es dann zusammen schnell nach Koblenz. Nunja, sofern das beim Koblenzer Berufsverkehr möglich ist, aber laut Twitter steckte auch der Herr der RZ irgendwo auf der Europabrücke im Stau. Glücklicherweise waren in unmittelbarer Nachbarschaft des Treffpunktes am deutschen Eck noch Parkplätze zu finden und wir damit fast pünktlich. Auf dem Eck war keine große Suchaktion notwendig: Eine Truppe mit Brillen, Tablets und meterweise Ladekabel sieht vielversprechend aus. Viele der Mitspieler stammten – wie irgendwie zu erwarten war – aus dem Umfeld der Koblenzer Uni und alle Spielnamen waren irgendwie bekannt. Kein Wunder: Alle Anwesenden gehörten zur Fraktion der „Resistance“ – die in Koblenz spärlich gesäten Anhänger der gegnerischen „Enlightened“ hatten offenbar keine Zeit. Auch iPhone-Besitzer (und damit nicht Ingress-Spieler) Wienand tauchte irgendwann auf – nicht unbedingt zu spät, denn das Eck-Portal war vermutlich bei sämtlichen Wartenden inzwischen ausgebrannt. Im Interview ging es um die Motivation, den Datenschutz und vieles weitere, was sich im Artikel entsprechend wiederfindet. Im Anschluss ging es dann noch in geschrumpfter Formation kurz durch Koblenz Portale entdecken – und Laufen. Am Jesuitenplatz durften wir feststellen, dass ein naheliegendes Portal durch einen Spieler der Enlightened angegriffen wurde – nichts wie hin. Murphy war aber natürlich schneller: Offenbar ist war der Spieler an uns vorbei und nun an unserer Ausgangsposition zu Gange, dort konnten wir dann jedoch 2 auf den Bildschirm konzentrierte Menschen finden – und ihnen einen etwas erschrockenen Blick entlocken, als sie die mit Handys & Tablets ausgestattete Menschenreihe hinter sich entdeckten. Aber Spiel ist Spiel: Man kam in ein freundliches Gespräch und verabschiedete sich kurz darauf – solche Geplänkel geben beiden Seiten Punkte und helfen allen Spielern.

Viele weitere Infos gibt es im Artikel der Rhein-Zeitung.

Alternative für vzcompress / Volkszähler

Seit einiger Zeit nutze ich – wie auch vorgestellt –  das Projekt Volkszähler um meine Messwerte zu erfassen. Der Grund für den Wechsel ist schnell erkennbar: Es ist dem angestaubten RRDTool designtechnisch um Generationen voraus, technisch hatte ich jedoch bereits damals bedenken angemeldet: Die Daten wandern einfach in eine MySQL-Datenbank – rrdtool verwendet hier ein System, welches die zeitliche Auflösung mit dem Alter der Daten senkt und so Speicher spart.

Das Ergebnis war zu erwarten: Über 10GB belegte meine Datenbank zuletzt, also muss Abhilfe geschafft werden. Genau für diesen Zweck findet ich im offiziellen Repo ein Tool namens „vzcompress„, welches unter Angabe der Kanäle und Zeiten per Argument alte Daten nach Zeiträumen zusammenfasst und somit nachträglich den Speicherverbrauch senken kann. Kann. Leider ist das Script nur für Pulssensoren (MeterInterpreter) geeignet, lässt man es auf einen Datenbestand mit absoluten Sensoren (SensorInterpreter) los wird der Datenbestand wegen der in dem Fall unpassenden Zusammenfassungsmethode quasi zerstört.

Also auf in den Kampf: Da sich mein Perl in Grenzen hält habe ich die Funktion in PHP neu implementiert und passend zu meinen Anforderungen erweitert. Das Script liest nun die verfügbaren Kanäle direkt auf den Konfigurationsdateien bzw. der Datenbank aus und unterstützt ein oder mehrere Kompresssionsschemata um ein abgestuftes Komprimieren zu ermöglichen, also z.B.

Newer than 7 Days      Keep Original
Older than 7 Days      Datapoint per 1 Minute
Older than 30 Days     Datapoint per 5 Minutes
Older than 6 Month     Datapoint per 15 Minutes
Older than 1 Year      Datapoint per 30 Minutes

Die bisher bei Volkszähler implementierten Sensoren wählen automatisch eine passende Methode:

	SensorInterpreter = Mittelwert
	MeterInterpreter = Summe
	CounterInterpreter = Maximalwert

Als Zeitstempel wird immer das Ende der zusammengefassten Zeitperiode verwendet. Auf der Konsole können Live-Statusmeldungen ausgegeben werden um den Fortschritt zu verfolgen. Getestet (im Sinne von es sind noch Daten da die stimmen könnten) ist das Ganze gegen MySQL und SensorInterpreter, andere Sensoren sollten funktionieren, bei anderen Datenbanken könnte es Probleme geben, da die SQL-Queries hardcoded sind.

Das Script selbst findet sich auf Github – für den Betrieb muss ggf. noch eine JSON-Datei gepatched werden.
Dank der Mailingsliste konnten bereits ein paar Schnitzer erkannt und zum Teil auch schon behoben werden. Auch einige interessante Verbesserundvorschläge versprechen noch bessere Ergebnisse.

Asterisk 11 und chan_capi

CAPI, CAPI, was war das doch gleich. Achja, ISDN. Ja, ich nutzt es tatsächlich noch – ganz ohne VoIP verbindet sich mein lokaler Asterisk mit einer guten, alten und vor allem aktiven AVM B1 mit dem Telefonnetz. Oder sagen wir eher verband, denn das letzte Update brachte auch Asterisk 11 mit – einer Software, welche offenbar jeder Art von Non-IP-Telefonie nicht sonderlich viel zu bieten hat. Eigene Schnittstellen gibt es nicht und das vor mir zuletzt genutzte chan_capi lässt sich wegen einer API-Änderung nicht mehr nutzen. Da ich nichts passenden finden konnte und die Änderungen überschaubar aussahen habe ich die bisherigen Array-Zugriffe durch die nun vorgeschriebenen Getter/Setter-Methoden geändert. Kompilieren funktioniert schon mal, allerdings hat Murphy natürlich zugeschlagen: Meine ISDN-Leitung hat irgendwo ein kaputtes Stück Kupfer, daher kann ich momentan nicht testen und die Karte im Zweitserver, welcher noch Netz hätte unterstützt passenderweise nur mISDN und somit chan_misdn – gnah. Nunja, der ungetestete Patch steht auf der ML oder meinem Server – wer mutig ist darf sich gerne versuchen – also auf eigenes Risiko und so…

Update 31.07.2013: Auf der ML steht inzwischen ein erweiterter Patch bereit, welcher sicher auch ein Versuch wert ist.

Nerd Inside