Archiv der Kategorie: Software

Alles was mit Software zu tun hat

Alternative für vzcompress / Volkszähler

Seit einiger Zeit nutze ich – wie auch vorgestellt –  das Projekt Volkszähler um meine Messwerte zu erfassen. Der Grund für den Wechsel ist schnell erkennbar: Es ist dem angestaubten RRDTool designtechnisch um Generationen voraus, technisch hatte ich jedoch bereits damals bedenken angemeldet: Die Daten wandern einfach in eine MySQL-Datenbank – rrdtool verwendet hier ein System, welches die zeitliche Auflösung mit dem Alter der Daten senkt und so Speicher spart.

Das Ergebnis war zu erwarten: Über 10GB belegte meine Datenbank zuletzt, also muss Abhilfe geschafft werden. Genau für diesen Zweck findet ich im offiziellen Repo ein Tool namens „vzcompress„, welches unter Angabe der Kanäle und Zeiten per Argument alte Daten nach Zeiträumen zusammenfasst und somit nachträglich den Speicherverbrauch senken kann. Kann. Leider ist das Script nur für Pulssensoren (MeterInterpreter) geeignet, lässt man es auf einen Datenbestand mit absoluten Sensoren (SensorInterpreter) los wird der Datenbestand wegen der in dem Fall unpassenden Zusammenfassungsmethode quasi zerstört.

Also auf in den Kampf: Da sich mein Perl in Grenzen hält habe ich die Funktion in PHP neu implementiert und passend zu meinen Anforderungen erweitert. Das Script liest nun die verfügbaren Kanäle direkt auf den Konfigurationsdateien bzw. der Datenbank aus und unterstützt ein oder mehrere Kompresssionsschemata um ein abgestuftes Komprimieren zu ermöglichen, also z.B.

Newer than 7 Days      Keep Original
Older than 7 Days      Datapoint per 1 Minute
Older than 30 Days     Datapoint per 5 Minutes
Older than 6 Month     Datapoint per 15 Minutes
Older than 1 Year      Datapoint per 30 Minutes

Die bisher bei Volkszähler implementierten Sensoren wählen automatisch eine passende Methode:

	SensorInterpreter = Mittelwert
	MeterInterpreter = Summe
	CounterInterpreter = Maximalwert

Als Zeitstempel wird immer das Ende der zusammengefassten Zeitperiode verwendet. Auf der Konsole können Live-Statusmeldungen ausgegeben werden um den Fortschritt zu verfolgen. Getestet (im Sinne von es sind noch Daten da die stimmen könnten) ist das Ganze gegen MySQL und SensorInterpreter, andere Sensoren sollten funktionieren, bei anderen Datenbanken könnte es Probleme geben, da die SQL-Queries hardcoded sind.

Das Script selbst findet sich auf Github – für den Betrieb muss ggf. noch eine JSON-Datei gepatched werden.
Dank der Mailingsliste konnten bereits ein paar Schnitzer erkannt und zum Teil auch schon behoben werden. Auch einige interessante Verbesserundvorschläge versprechen noch bessere Ergebnisse.

Asterisk 11 und chan_capi

CAPI, CAPI, was war das doch gleich. Achja, ISDN. Ja, ich nutzt es tatsächlich noch – ganz ohne VoIP verbindet sich mein lokaler Asterisk mit einer guten, alten und vor allem aktiven AVM B1 mit dem Telefonnetz. Oder sagen wir eher verband, denn das letzte Update brachte auch Asterisk 11 mit – einer Software, welche offenbar jeder Art von Non-IP-Telefonie nicht sonderlich viel zu bieten hat. Eigene Schnittstellen gibt es nicht und das vor mir zuletzt genutzte chan_capi lässt sich wegen einer API-Änderung nicht mehr nutzen. Da ich nichts passenden finden konnte und die Änderungen überschaubar aussahen habe ich die bisherigen Array-Zugriffe durch die nun vorgeschriebenen Getter/Setter-Methoden geändert. Kompilieren funktioniert schon mal, allerdings hat Murphy natürlich zugeschlagen: Meine ISDN-Leitung hat irgendwo ein kaputtes Stück Kupfer, daher kann ich momentan nicht testen und die Karte im Zweitserver, welcher noch Netz hätte unterstützt passenderweise nur mISDN und somit chan_misdn – gnah. Nunja, der ungetestete Patch steht auf der ML oder meinem Server – wer mutig ist darf sich gerne versuchen – also auf eigenes Risiko und so…

Update 31.07.2013: Auf der ML steht inzwischen ein erweiterter Patch bereit, welcher sicher auch ein Versuch wert ist.

Updates für php-dio und fusecompress-1 @ AUR

Soderle, kleinen Frühjahrsputz für mein Archlinux veranstaltet: php-dio ist jetzt auf Version 0.0.7 – eigentlich unnötig, da offenbar nur Änderungen für Windows drin sind, aber hey, die Optik spielt ja auch eine Rolle. Zudem habe ich mich mal erbarmt und die C-Variante von Fusecompress auf die aktuelle Version gehoben bzw. einige Compile-Patches eingearbeitet – mal schauen, sollte die letzte Version endlich die FUSE-Abstürze auf meinem PC beheben adoptiere ich es eventuell dauerhaft, aber erst mal wird jetzt die neue Version mit meinem /home auf Herz und Nieren getestet…

„SECURITY VIOLATION“ nach Gallery2-Update

Offenbar hatte sich beim letzten WordPress-Update klammheimlich meine Gallery-Integration zerlegt – zwar lief hier noch alles wie gewohnt, allerdings wurden die Kurz-URLs nicht korrekt aufgelöst. Schuld war eine (manuelle) Änderung der .htaccess-Datei, die für etwas Chaos sorgte. Während der Fehlerbehebung ist mir aufgefallen, dass meine Gallery nicht ganz auf dem neuesten Stand ist. Zwar verzichte ich noch immer Absichtlich auf Gallery3, jedoch hatte ich offenbar ein XSS-Fix für den 2er-Zweig verpennt. Das Update lief fehlerfrei, jedoch wurden anschließend im Blog keine Bilder mehr angezeigt. Versuchte ich das Bild direkt zu öffnen wurde eine HTML-Seite mit der G2-Fehlermeldung „SECURITY VIOLATION“ gezeigt. Nachdem ich einige Zeit in der falschen Richtung suchte fand sich das Problem bei den Plugins: Meine Fotos werden mit einer Watermark versehen, dass zuständige Plugin war jedoch nach dem Update nicht mehr aktiviert und sorgte bei externen Aufrufen für den Fehler.

WordPress / TwentyTwelve: Home umbenennen

WordPress zeigt bei Verwendung einiger Themes (z.B. Twentytwelve) in der Navigation immer auch die Startseite an, nutzt hierbei jedoch nicht den Seitennamen sondern immer die Bezeichnung „Home“. Um dies zu ändern muss man etwas tiefer im System graben: In der Datei wp-content/languages/de_DE.po findet sich eine passende MsgID, der zugehörige Text eine Zeile drunter. Eine Änderung könnte z.B. so aussehen:


#: wp-includes/post-template.php:899
msgid "Home"
msgstr "Startseite"

Da WordPress auf Gettext setzt muss die PO-Datei noch kompiliert werden. Dies geschieht auf *nix-Systemen z.B. mit

msgfmt -o de_DE.mo de_DE.po

Windowsnutzende Cloudfanatiker können natürlich auch ein entsprechendes Onlinetool benutzen ;).

Stand heute (WordPress 3.5.1 von WPDE) gibt es z.T. Probleme mit der mitgeliferten PO:

de_DE.po:2104: `msgid‘ and `msgstr‘ entries do not both end with ‚\n‘
msgfmt: found 1 fatal error

In diesem Fall im Editor die genannte Zeile öffnen und am Ende der Übersetzung (msgstr) die Newline (\n) löschen.

SmartTan Optic – denn ohne Mensch ists Sicherer?

Bis letztes Jahr war meine Onlinebankingwelt noch in Ordnung – meine Bank hatte seit einigen Jahren mit „SmartTAN Plus“, auch bekannt als „HHD1.2“ ein für mich akzeptables System im Einsatz: Hierbei erhielt man ein kleines, eigenständiges Gerät mit Kartenleser, Tastatur und Display – in meinem Fall war es ein TanJack Plus von Reiner-SCT . Wird eine Onlineüberweisung o.Ä. gestartet erhält man eine Zufallszahl – hat man seine Bankkarte in das Gerät gesteckt gibt man diese zusammen mit der Kontonummer des Empfängers in das Gerät ein. Hat man alle Daten bestätigt zeigt der Leser eine 5 stellige Nummer an über welche man die Transaktion auf der Bank-Webseite bestätigen kann. Zwar liegen die Spezifikationen großteils nicht offen, aber durch die Trennung zwischen PC und Tan-Generator ist ein gewisser Schutz gewährleistet. Alternativ bietet die Bank mit m-Tan auch eine Handy-Lösung an bei welcher die TAN als SMS zugestellt wird, aber das möchte man natürlich nicht

Nun steht für Kunden des HHD1.2 ein Update auf HHD1.4, auch bekannt als SmartTan Optic oder SmartTan Comfort an. Bei dieser Lösung wird nun auch der Betrag zur Erstellung der TAN verwendet, die große Neuerung ist aber die Übertragung: Statt einer Eingabe auf dem Keypad sorgt nun eine animierte Grafik auf der Bankwebseite/-software in Zusammenarbeit mit Fotodioden an den (selbstverständlich auf eigene Kosten neu anzuschaffenden) Lesern für die Übertragung der Daten. Auf der Seite der VR Bank Rhein Sieg heißt es hierzu beispielsweise:

Sicherheit und Komfort für mehr Vertrauen

[…]Die optische Schnittstelle liest die notwendigen Kontrolldaten vom Monitor direkt in das Lesegerät ein.[…]Das Zwei-Schritt-Verfahren ist so für den Bankkunden noch komfortabler – bei gleichbleibender Sicherheit.

Nunja, komfortabler ja, aber sicherer? Zum Ersten entfällt die „Zwangsprüfung“ der Kontonummer bei der Eingabe. Da die Daten direkt im TAN-Generator landen ist die Verlockung groß ohne weitere Prüfung schnell mit OK zur TAN durchzuhechten. Zum Anderen geht auch die Kontrollmöglichkeit verloren – zwar ist der verwendete Flickercode bereits halbwegs entschlüsselt, aber wer prüft das schon? (OK, ich…) Es existiert also eine nur schwer prüfbare (einweg)Verbindung – genau das, was man eigentlich nicht möchte. Wer sagt mir, dass hier nicht neben den Bankdaten schnell eine neue Firmware übertragen wird? Zumindest einige Konfigurationscodes für die Tastatur zur Änderung des Leser-Verhaltens lassen sich im Netz finden, die Programmstrukturen sind also definitiv nicht vollständig in Hardware abgebildet. Das schlimme dabei: Wenn man tatsächlich von einem solchen Angriff betroffen wäre dürfte es schwer werden die Bank davon zu überzeugen, dass es ein Systemfehler ist – man würde vermutlich auf dem Schaden selbst sitzen bleiben. Ja, ich weiß, ich bin in der Ecke etwas Paranoid, aber zumindest bei der Eingabevalidierung nimmt es das Gerät nicht ganz so genau, denn nunja, mit etwas Javascript im Browser (welcher beispielsweise per Trojaner auf der Bank-Webseite eingeschleust werden könnte) bringt der Leser beispielsweise folgende Ausgaben:

(Technischer Hinweis: Der Betrag wird im Flicker-Code als ASCII codiert, hierbei sind neben Zahlen auch Buchstaben und einige Sonderzeichen möglich. Selbstverständlich kommt hierdurch keine gültige TAN mehr raus, eine Gefahr besteht hierdurch also nicht – allerdings ist es auch kein gutes Ohmen für die allgemeine Codequalität des Systems.)

Weiter habe ich nicht probiert, da das Gerät bei den Tests für diese Aktion bereits sehr fragil reagierte wollte ich den Leser nicht mit Zeilenumbruch oder NULL-Zeichen komplett aus der Fassung bringen… Nunja, bei meiner Bank ist auch eine manuelle Eingabe der Daten weiterhin möglich, auch wenn der versprochene „Comfort“ für mich damit ein großes Minus davor hat – für das ich natürlich auch noch zahlen darf.

Linux: Anzahl der geöffneten Dateien pro Prozess anzeigen

*Poff* – das war die Wand der maximal geöffneten Prozesse auf einem Linux-System – praktisch wäre es jetzt noch zu wissen welcher Prozess dafür verantwortlich ist. In diesem Fall hilft folgender Befehl – er erstellt eine Liste aller Prozesse mit der Anzahl der geöffneten Dateien, die verschwenderichsten oben:

lsof | cut -d ' ' -f 1 | uniq -c | sort -r

Auf der Suche nach den inodes

So ein Linux-Server mit ext4 ist nicht so schnell klein zu bekommen – ich schaffs aber natürlich trotzdem. Auf einem meiner App-Server verabschiedete sich übers Wochenende der Datenbankserver. Diagnose eindeutig: Platte voll, 0 Bype frei. Der Auslöser ist auch schnell ausgemacht – mangels logrotate haben sich über 8GB in /var/log angesammelt. Klare Sache – Logs löschen, Dienste neustarten undnichts. Platte voll. Dafuq? Am Platz liegts nicht – dort sind die 8GB nun frei – ich vermute Böses…

# df -h /
Filesystem Size Used Avail Use% Mounted on
/dev/root 23G 14G 8.2G 62% /
# df -i /
Filesystem Inodes IUsed IFree IUse% Mounted on
/dev/root 1474560 1474560 0 100% /

Treffer versenkt – die Inodes sind voll. Aber warum? Nach kurzem Gegoogle gehe ich davon aus, dass meist eine Datei = ein Inode ist, also wird die Bash-Keule ausgepackt:

(for i in `find / -xdev -type d 2>/dev/null` ;do (echo -n `ls -1a "$i" | grep -vP "^(.|..)$" |wc -l` && echo " - $i") ;done) | sort -n

Dieser Code erzeugt eine Liste aller Ordner auf dem Device der Root-Partition – aufsteigend nach der Anzahl der Dateien sortiert. In meinem Fall ist der Schuldige relativ eindeutig:

[...]
1460 - /usr/share/man/man1
1620 - /usr/portage/metadata/cache/dev-perl
1620 - /usr/portage/metadata/md5-cache/dev-perl
1692 - /usr/portage/metadata/glsa
4554 - /usr/share/man/man3
972513 - /var/nagios/home/.maildir/new

Ich sollte mal ein paar Mails löschen -Oder auch nicht, denn…

rm *
-bash: /bin/rm: Argument list too long

also muss auch hier getrickst werden:
find ./ -exec rm {} +

PHP Google+ Library – und es postet doch…

Google+ dümpelt weiter vor sich hin – zwar hält mich die mangelhafte Clientauswahl weiterhin davon ab dort mehr im „Tagesgeschäft“ zu machen, allerdings sind Features wie die Hangouts Gold wert. Meine erste Anforderung für regelmäßige Nutzung bin ich nun einmal angegangen: Ich möchte posten. Nicht über einen vorgegebenen Client, meine Rechner sammeln ohnehin schon eine Menge Informationen zusammen und die sind vermutlich nicht nur für mich interessant. Gut, dass es eine API gibt. Nicht. Googe stellt zwar bereits eine API mit OAuth & Co zur Verfügung, aber die ist derzeit nur lesend zu benutzen.

Zum Glück bin ich nicht der einzige mit diesem Wunsch, so hat Luka Pusic bereits einen Google+-Bot in PHP geschrieben und praktischerweise auf GitHub veröffentlicht. Statt mit einer API zu kämfen emuliert sein Script schlichtweg einen (Handy)Browser und liefert so die Daten bei Google ab. Zwar ist das Ganze nicht unbedingt für Webapplikationen brauchbar, für lokale Single-User-Scripte wie meine aber perfekt. Auf Basis seines Codes habe ich nun eine kleine Google+-Library gebastelt – neben etwas Codeputz gibt es auch eine Funktion um einen Status mit Bilddatei zu veröffentlichen. Leider ist das Mobilinterface recht eingeschränkt, sodass bisher keine (schönen) Links oder Verknüpfungen zu anderen Personen auf G+ möglich sind. Also kein allumfassender G+-Zugriff, aber genug um z.B. einen Twitter2G+-Bot zu realisieren, wie er sich derzeit auf meinem Account austobt. Die Post sind momentan auf den Kreis „Öffentlich“ hardcoded, sollte sich aber bei Bedarf recht leicht anpassen lassen.

Den Code der G+-Lib gibt’s auf GitHub, der Twitter-Bot ist noch nicht so komplex, als das sich das lohnen würde. Und wenn ich schon mit den neuen Netzen rumspiele kann man das Projekt dann auch Flattrn.

Kurzer Report von der Bastelfront

Festivals schön und gut, aber die freie Zeit muss natürlich auch etwas produktiv genutzt werden. Momentan heißt das hauptsächlich Housekeeping – Systeme reparieren und allerhand Basteleien, welche auf die Schnelle erfolgten, halbwegs vernünftig verpacken und fest einbauen. Trotzem sind einige neue Projekte dabei, zu denen ich in Kürze noch mehr schreiben werde, unter anderem hat meine Solaranlage eine neue Überwachungselektronik und viele neue Abnehmer erhalten. Zudem haben einige Webprojekte Updates erhalten, unter anderem kann mein Archivsystem, welches ich für die Bildarchivierung des Geschichtsvereins Saffig entwickelt hatte, inzwischen einige wichtige DMS-Funktionen wie Kontaktverwaltung und ORC erfüllen und sammelt nun in einer lokalen Installation meine Papierkorrespondenz in nerdgerechter Form. Auch einige Haushaltsgeräte sind inzwischen soweit, dass sie theoretisch Meldungen an meinen Steuerrechner übermitteln könnten – wenn denn ein Kabel da wäre. Da die Geräte weit entfernt von jeder Infrastruktur stehen und auf Grund baulicher Gegebenheiten das verlegen neuer Kabel für eine solche „Spielerei“ zu aufwändig wäre habe ich mir einige NRF24l01+ organisiert, ein Funkmodul welches mit integrierter Transportschicht glänzt und mit <3€ preislich sehr ansprechend ist. Leider konnte ich den Sample-Code nicht zum laufen bewegen, daher suchte ich nach Debug-Möglichkeiten. Zum Glück fiel mir mein guter, alter BusPirate wieder in die Hände, welcher sich direkt mal als simpler Logic-Analyzer versuchen durfte und – zu meiner Überraschung – gemessen an Preis und Ausstattung sehr gute Ergebnisse liefert, so konnte ich z.B. ermitteln, dass der Sendebefehl definitiv korrekt ans Sende-Modul übermittelt wird. Also wird gleich die Empfängerseite dran glauben müssen.
Bild: https://www.adlerweb.info/blog/wp-content/uploads/2012/06/test2-300×38.png