wie Ihr sicherlich mit bekommen habt, waren wir, das Hackerlab Team, mit sämtlichen Diensten Offline.

NEIN! Wir haben keinen Urlaub gemacht. Aber irgendwie wollte der Server am vergangenen Freitag nicht mehr so wie wir es sonst gewohnt waren. Angefangen mit sehr hohen Delay hat es im Bereich Mail Virtualisierung. Den Host hat es kurz darauf mit gezogen, eine Load jenseits von gut und böse. Letztendlich half nur ein Reboot per serieller Konsole.

Während des Reboots schien alles soweit in Ordnung. Wie nach jedem Reboot eben noch ein paar Updates installiert. Dann noch eben das Crypto mounten und dann eben das Startscript anstoßen.
Soweit der Plan.
Die Gegenwart hat uns aber eingeholt, das Crypto Device wollte nicht mehr…-v not available…es lies sich nicht mounten, zwar war cryptsetup der Meinung das Device eingebunden zu haben, jedoch konnte es nicht gemountet werden. “Grausame” 48h folgten, der Raid1 hat sich synchronisiert und ein Deepscan nach superblöcken für das FS Recovery standen an. Ja die Sonne hat draußen auch geschien, so hat man mir berichtet….aber wenn man einmal dran ist, kann man sich auch nur sehr schwer wieder trennen und schon gar nicht mit dem Gedanken vertraut machen, daß der Fall eintritt den man NIE haben möchte, Datenverlust.

Auch am Sonntag abend war die Lage nicht wesentlich entspannter…zwischenzeitlich kamen Pläne auf eine 19″ 2HE Maschine startklar zu machen und bei free.de ins Rack zu schrauben.
Am Sonntag abend nach dem Tatort sah es nicht besser aus oder sagen wir, es sah genauso bescheiden aus wie auch in den letzten 48h….

Neuer Tag neues Glück und vor allem neue Gedanken!

Montag abend gegen 20:30 dann der erlösende Hinweis, man hat im hause Debian vor einiger Zeit anscheinend das crypt-mount Verfahrne/script wohl geändert, dem System war ein cryptsetup -y create crypto /dev/bla nicht mehr bekannt, aber das init Script im /etc/init.d/cryptdisks-early und der zugehörigen config im /etc/default liessich dann plötzlich das eine mit dem anderen verbinden.
Schnell noch das Passphrase eintippen und *zittern*warten* da war es…es lies sich sogar mounten…

Geschafft. Nach kurzem Check der Sachlage, gingen schon die ersten vServer wieder in Betrieb, angefangen mit dem mx2.hackerlab.de gefolgt von diversen anderen.
Der primäre MailServer hatte noch seine Probleme.
Ein Problem mit dem LDAP, wie die Fehlermeldung verlauten lies…aber ohne nähere brauchbare Informationen.
Nach weiteren 24h kamen dann birdcage und mir (darkhawk) die Erleuchtung. Der LDAP lief im superduper debug mode…und spuckte jeden Müll aus den wir mit ihm machten, naja fast jeden…und dann stand da dieser Fehler mit dem SSL: bla…Exception …da war uns schnell klar, es liegt vermutlich ein Fehler im Bereich Zertifikat vor…UND dann kam es mir wie ein Geistesblitz…das Zertifikat ist abgelaufen….denn der Server läuft nun so ziemlich genau seit 2 Jahren….ein kurzer Check verriet das GESTERn Morgen gegen 11:42 das mail.hackerlab.de Zertifikat abgelaufen ist….

Nein, es war keine versteckte Kamera-Show….und Murphy hat auch nicht mit gearbeitet. Aber mal unter uns…das hat uns auf gut deutsch den Arsch gerettet und jede Menge Arbeit ersparrt.
Das Hackerlab Team hat sich in dieser Zeit (rund 84h ohne Mails) sehr tapfer geschlagen.
Jetzt wo alles wieder online ist, nutzt den UrlShortener mod4.cc
Danke an birdcage, jsilence, sinned, wall-e.

• BLÄTTERN / CHRONOLOGISCH
• « mod4.cc als URL Shortener in Tweetbot