Masters of Disasters

Es gibt viele schlaue Ratgeber in denen man nachlesen kann, was alles zu einem ordentlichen Notfallmanagement gehört. Erfahrung ist aber immer noch der beste Ratgeber, entweder die eigene (allerdings ist es dann oft schon zu spät) oder die von anderen.  Naturkatastrophen wie Hurrikan Katrina oder Sandy haben nicht nur Wohnhäuser verwüstet, sondern auch die Büros und Serverräume vieler Firmen. Einige Beispiele, wie sich betroffene Firmen auf den Notfall vorbereitet hatten und wie sie schließlich ihre IT wieder zum Laufen gebracht haben, beschrieb James Careless vor einer Weile in einem Artikel für die NetworkWorld.

Die wichtigsten Erfahrungen und Ratschläge waren:

1.       Finde rechtzeitig heraus, was wie gut geschützt werden muss

Das klingt erst einmal banal und fast jeder denkt bei Disaster Recovery zuerst an Daten und Applikationen. Wichtig sind aber zum Beispiel auch die Lizenzschlüssel. Obwohl weit oben in der 19. Etage, wurden die Büroräume einer Versicherungsfirma in New Orleans vom Hurrikan Katrina komplett verwüstet. Tausende Glasscheiben gingen zu Bruch, überall lagen die Scherben. Nachdem die Mitarbeiter auch privat eine trockene Unterkunft gefunden hatten, wurden temporäre Ersatzbüros in einem Container bezogen. Mit Hilfe der Backups und den auf einer CD gesicherten Lizenzschlüsseln (heute werden diese im Cloud Speicher gesichert), waren 48 Stunden nach dem Storm der Exchange Server mit 120 Postfächern und das Management System wieder betriebsbereit. Anschließend mussten noch 100 Computer für die Arbeitsplätze eingerichtet werden. In einem anderen Beitrag beschreibt der IT-Leiter eines Unternehmens, dass sie ihr eMail-System vor dem Sturm als eine weniger wichtige Anwendung eingestuft hatten (Tier 3), die mit geringer Priorität wieder online gebracht werden musste. Das war ein Fehler. Nach dem Sturm merkte man, dass die eMail das wichtigste Kommunikationsmittel der Firma war und es wurde im Notfallmanagement sofort auf Tier 1 heraufgestuft.

2.       Speichere Backups ausreichend weit entfernt

Während sich Sturm Sandy New York City näherte, bekam eine IT-Service Firma aus der Stadt terrabyteweise Backup-Daten von ihren Kunden. Einige hatten noch in letzter Minute virtuelle Snapshots von ihrer gesamten Infrastruktur erzeugt. Die Räume des Dienstleisters im 12. Stock blieben zum Glück vom Stromausfall verschont. Manche Cloud Service Anbieter aus Manhattan, die ihre Server im Erdgeschoss hatten, waren aber noch offline, als das Wasser längst wieder abgeflossen war. Zum Glück hatte die IT-Service Firma ihre eigenen Backups bei einem Anbieter außerhalb des Katastrophengebietes gespeichert. Nah genug, um nach einer Stunde Autofahrt vor Ort sein zu können, aber weit genug entfernt, um nicht vom selben Sturm zerstört zu werden. Wertvolle Backups weit genug entfernt zu speichern, war somit auch die wichtigste Lehre, welche die Firma aus dieser Katastrophe gezogen hat.

3.       Ziehe einen zweiten Standort für Backup und Failover in Betracht

Eine Bank mit Hauptsitz in Houston, Texas, eine Stadt, die häufiger von Hurrikans heimgesucht wird, entschied sich nach der Hurrikan Saison 2008, einen zweiten IT-Standort in Austin zu mieten. Die weitestgehend virtualisierte IT-Infrastruktur wird mittels Zerto Virtual Replication komplett in das zweite Rechenzentrum gespiegelt. Damit das Umschalten auf den Ersatzstandort (Failover) im Ernstfall kein Experiment mit unsicherem Ausgang wird, ging die Firma sogar noch einen Schritt weiter:  Alle 6 Monate wird der produktive Standort routinemäßig gewechselt; ein halbes Jahr lang ist Houston produktiv, die andere Jahreshälfte ist es Austin. Den meisten Firmen würden regelmäßige Failover-Tests wahrscheinlich schon reichen, aber die Bank stellt so sicher, dass wirklich beide Standorte immer auf dem aktuellen Stand sind.

4.       Verabschiede dich vom Backup-Tape

Eine kleine Zahnklinik an der Ostküste verließ sich jahrelang auf ihre Backup-Bänder, die im gleichen Raum wie die Server gelagert wurden. Auf Rat eines IT-Dienstleisters wurden 2010 die Tapes durch Cloud Backup in Kombination mit einem lokalen Backup-Storage ersetzt. Wie sehr sich diese Entscheidung auszahlen sollte, erfuhr die Klinik ein Jahr später, als Hurrikan Irene die Büroräume mehr als einen Meter hoch unter Wasser setzte und das gesamte IT-Equipment zerstörte. Dank Cloud Backup und dem weiter oben gelagerten lokalen Backup-Speicher konnte man via Laptop sofort wieder auf Patientenakten und Finanzdaten zugreifen.

Naturkatastrophen wie ein Hurrikan oder – was in unseren Breiten eher vorkommt – Hochwasser und damit einhergehende Flutwellen, kommen meist nicht völlig überraschend und lassen noch etwas Zeit, um Sicherheitsmaßnahmen zu treffen. Bei vielen anderen Notfällen ist das leider nicht der Fall. Deshalb kann man die wichtigsten Empfehlungen aus den oben beschriebenen Erfahrungen zusammenfassen mit:

1)      Überprüfe hin und wieder Deine Backup-Prozeduren und andere Notfallmaßnahmen und bringe sie auf einen aktuellen (technischen) Stand.

2)      Teste regelmäßig, ob die Backups und Ersatzsysteme in der Not auch wie gewünscht funktionieren würden.

3)      Lokale Backups, die man auch offline nutzen kann, sind praktisch. Backups von wichtigen Daten sollten aber zusätzlich noch off-site, an einem ausreichend entfernten und sicheren Ort gespeichert bzw. kritische Systeme kontinuierlich zu einem Ersatzstandort repliziert werden.