Hosted Exchange ist nur eingeschränkt oder gar nicht erreichbar
Incident Report for Host Europe GmbH
Postmortem

Wie versprochen finden Sie im Folgenden eine Zusammenfassung aller Informationen über unseren Ausfall und den eingeschränkten Zugriff auf Ihre Hosted Exchange-Postfächer.

Zunächst möchten wir uns bei Ihnen für die Umstände entschuldigen. Uns ist bewusst, wie wichtig der zuverlässige E-Mail-Dienst für Sie ist und dass Sie sich dabei auf eine reibungslose Verbindung Ihrer Services verlassen können. Nachdem der Vorfall in der vergangenen Woche aufgearbeitet wurde, möchten wir Ihnen eine Erklärung liefern, wie es dazu kommen konnte und wie wir einen solchen Ausfall künftig vermeiden.

In der Vergangenheit haben wir für einen Teil unserer Kunden leere öffentliche Ordner angelegt. Diese verwenden manche Kunden für ihre Zusammenarbeit mit Kollegen, um dafür gemeinsame Ressourcen wie z.B. Kalender zu nutzen. Zum Teil bleiben die öffentlichen Ordner jedoch auch komplett ungenutzt. Bei der Anlage dieser Ordner hatten wir nun eine uns bislang unbekannte Obergrenze erreicht, was zu einem Anstieg der Serverauslastung führte. Infolgedessen war der E-Mail-Dienst für Exchange-Postfächer mitunter sehr langsam, teilweise kam es auch zu vollständigen Verbindungsabbrüchen.

Es handelte sich dabei um ein noch völlig unbekanntes Problem. Keiner der zahlreichen Experten, die gemeinsam an der Behebung gearbeitet haben – einschließlich der Experten des Anbieters – wurde zuvor schon einmal damit konfrontiert. So waren umfangreiche Prüfungen nötig, um dem Problem auf den Grund zu gehen. Wir haben daraufhin einen Teil der ungenutzten, leeren öffentlichen Ordner gelöscht. Im Nachhinein mag die Lösung zwar einfach erscheinen, aber die Identifizierung der Ursache erforderte eine komplexe und detaillierte Überprüfung des gesamten Systems. Erschwert wurden unsere Untersuchungen dadurch, dass unser Zugriff auf die Server bei der Fehlersuche genauso verlangsamt war wie Ihr Zugriff auf die Postfächer.

Wir haben rund um die Uhr, sieben Tage die Woche daran gearbeitet, die Ursache zu finden und zu beheben und auch wir sind unzufrieden mit der Dauer der definitiven Problemlösung. Dennoch möchten wir uns hier auch einmal bei unseren Kollegen bedanken, die einige schlaflose Nächte durchgearbeitet haben.

Wie werden wir nun verhindern, dass sich ein solcher Vorfall wiederholt?

Wie bereits erwähnt, haben wir einige ungenutzte, leere öffentliche Ordner unserer Kunden entfernt. Bitte beachten Sie: Wenn Sie derzeit einen öffentlichen Ordner verwenden, können Sie diesen wie gewohnt weiterhin nutzen. Für neue Postfächer jedoch werden wir diese Option nicht mehr anbieten. Außerdem werden wir die Anzahl der öffentlichen Ordner auf unseren Servern laufend überwachen, damit es nicht erneut zu einer solchen Situation kommt.

Wir haben alle unsere Ressourcen aufgeboten, um die Verfügbarkeit Ihrer Exchange-Postfächer wiederherzustellen, und bedauern sehr, dass uns das nicht schneller gelungen ist. Wir legen großen Wert darauf, Ihnen einen zuverlässigen Service zu bieten und wir tun alles, damit sich ein derartiger Ausfall nicht wiederholt.

Noch einmal möchten wir uns für den Vorfall zutiefst bei Ihnen entschuldigen.

Posted Jan 28, 2019 - 13:04 CET

Resolved
This incident has been resolved.
Posted Jan 22, 2019 - 11:18 CET
Update
Die Probleme von heute morgen wurden soweit wieder behoben. Für die entstandenen Unannehmlichkeiten möchten wir uns in aller Form bei Ihnen entschuldigen.
Posted Jan 22, 2019 - 11:03 CET
Update
Aktuell kann es bei unserem Exchange-Mailsystem zu Konnektivitätsproblemen in Verbindung mit Outlook und langsamen Logins ins OWA kommen. Wir gehen der Ursache eben auf den Grund und hoffen eine schnelle Lösung für die Probleme zu finden.
Posted Jan 22, 2019 - 09:15 CET
Update
Aktuell kann es bei unserem Exchange-Mailsystem zu Konnektivitätsproblemen in Verbindung mit Outlook und langsamen Logins ins OWA kommen. Wir gehen der Ursache eben auf den Grund und hoffen, eine schnelle Lösung für die Probleme zu finden.
Posted Jan 22, 2019 - 09:14 CET
Monitoring
A fix has been implemented and we are monitoring the results.
Posted Jan 20, 2019 - 18:17 CET
Identified
Die Fehler beim Zugriff auf Hosted Exchange sind nun behoben, unserer Kunden können ihre Postfächer wieder wie gewohnt nutzen.

Für die mit dem Ausfall verbundenen Unannehmlichkeiten möchten wir uns bei Ihnen entschuldigen und bedanken uns für Ihre Geduld während der Fehlerbehebung. Wir nehmen diesen Vorfall zum Anlass, umfangreiche Prüfungen zur Verbesserung unserer Systeme durchzuführen, um eine derartige Störung künftig zu vermeiden. Dazu werden wir Ihnen in den nächsten Tagen noch weitere Informationen zur Verfügung stellen.
Sollten Sie wider Erwarten doch noch Probleme mit Hosted Exchange haben, melden Sie sich bitte bei unserem Support: ‭0800 4678387‬
Posted Jan 20, 2019 - 18:14 CET
Monitoring
Die Fehler beim Zugriff auf HostedExchange sind nun behoben, unserer Kunden können ihre Postfächer wieder wie gewohnt nutzen.
 
Für die mit dem Ausfall verbundenen Unannehmlichkeiten möchten wir uns bei Ihnen entschuldigen und bedanken uns für Ihre Geduld während der Fehlerbehebung. Wir nehmen diesen Vorfall zum Anlass, umfangreiche Prüfungen zur Verbesserung unserer Systeme durchführen, um eine derartige Störung künftig zu vermeiden. Dazu werden wir Ihnen in den nächsten Tagen noch weitere Informationen zur Verfügung stellen.
Posted Jan 20, 2019 - 18:03 CET
Update
Wir kommen mit unserer Arbeit am Wochenende gut voran, die meisten Postfächer sind wieder wie gewohnt erreichbar. Bei einigen wenigen Kunden jedoch kommt es derzeit noch zu Zugriffsfehlern, die wir individuell mit hoher Priorität bearbeiten.

Wir danken Ihnen für Ihre Geduld in den letzten Tagen und werden Sie weiterhin auf dem Laufenden halten.
Posted Jan 19, 2019 - 18:34 CET
Update
Der größte Teil unserer Kunden hat momentan kontinuierlichen Zugriff auf ihre Mailboxen.
Unser Fokus liegt nun darauf die Probleme der restlichen Kunden zu beseitigen. Für das Wochenende haben wir Arbeitspakete bestimmt, um die Probleme der individuellen Fälle zu identifizieren und zu beseitigen.
Unser Team wird auch dieses Wochenende rund um die Uhr arbeiten. Wir werden Sie weiterhin auf dem Laufenden halten. Wir planen am späten Nachmittag am Samstag und zur gleichen Zeit am Sonntag ein aktuelles Statement zu veröffentlichen. Wenn es zu anderen Zeiten wichtige Neuigkeiten gibt, werden wir Sie darüber informieren.
Unser Team arbeitet weiterhin hart daran, die Mailboxen aller Kunden ans Laufen zu bringen.
Posted Jan 18, 2019 - 17:58 CET
Update
Die Exchange-Server laufen auch heute Morgen stabil und die meisten Kunden können mit einer erhöhten Geschwindigkeit auf Ihre Postfächer zugreifen.

Uns ist jedoch auch bewusst, dass einige Kunden noch immer Probleme beim Zugriff auf Ihre Postfächer haben. Wir arbeiten weiterhin mit Hochdruck daran, die Ursache des Problems zu ermitteln. In der letzten Nacht haben wir diverse Systemanalysen durchgeführt. Die daraus resultierenden Erkenntnisse diskutieren wir mit Microsoft und priorisieren die nächsten Aufgaben.

Wir tun weiterhin alles, um Hosted Exchange so schnell wie möglich wieder im vollen Umfang zur Verfügung zu stellen. Wir bedauern den Vorfall sehr und entschuldigen uns nochmals bei Ihnen für die Umstände.
Posted Jan 18, 2019 - 09:30 CET
Update
Stand zur Erreichbarkeit von unseren Hosted Exchange-Produkten

Heute im Laufe des Tages konnte die Mehrheit unserer Kunden eine Verbesserung bei der Erreichbarkeit ihrer Exchange-Postfächer feststellen: Der Zugriff auf E-Mails erfolgt wieder schneller und die Postfächer können zum Teil wie gewohnt genutzt werden.

Die zusätzlichen Kapazitäten, die in den letzten 24 Stunden in Betrieb genommen wurden, haben zu einer deutlichen Verbesserung geführt.

Leider ist das aktuell noch nicht bei allen Kunden der Fall – ein geringer Teil unserer Kunden hat noch immer mit Problemen zu kämpfen. Wir arbeiten weiterhin mit Hochdruck daran, all unseren Kunden die Leistung zu Verfügung zu stellen, die sie von uns gewohnt sind.

Wir gehen davon aus, dass die Ursache der Störung ein Service ist, der mit der Konfiguration der Mailboxen zu tun hat. Um das zu bestätigen müssen jedoch zunächst umfangreiche Untersuchungen beendet werden. Sobald der genaue Grund bestätigt ist, informieren wir Sie ausführlich darüber.

Weiterhin werden wir rund um die Uhr daran arbeiten, das Problem zu beheben und alles dafür tun, dass Sie so schnell wie möglich, ohne Einschränkungen auf Ihre Hosted Exchange-Postfächer zugreifen können.
Posted Jan 17, 2019 - 18:06 CET
Update
Aktueller Stand zur Erreichbarkeit unserer Hosted Exchange Produkte:

Einige Kunden können aktuell mit Verzögerungen auf ihre Postfächer zugreifen, teilweise ist die Verbindung jedoch immer noch sehr langsam oder auch gar nicht möglich. Unser Team arbeitet weiter mit höchster Priorität daran.

Beachten Sie bitte, dass Änderungen von Einstellungen (z.B. Passwortänderung) an Ihrem Exchange-Postfach im Kundenmenü derzeit nicht möglich sind.
Posted Jan 17, 2019 - 13:57 CET
Update
Aktueller Stand zur Erreichbarkeit unserer Hosted Exchange Produkte:

Wir haben die Nacht über neue Hardware zu unseren Systemen hinzugefügt, sodass uns nun weitere Kapazitäten für die Fehlersuche zur Verfügung stehen.

Die CPU-Last der Exchange-Server ist nach wie vor sehr hoch, durch die Erweiterung der Kapazität konnte der Zugriff auf Ihre Postfächer also noch nicht wieder stabilisiert werden. Wir bedauern sehr, dass es auch heute noch weiterhin zu einer eingeschränkten Verfügbarkeit der Exchange-Systeme kommt.

Wir sind jedoch in der vergangenen Nacht mit unseren Untersuchungen weiter vorangekommen und können nun gemeinsam mit Microsoft neue Arbeitsansätze verfolgen und Reparaturarbeiten durchführen. Diese Arbeiten werden durch die zusätzlichen Serverkapazitäten erleichtert.

Die vollständige Erreichbarkeit so schnell wie möglich wiederherzustellen ist die oberste Priorität unseres Teams bei Host Europe in Zusammenarbeit mit Microsoft.

Wir werden Sie weiterhin über unsere Statusseite auf dem Laufenden halten und entschuldigen uns erneut für die eingeschränkte Verfügbarkeit Ihrer HostedExchange-Postfächer.
Posted Jan 17, 2019 - 09:24 CET
Update
Aktueller Stand zur Erreichbarkeit unserer Hosted Exchange Produkte:

Die Probleme bestehen auch heute Abend noch weiterhin, jedoch konnten wir inzwischen einige Fortschritte bei unseren technischen Untersuchungen erzielen, über die wir Sie informieren möchten.

Eine besondere Herausforderung hat sich durch die stark verzögerten Antwortzeiten der Exchange-Server ergeben – dies hat unsere Arbeiten an den Servern verlangsamt. Daher haben wir unsere Systeme um neue Hardware erweitert, sodass wir die Fehleranalyse durch neue Kapazitäten schneller durchführen können.

Heute Abend um 22 Uhr werden wir die Exchange-Postfächer offline nehmen, damit uns mehr Rechenleistung für unsere Prüfungen zur Verfügung steht. Wir werden den Zugang zu Ihrem Exchange-Postfach morgen früh ab 6 Uhr wiederherstellen.

Wir werden unsere Statusseiten heute Abend und morgen früh weiter aktualisieren, um Sie über den aktuellen Stand unserer Arbeiten auf dem Laufenden zu halten.

Es tut uns leid, dass diese Probleme noch nicht behoben sind. Uns ist bewusst, wie verärgert Sie deswegen sind. Wir arbeiten rund um die Uhr mit den besten Teams von Microsoft zusammen, um die Postfächer so schnell wie möglich wieder in Betrieb zu nehmen.
Posted Jan 16, 2019 - 20:25 CET
Update
Aktueller Stand zur Erreichbarkeit unserer Hosted Exchange Produkte:

Trotz eingehender und anhaltender Nachforschungen durch die Spezialisten-Teams von Microsoft und Host Europe konnten die Schwierigkeiten mit unseren Hosted Exchange Servern noch nicht gelöst werden. Seit Sonntagnacht besteht eine sehr langsame und unstetige Verbindung mit Hosted Exchange. Seitdem arbeiten wir ohne Pause und in mehreren Schichten daran, das Problem zu beseitigen. Wie wir arbeitet auch Microsoft an dieser Aufgabe mit der höchsten Eskalationsstufe (A).

Die langsame Verbindung zu den Exchange Servern erschwert auch uns die Arbeit, das System zu stabilisieren. Obwohl das Hosted Exchange System sehr langsam läuft, halten wir es online, weil die meisten Kunden in der Lage sind, trotz der Einschränkungen E-Mails zu senden und zu empfangen.

Die neuesten Informationen zu dem Vorfall finden Sie immer auf unser Status-Seite. Auch hier auf dem Social-Media-Kanal halten wir sie auf dem Laufenden.

Wir verstehen Ihren Unmut und sind uns klar darüber, dass es sich hierbei um für Sie wichtige Programme handelt. Wir wissen, dass Sie von uns besten Service erwarten und wir tun alles, damit das Problem so schnell wie möglich behoben ist. Wir bedauern diesen Vorfall sehr.
Posted Jan 16, 2019 - 15:23 CET
Update
Aktueller Stand zur Nichterreichbarkeit unserer Hosted Exchange Produkte:

Die vergangenen Arbeiten führten leider nicht zum gewünschten Erfolg. Uns liegen nun weitere Analysedaten vor, welche von Microsoft ausgewertet werden. Der Client Zugang wurde nun wieder aktiviert und wir rechnen leider weiterhin mit Performanceeinbußen.

Wir bedauern diese forlaufende Beeinträchtigung und bitten für die entstandenen Unannehmlichkeiten um Entschuldigung.
Posted Jan 16, 2019 - 08:33 CET
Update
Aktueller Stand zur reduzierten Verfügbarkeit unserer Hosted Exchange Produkte:

Zur Durchführung von weiteren Optimierungsmaßnahmen müssen wir die gesamte Hosted Exchange Umgebung neu starten.
Dieser Vorgang dauert ca. 180 Minuten. Diese Aktionen unterstützen die Rückkehr zur gewohnten Stabilität und Performance.

Wir halten Sie hier und über unsere Social-Media-Kanäle fortlaufend auf dem neuesten Stand und bitten nochmals um Entschuldigung.
Posted Jan 16, 2019 - 00:12 CET
Update
Aktueller Stand zur Nichterreichbarkeit unserer Hosted Exchange Produkte:
Bedauerlicherweise können nicht alle Kunden problemlos auf ihre Hosted Exchange Systeme zugreifen. Kunden haben zum Teil keine durchgängige oder nur eine sehr langsame Verbindung zu Ihrem Mail Server.
Mit unserem Partner Microsoft wird der Vorfall bereits auf dem höchsten Eskalationsgrad behandelt. Wir arbeiten rund um die Uhr, um Ihre Server so schnell wie möglich wieder einwandfrei in Betrieb zu nehmen.
Derzeit sind keine weiteren Dienstleistungen von dem Vorfall betroffen. Sollten Sie dennoch Probleme haben, kontaktieren Sie uns bitte unter:

Tel.: 0800 4678387

Wir wissen, dass dieser Hosted Exchange Service sehr wichtig für Sie ist. Die Behebung dieses Problems hat für uns oberste Priorität. Wir arbeiten jederzeit unter der Prämisse einen Datenverlust Ihrerseits zu vermeiden.

Ihr Host Europe Team
Posted Jan 15, 2019 - 20:34 CET
Identified
Wir bedauern es sehr, dass unsere Services für unsere Hosted Exchange Kunden derzeit nicht oder nur eingeschränkt zur Verfügung stehen. Wir wissen, dass diese Services sehr wichtig für Sie und Ihre Kunden sind und wir arbeiten permanent daran, diese Produkte wieder zu voller Funktion zu bringen.

Zum momentanen Zeitpunkt ist es für einen Teil unserer Kunden nicht möglich, ihre Mailboxen zu nutzen; für andere Kunden ist der Zugriff nur sehr langsam möglich. Unsere Entwickler arbeiten rund um die Uhr mit unserem Partner Microsoft zusammen, um das Problem zu beheben – mit höchster Priorität.

Wir halten Sie hier und über unsere Social-Media-Kanäle fortlaufend auf dem neusten Stand und bitten nochmals um Entschuldigung.
Posted Jan 15, 2019 - 13:06 CET
This incident affected: Hosted Exchange.