Coup de chaud sur l’Europe… et ses datacenters

La plus haute température jamais enregistrée au Royaume-Uni ? Elle était de 38,7 °C… jusqu’à mardi. Dans la journée, des dizaines de stations météo ont relevé des valeurs supérieures. Dont certaines dépassant 40 degrés. Par exemple à l’aéroport de Londres-Heathrow.

Dans la capitale britannique et son agglomération, la vague de chaleur a touché jusqu’aux datacenters. Google Cloud et Oracle ont tous deux signalé des problèmes de refroidissement. Qui ont eu pour conséquence la perte de l’accès à certains services.

Il était environ 18 heures sur place quand Google a ouvert le ticket d’incident. Le groupe américain constatait alors depuis environ deux heures des problèmes avec Compute Engine. En cause, donc, les systèmes de refroidissement de ses installations. Plus précisément, dans un des bâtiments hébergeant la zone A de la région Europe de l’Ouest 2.

Premiers symptômes recensés : des extinctions inopinées de VM et la perte de redondance pour certains disques persistants. Premières mesures : éteindre une partie de la zone et limiter l’instanciation de VM spot.

Peu après, Google a reconnu que les problèmes sur les disques persistants pouvaient s’étendre sur l’ensemble de la région cloud. Vers 21 heures, il a ajouté l’autoscaling sur la liste des défaillances. Vers minuit, les choses étaient globalement rentrées dans l’ordre : la plupart des clients pouvaient lancer des VM dans toute la région Europe de l’Ouest 2, zone A comprise. L’incident n’a toutefois été signalé comme « résolu » que vers 5 heures du matin ce mercredi. Quelques volumes persistants sur disque dur rencontraient alors encore des erreurs.

Les services d’intégration restent perturbés chez Oracle

Les soucis ont officiellement commencé vers 13 heures chez Oracle, qui les a clairement imputés aux « températures exceptionnelles ». Elles l’ont contraint à arrêter une partie de ses services dans le datacenter « UK South », qui n’était plus correctement refroidi.

Vers 16 heures, Oracle déplorait des problèmes sur le compute, le réseau et le stockage (bloc, objet). Une heure plus tard, il y ajoutait ses services d’intégration d’applications et de données.
Le rétablissement officiel du réseau et du stockage est intervenu vers minuit. Pour le compute, ce fut vers 4 heures ce mercredi. Les services d’intégration ne sont toujours pas pleinement rétablis aux dernières nouvelles.

Photo d’illustration © dotshock – Shutterstock