Home » L’incendie OVH vue par un débutant opérant dans une PME

L’incendie OVH vue par un débutant opérant dans une PME

  • par

Les retours d’expérience sont toujours bons à prendre. Après en avoir lu plusieurs sur le sujet, j’ai décidé d’écrire le mien, pour compléter ou réaffirmer ce que j’ai pu lire ici et là.

Contexte

Pour remettre dans le contexte, je travaille dans une PME en tant qu’admin système/réseau. Je suis seul aux commandes, et avec peu d’expérience. Cette PME a besoin de « l’outil informatique », puisque son business est sur internet. Pas d’astreintes (trop cher), mais c’est pas faute d’en parler souvent.

Le réveil sonne

Il est 6h55, et mon réveil sonne. Comme à mon habitude, je regarde les actus en déjeunant. Je comprends vite que le journée s’annonce différente de d’habitude. Je consulte le site travaux d’OVH, ma source de vérité. A ce moment, sans paniquer, je fini mon petit dej, et je monte au bureau (celui dédié au télé-travail) sans passer par la case douche.

Et merde, je fais quoi maintenant ?

L’ordi démarre, je consulte l’ampleur des dégâts. Environ 60% de nos serveurs sont KO, et les 2/3 de nos sites aussi. On est sur du cloud public, je décide donc de lancer le PRA/PCA que j’ai depuis le début.. dans ma tête. Je lance des instances à tout va sur un autre DC et j’utilise mon playbooks Ansible pour déployer l’ensemble.

En parallèle, je préviens mon patron. Lui explique succinctement ce que je vais faire.

Mon cerveau était clairement en autopilot, je savais ce que je faisais mais jamais j’aurais été capable de déployer aussi vite en temps normal. Importante montée d’adrénaline.

Vers 9h, le plus important revit !

Cela fait un peu plus de deux heures que je travaille sans relâche et le site central est de nouveau opérationnel. Avant le site dédié au COVID du gouvernement pour la petit anecdote.

S’en est suivi une journée complète, jusqu’à 21h le soir pour démarrer tout le reste, s’assurer que ces nouvelles machines sont bien sauvegardées et le temps de récupérer les centaines de gigaoctets de données.

Je n’ai pas bien dormi la nuit suivante. Je pensais à ce qu’il me restait à faire, dans quel ordre. Ce qui était définitivement perdu et où j’allais pouvoir le récupérer. Car tout n’a pas été tout rose. On est reparti vite, oui mais certaines données étaient mal sauvegardées, voir pas du tout.
Principalement des photos et images marketing et quelques données des serveurs de développement.
A ce jour, ces données ont pu être récupérées, la chance veut que nos serveurs étaient sur SBG3.

Le budget est maintenant débloqué

Cela me fait un peu pensé à cette image : « budget before hack, budget after hack ».
Le budget infrastructure a été réévalué et nous allons mettre en place une infrastructure complète de secours chez un autre prestataire. La prochaine fois, ce type d’incident sera invisible pour nos utilisateurs.
Bon par contre, les astreintes c’est toujours pas ça. Dommage.

Mon retour d’expérience

Parlons d’abord du COVID. Grâce à lui, je suis en télétravail. J’ai pu commencer mon intervention dès 7h15 pour relancer l’activité au plus vite. En période « normale », il aurait fallu que je prenne la voiture, attende l’ouverture des locaux pour finalement commencer à travailler. 1h de gagné, ce n’est pas rien.

Astreinte ! Astreinte !
Depuis que je suis arrivé aux commandes, j’essaye de convaincre la direction (sans succès) de l’intérêt et du besoin d’une astreinte que ce soit côté dev ou opérationnel. Ici encore, ça aurait été utile et rendu l’indisponibilité quasi imperceptible du commun des mortels.
Je ne perds pas espoir.

Comme évoqué précédemment, je suis seul aux commandes, et clairement débutant. C’est pas toujours facile, mais je me dois de remercier la direction sur un point : son soutien. Que ce soit par message privé ou mail dédié à tous les managers, j’ai senti que je pouvais compter sur eux si besoin. J’ai par ailleurs appris après coup que mon patron était prêt à appeler l’un des actionnaires majoritaire (ayant de très bonnes compétences) à à la rescousse si besoin.

Je finirais juste par dire que c’est souvent dans ces moments que vos collègues comprennent enfin l’intérêt de votre métier. Je pense que je vais avoir un travail de formation et d’explication sur mon métier à faire…

A.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *