Une panne globale a mis à bas Facebook et Instagram dimanche dernier, le 19 juillet. La connexion ne répondait pas. Le fil d’actualité ne se chargeait pas. Les stories ne montaient tout simplement pas. Pour l’utilisateur final, c’était un dimanche étrange. Pour celui qui écrit du code, en revanche, c’était une leçon gratuite. Meta n’a pas expliqué la cause. Et pourtant, les symptômes disent beaucoup de choses. Analysons donc ce que cette panne nous apprend sur l’architecture distribuée, l’observabilité et la réponse aux incidents.
Échec de connexion bloquant avant le fil d’actualité : l’anatomie d’une panne en cascade
Remarquez l’ordre des symptômes. D’abord, l’authentification a cessé de fonctionner. Ensuite, le fil et les publications sont tombés ensemble. Ce schéma n’est pas le fruit du hasard. En général, lorsque l’authentification échoue, tout le reste s’effondre derrière elle. Après tout, sans session validée, aucune requête autorisée ne peut être traitée. C’est pourquoi les services d’authentification constituent souvent le point de défaillance unique le plus dangereux d’une pile. En théorie, ils devraient être les plus redondants. Dans la pratique, toutefois, ils centralisent le risque. Autrement dit, une défaillance là-bas devient une défaillance partout.
Instagram fonctionnait à moitié ? On appelle cela une dégradation gracieuse
Un détail est passé inaperçu dans les rapports. Certaines fonctionnalités ont continué de fonctionner pendant la panne. Certains utilisateurs ouvraient l’application, mais ne publiaient pas. D’autres lisaient le fil sans accéder aux profils. Ce n’est pas un hasard. En réalité, c’est une dégradation gracieuse en action. Plutôt que de tout faire tomber, le système sacrifie les fonctions non essentielles et laisse le noyau debout. Par conséquent, l’application demeure partiellement utile pendant que l’incident se déclare. Voilà un motif que vous devriez concevoir délibérément. Par exemple, si le service de recommandation tombe, servez un fil simple en cache. Ainsi, l’utilisateur perd en qualité, mais ne perd pas le produit dans son intégralité.
La page d’état vide fut le deuxième incident : panne
Pendant la chute, Meta a peu communiqué. Le message standard évoquait un problème temporaire du site. Rien de plus. Aucune cause. Aucune prévision de retour réelle. Et voici le deuxième incident. Une mauvaise communication amplifie les dégâts de toute panne. Pendant que l’équipe interne enquêtait, des milliers de personnes se sont tournées vers Downdetector et d’autres réseaux pour confirmer si le problème était généralisé. Une page d’état honnête aurait absorbé une grande partie de cette anxiété. De plus, elle réduit le volume du support et préserve la confiance. En somme, la transparence n’est pas de la courtoisie. C’est de l’ingénierie d’incident.
Rayon d’impact : lorsque lier des services devient un piège
Facebook et Instagram sont des produits différents. Pourtant, ils sont tombés ensemble. Cela révèle à quel point ils partagent des éléments sous le capot. Probablement l’authentification, les passerelles ou l’infrastructure réseau en commun. Lorsque vous partagez une dépendance critique, vous partagez aussi l’étendue des dégâts qu’elle peut causer. C’est le fameux rayon d’impact. Plus les services dépendent du même point, plus les dégâts sont importants lorsque celui-ci tombe. Donc, isoler les domaines vaut plus que ce qu’on croit. Des compartiments étanches, des timeouts agressifs et des circuit breakers existent justement pour contenir l’incendie. Cependant, beaucoup de gens ne s’en soucient qu’après la panne.
Cinq questions à aborder lors de votre prochain post-mortem
Chaque grande défaillance mérite un post-mortem sans responsables. Voici cinq questions pour le vôtre. Premièrement, quel a été le vrai point de défaillance unique? Deuxièmement, combien de temps a-t-il fallu pour détecter le problème? Ensuite, le système s’est-il dégradé avec élégance ou est-il tombé entièrement? Puis, la communication externe a-t-elle suivi le rythme de l’incident? Enfin, qu’est-ce qui change dans le code pour que cela ne se reproduise pas? Répondez avec honnêteté. Ainsi, la prochaine panne trouvera une équipe mieux préparée. En fin de compte, la résilience ne s’achète pas prête. Elle se construit incident après incident.
Suivez notre profil sur Instagram!
