Facebook har undskyldt for sit værste afbrydelse, siden det blev mainstream, efter en konfigurationsfejl tog det sociale netværk ned i flere timer.
Siden fejlede først onsdag, og var nede igen i aftes. "Dette er den værste fejl, vi har haft i over fire år, og vi ville først og fremmest undskylde for det," sagde Robert Johnson, direktør for software engineering, i et notat om Facebook engineering blog.
Dette er den værste fejl, vi har haft i over fire år, og vi ville først og fremmest undskylde for det
"Den vigtigste fejl, der forårsagede, at dette udfald var så alvorligt, var en uheldig håndtering af en fejltilstand," forklarede han. "Et automatiseret system til verificering af konfigurationsværdier endte med at forårsage meget mere skade, end det fiksede."
Facebook bruger et automatiseret system til at kontrollere cachelagrede konfigurationsværdier mod en vedvarende kopi. Imidlertid havde virksomheden foretaget en ændring af de standardværdier, som systemet mente var ugyldige, hvilket førte til det at blive ved med at tjekke og gentjekke, hvilket forårsagede hundredtusindvis af forespørgsler på databasen hver anden.
Da først databaserne var overvældet, forværredes problemet, da systemet så fejlmeddelelserne som mere ugyldige værdier, hvilket fik det til at sende endnu flere forespørgsler. "Vi var gået ind i en feedback-loop, der ikke tillod databaserne at genoprette," sagde Johnson.
"Måden at stoppe feedback-cyklussen på var ret smertefuld - vi var nødt til at stoppe al trafik til denne databaseklynge, hvilket betød, at webstedet blev slukket," sagde han. "Når databaserne var blevet genoprettet, og hovedårsagen var blevet rettet, tillod vi langsomt flere mennesker tilbage på webstedet."
Johnson sagde, at siden var oppe at køre igen, med det defekte system slukket. "Vi udforsker nye designs til dette konfigurationssystem efter designmønstre fra andre systemer hos Facebook, der håndterer feedback-loops og forbigående spikes mere elegant," sagde Johnson.
