Facebook принес извинения за худший сбой с тех пор, как он стал массовым, после того как ошибка конфигурации привела к отключению сайта социальной сети на несколько часов.
Сайт впервые вышел из строя в среду, а прошлой ночью снова не работал. «Это худший сбой за последние четыре года, и мы хотели прежде всего извиниться за него», — сказал Роберт Джонсон, директор по разработке программного обеспечения. Инженерный блог на Facebook.
Это худший сбой за последние четыре года, и мы хотели прежде всего извиниться за него.
«Ключевым недостатком, из-за которого этот сбой стал настолько серьезным, была неудачная обработка состояния ошибки», — пояснил он. «Автоматизированная система проверки значений конфигурации нанесла гораздо больше вреда, чем исправил».
Facebook использует автоматизированную систему для проверки кэшированных значений конфигурации по сравнению с постоянной копией. Однако компания внесла изменения в те значения по умолчанию, которые система считала недействительными, что привело к постоянно проверять и перепроверять, что приводило к сотням тысяч запросов к базе данных каждый раз. второй.
Как только базы данных были перегружены, проблема усугубилась, поскольку система воспринимала сообщения об ошибках как более недопустимые значения, что заставляло ее отправлять еще больше запросов. «Мы вошли в цикл обратной связи, который не позволял восстановить базы данных», — сказал Джонсон.
«Способ остановить цикл обратной связи был довольно болезненным — нам пришлось остановить весь трафик к этому кластеру базы данных, что означало отключение сайта», — сказал он. «После того, как базы данных были восстановлены и основная причина была устранена, мы постепенно разрешили большему количеству людей вернуться на сайт».
Джонсон сказал, что сайт снова работает, а неисправная система отключена. «Мы изучаем новые проекты для этой системы конфигурации, следуя шаблонам проектирования других систем в Facebook, которые более изящно справляются с петлями обратной связи и переходными пиками», — сказал Джонсон.
