В понедельник 4 октября 2021 года инфраструктура дата-центров Facebook дала сбой, из-за которого пользователи сервисов интернет-гиганта со всего мира лишились доступа непосредственно к одноименной социальной сети, а также к Instagram, WhatsApp и Oculus. Результатами семичасового отключения стали обвал котировок акций интернет-гиганта и отток пользователей в альтернативные сервисы.
Эксперты впоследствии назвали данный инцидент наиболее масштабным и продолжительным в истории интернет-компании за более чем десятилетие. Лишь в 2008 году случилась авария сопоставимого масштаба со схожей продолжительностью. Тогда соцсеть Facebook оставалась недоступной около суток. Однако 13 лет назад ей пользовалось лишь 80 млн. человек, тогда как WhatsApp и Instagram, ныне принадлежащие Facebook, на момент предыдущего крупномасштабного инцидента вообще не существовали.
Сегодня пользовательская аудитория одной лишь соцсети Facebook составляет свыше 2,9 млрд. При этом все веб-сервисы интернет-корпорации способны похвастать более чем 7 миллиардами активных аккаунтов, которые принадлежат пользователям со всего мира.
Причины аварии
После непродолжительного внутреннего расследования инженеры Facebook предоставили общественности подробную информацию о причинах недавнего инцидента. Представители компании отметили, что ей принадлежат центры обработки данных двух типов.
ЦОД первого типа представляют собой “крупные здания, в которых находятся миллионы единиц IT-оборудования”, выполняющего основные задачи в части вычислений и хранения информации. Дата-центры второго типа – это “объекты меньшего размера, которые соединяют внутреннюю магистральную сеть между ЦОД Facebook с остальным интернетом и людьми, использующими платформы и сервисы компании”.
Пользователи сервисов Facebook сначала обслуживаются небольшими объектами, которые затем отправляют трафик через магистраль Facebook в более крупные центры обработки данных. Подобно любой иной сложной системе, вычислительная инфраструктура требует обслуживания. Инженеры Facebook не справились с данной задачей.
“В ходе плановых работ по техническому обслуживанию была введена команда с намерением оценить доступность глобальной магистральной сети, что привело к непреднамеренному отключению всех соединений в магистральной сети, фактически отключив центры обработки данных Facebook по всему миру”, – отмечается в пресс-релизе интернет-корпорации по итогам расследования.
Ранее инженеры соцсети разработали системы, предназначенные для предварительного аудита таких команд, чтобы предотвратить подобные ошибки, но ошибка в коде самого инструмента аудита помешала ему должным образом оценить риски и предотвратить ввод злополучной команды.
Полное отключение соединений между серверными системами Facebook внутри центров обработки данных и интернетом вызвало вторую проблему, которая усугубила ситуацию. Одна из задач, выполняемых небольшими ЦОД, – обработка запросов DNS. Система доменных имён (Domain Name System) или DNS – это “адресная книга” интернета. Она позволяет преобразовывать простые веб-имена, вводимые пользователями в браузеры , в определенные IP-адреса серверов.
За подобные преобразования отвечают принадлежащие Facebook полномочные сервера доменных имен (Authoritative Name Server; A DNS) c хорошо известными IP-адресами, информация о которых, в свою очередь, передается остальной части интернета через другой протокол. Речь о так называемом пограничном (внешнем) шлюзовом протоколе (Border Gateway Protocol; BGP), являющемся основным протоколом динамической маршрутизации, используемым в интернете .
DNS-серверы Facebook отключают распространение информации через BGP, если они сами не могут взаимодействовать с центрами обработки данных корпорации, поскольку это указывает на некорректное сетевое соединение.
Из-за недавнего сбоя вся магистраль оказалась неисправной, что привело к отключению BGP. Конечным результатом стало то, что DNS-серверы оказались недоступны, хотя они все еще работали. В результате остальная часть интернета просто перестала “замечать” серверные системы Facebook.
Устранение последствий
Масштабный инцидент оказал влияние на всю инфраструктуру Facebook, включая системы, связанные с обеспечением физической безопасности серверного оборудования и офисных помещений. Инженеры долгое время не могли получить доступ к центрам обработки данных обычными способами, потому что их сети были отключены и, соответственно, карточки доступа не могли открыть электронные замки.
В результате инженеры оказались вынуждены воспользоваться угловой шлифовальной машиной, чтобы вскрыть двери и попасть внутрь ЦОД. Кроме того, во время даунтайма сотрудники компании, работающие в обычных офисах, оказались заблокированы за пределами своих рабочих мест из-за прекращения работы внутренней системы безопасности, что также затрудняло восстановление. В довершение ко всему, полная потеря DNS нарушила работу многих внутренних инструментов, которые обычно используются для расследования и устранения подобных сбоев.
Компания достаточно оперативно отправила инженеров в центры обработки данных. К сожалению, потребовалось очень много бесценного времени, чтобы не только добраться до защищенных объектов с неработающими системами контроля доступа и попасть внутрь, но и восстановить работоспособность инфраструктуры ЦОД. Современное IT-оборудование и маршрутизаторы сложно модифицировать – даже при наличии физического доступа.
После восстановления магистрали все было готово к возобновлению работы сервисов, но команда опасалась сбоев из-за приближающегося всплеска трафика. Отдельные центры обработки данных сообщали о спадах энергопотребления в диапазоне десятков мегаватт, и внезапный всплеск энергопотребления после возвращения пользователей мог поставить под угрозу все: от электрических систем до серверов.
Стремясь минимизировать риски, инженеры компании использовали опыт предыдущих тренировок по восстановлению после серьезного сбоя, что позволило медленно вернуть платформу в рабочий режим без происшествий.
“Мы проделали обширную работу по укреплению наших систем для предотвращения несанкционированного доступа, и было интересно увидеть, как это укрепление замедлило нас, когда мы пытались восстановиться после сбоя, вызванного не злонамеренными действиями, а нашей собственной ошибкой. Подобный компромисс того стоит: значительно повышенная повседневная безопасность по сравнению с более медленным восстановлением после, надеюсь, редкого инцидента, подобного этому”, отмечается в официальном пресс-релизе.
