Один оператор ЦОД Facebook отвечает за 20 000 серверов

Выступая с программной речь на конференции 7×24 Exchange 2013 Fall Conference, вице-президент Facebook по центрам обработки данных Дельфина Эберли заявила, что один оператор ЦОД Facebook контролирует, по крайней мере, 20 000 серверов. При этом некоторые сотрудники отвечают сразу за 26 000 машин. Это выдающееся достижение, так как в большинстве других компаний коэффициент количество серверов / количество операторов редко превышает 10 тыс. к одному.

Эберли также поделилась и другими интересными статистическими данными о возможностях дата-центров Facebook:

• ЦОД соцсети обслуживают 1.19 млрд. активных пользователей ежемесячно и 728 миллионов активных пользователей в день;
• Пользователи делятся со своими друзьями 4.75 млрд. ссылок на контент и ставят 4.5 млрд. “лайков” в день;
• На системах хранения данных соцсети хранится более 240 миллиардов фотографий, при этом ежемесячно добавляется 7 петабайт изображений.

ПО для автоматизации

Чтобы повысить эффективность работы операторов ЦОД, девелоперы Facebook разработали специальное программное обеспечение для автоматизации многих аспектов эксплуатации серверных ферм. Эта программная платформа включает в себя среди прочего крайне полезный модуль, который называется CYBORG (ПО обнаруживает сбои в работе серверов и пытается исправить ошибки). Если CYBORG не сможет эффективно устранить проблему при помощи автоматизированных механизмов, он направит уведомление штатному сотруднику дата-центра, чтобы тот лично изучил проблему.

«Наша цель заключается в минимизации времени пребывания оператора в дата-центре. Специалист прибывает на объект только в случае, если необходимо чтобы он физически устранил проблему, мешающую нормальной работе сервера», сказала Эберли.

Facebook ценит операторов ЦОД

По словам Эберли, подобный акцент на автоматизацию обусловлен не тем, что руководство Facebook заинтересовано в создании ЦОД, которые могут полностью обойтись без вмешательства людей и эффективно эксплуатироваться с помощью роботов. Все потому, что Facebook ценит своих работников.

«Мы хотим, чтобы наши талантливые специалисты развивали новые идеи, а не погружались в рутину однотипных операций», сказала она. «Чтобы специалисты могли проявить свой талант, мы даем им возможность работать со сложными задачами. Мы хотим, чтобы они остались в нашей компании и улучшали свои профессиональные навыки. Это важно для нас «.

Нужно отметить, что сама Эберли имеет солидный послужной список. Ее вполне можно назвать «ветераном» индустрии ЦОД. Топ-менеджер начала свою карьеру в компании McKesson в 1998 году, а затем попала в Exodus Communications (первопроходец на рынке услуг по совместному размещению серверов в машзалах коммерческих ЦОД (колокейшн)) и Critical Path.

Оптимизации дата-центров

Временные затраты и нагрузки на операторов дата-центров Facebook рассчитываются еще при проектировании аппаратных платформ, которые будут размещаться внутри конкретной серверной фермы. Пример: все серверы соцсети оптимизированы для обслуживания с фронтальной стороны, так что операторам дата-центров не нужно заходить в “горячий” коридор, чтобы добраться до монтажной стенки серверной стойки с проблемными машинами. Кроме того, серверы компании спроектированы таким образом, что жесткие диски и другие компоненты могут быть заменены без использования специальных инструментов. Результат: Facebook успешно сократила время, необходимое для ремонта серверов, на 54 процентов.

Команда операторов ЦОД Facebook ведет непрерывный мониторинг интенсивности отказов оборудования, при этом собранные данные изучается, когда компания выбирает вендора при очередном обновлении своего аппаратного обеспечения. Проприетарная система управления активами и отработанный механизм маркировки машин позволяют отслеживать жесткие диски и другие компоненты с помощью специального ПО после ввода их серийных номеров. Благодаря этому операторы ЦОД могут получить углубленное понимание особенностей работы того или иного элемента аппаратного обеспечения в разрезе всего его жизненного цикла.

Эберли сказала, что эти системы являются довольно сложными, но для их создания не требуется “армия” разработчиков программного обеспечения. В штате Facebook имеется всего три инженера-программиста, деятельность который целиком и полностью сосредоточена на повышении эффективности операторов ЦОД.