Инженерную лабораторию Facebook в городе Пало-Альто, штат Калифорния (США), специалисты которой вот уже 10 лет подряд занимаются разработкой аппаратного обеспечения для дата-центров социальной сети, можно назвать раем, адом или же местом, где открываются новые возможности для бизнеса, – все зависит от вашей точки зрения.

Если вы любите возиться с “железом” для дата-центров, удалять из серверов все посторонние компоненты и в целом снижать стоимость физической инфраструктуры ЦОД, то для вас эта лаборатория будет являться прекрасным местом, где мечты могут стать явью.

Если вы топ-менеджер крупной компании, специализирующейся на разработке и производстве аппаратного обеспечения корпоративного класса, вроде HP, Dell, Lenovo, Cisco, Brocade, Juniper, EMC или NetApp, эта лаборатория, вероятно, будет вселять в вас чувство холодного липкого страха. Все потому, что небольшая команда прилежных сотрудников Facebook работает там денно и нощно, чтобы создать предельно дешевые и эффективные серверы, системы хранения данных, а с недавнего времени и сетевые коммутаторы – и их усилия вряд ли благоприятно отразятся на бизнесе крупных вендоров.

Если же вы являетесь представителем одного из азиатских производителей IT-оборудования второго эшелона вроде Quanta и Foxconn и Wiwynn, то экскурсия по данной лаборатории, вероятно, принесет вам удовольствие. Ведь именно в этом месте специалисты Facebook разрабатывают спецификации на IT-оборудование в рамках инициативы Open Compute Project, которые в конечном итоге попадают в открытый доступ. Когда эти спецификации публикуются, азиатские компании, как правило, начинают массовое производство “железа” на их основе, потихоньку отбирая рыночную долю у HP, Dell, Lenovo и так далее.

Мотивы Facebook

Масштаб IT-бизнеса Facebook – более миллиарда пользователей, десятки петабайт дискового пространства, три дата-центра по всему миру (и еще один в настоящее время активно строится), внутри каждого из которых размещаются сотни тысяч серверов, – заставил руководство компании заново переосмыслить принципы, которыми оно руководствуется при покупке и эксплуатации IT-оборудования с прицелом на снижение расходов.

Оценив ситуацию, специалисты социальной сети пришли к выводу о том, что обрабатываемые в их дата-центрах IT-нагрузки можно условно разделить на пять различных категорий. И, следовательно, для эффективной работы ЦОД необходимо оснащать их серверами пяти различных типов: машины с повышенной емкостью ОЗУ или SSD-ускорителей для баз данных, серверы с емкими жесткими дисками для хранения фото, устройства с быстрыми процессорами для платформы Hadoop и так далее.

“Основным драйвером эволюции наших IT-систем является развитие их основных компонентов – в зависимости от модели”, объясняет вице-президент Facebook по физической инфраструктуре ЦОД Джейсон Тейлор.

Один из серверов Facebook на салазках, созданных в рамках инициативы Open Compute Project

Именно поэтому Facebook всегда стремилась к разработке серверов, которые могут легко обновляться без необходимости перемещения их за пределы дата-центра или выполнения сложных процедур техобслуживания. Это привело к тому, что инженеры компании стали использовать для установки своих серверов в монтажные стойки специальные салазки (на фото), что делает возможным быстрое обслуживанием машин при минимальных затратах.

“Я думаю, что за последние четыре года или около того мы научились действительно быстро внедрять в свои серверы новые технологии “, отметил Тейлор.

Где создаются мечты

Facebook удалось добиться столь высокой скорости обновления аппаратного обеспечения именно благодаря своей лаборатории, сотрудникам которой позволено совершенствовать существующие устройства и придумывать принципиально новые корпуса для IT-устройств, чтобы воспользоваться различными технологиями.

Поощряя всяческие эксперименты, руководство Facebook позволяет своим сотрудникам быстро создавать прототипы на основе перспективных идей, благодаря чему они могут переосмыслить сам процесс размещения IT-оборудования внутри монтажной стоки и его настройки. В конечном итоге, они создают техпроцессы, адаптированные именно для дата-центров социальной сети.

Серверная макетная плата (печатная плата, на которой в лабораторных условиях собирается и отлаживается начальная версия устройства) проходит испытания

По мене разработки новых серверов инженеры Facebook заказывают у своих поставщиков макетные платы (на фото выше), чтобы проверить перспективное оборудование в деле. Иногда специалисты из лаборатории американской соцсети предоставляют компаниям, интересующимся спецификациями Open Compute Project, возможность самостоятельно протестировать эти платы (хотя это скорее неофициальная практика).

Все на борт лодки для суши

Корпус серверной системы в форме “лодки для суши” (блюдо для подачи и сервировки японского деликатеса), который можно увидеть на фото ниже, является отличным примером того, почему знаменитая мантра Facebook “move fast, break things” (буквально переводится “двигаться быстро, ломать вещи”), используемая специалистами компании при разработке программного обеспечения, также актуальна и при создании нового “железа”.

Сервер в форме “лодки для суши” может вместить до 80 SSD-накопителей

Представленный выше сервер, был создан группой инженеров Facebook во время очередного мозгового штурма, который начался после того, как они обнаружили большое количество 2.5-дюймовых портативных твердотельных накопителей, валяющихся без дела.

Используя комбинацию пробкового дерева, картона и 3D-принтера Makerbot, команда специалистов смастерила прототип серверной системы, который может вместить в себя до 80 полноценных SSD-накопителей.

“Мы разработали систему ввода / вывода и все остальной в буквальном смысле с нуля “, объясняет инженер соцсети Мэтт Коррдри. “Получилась весьма интересная конструкция”.

Внутри “лодки для суши” размещаются небольшие контейнеры с твердотельными накопителями

Интересно, что, когда дело дошло до оценки рабочих характеристик новой конструкции (энергопотребления, веса и плотности размещения накопителей), обнаружилось, что эта система намного превосходит предложенную Facebook и уже реализованную в одном из дата-центров компании концепцию “холодного хранилища” (Cold Storage).

По словам Коррдри, этот проект показал, что использование SSD для архивного хранения данных вовсе не является абсурдной идеей – осталось лишь подождать снижения стоимости твердотельных накопителей. Facebook пока не планирует начало массового производства подобных систем хранения данных для последующего размещения в своих дата-центрах. Но эта конструкция будет использоваться специалистами компании при создании прототипов новых элементов IT-инфраструктуры.

Именно подобное сочетание гибкости и стремления к непрерывному внедрению инноваций при конструировании нового оборудования для ЦОД делает сотрудников лабораторию социальной сети столь ценными для компании Facebook.

Большая жестянка

В большинстве случаев работа членов инженерной лаборатории Facebook предполагает активное взаимодействие со сторонними поставщиками IT-оборудования, которые могут создать нужные компоненты в короткие сроки в соответствии с полученной спецификацией. Тем не менее, часть оборудования инженеры соцсети производят самостоятельно.

Фрезерный станок для обработки металла, которым пользуются инженеры Facebook, – материнскую плату для сервера на таком вряд ли смастеришь

В одном из помещений внутри головного офиса американской компании разместился старинный фрезерный станок для обработки металла (машины была выпущена в 50-х годах прошлого века), рядом с которым можно обнаружить современный 3D-принтер Fortus 250mc.

Этот 3D-принтер Fortus 250mc позволяет специалистам Facebook заниматься быстрым прототипированием перспективных конструкций

Обе эти машины используются для быстрого прототипирования IT-оборудования. Примечательно, что 3D-принтер подключен к локальной сети Facebook, так что инженеры из других помещений могут распечатывать нужные изделия и “заказывать” их доставку до своего рабочего места.

“Все происходит предельно быстро: у нас появляется идея, начинается процесс 3D-моделирования, после которого следует 3D-печать, и мы можем увидеть новое изделие в действии”, говорит Коррдри. “3D-принтеры это незаменимые инструменты для раннего прототипирования и последующего изучения маленьких деталей”.

Гаражная мастерская: 30 дисков, один контейнер

Одним из примеров полезности такого подхода является проект “Knox”. Речь идет о продвинутом корпусе для размещения системы хранения данных. Благодаря “Knox”операторы ЦОД Facebook могут вместить 30 жестких дисков в компактный контейнер.

Черновая версия системы Facebook “Knox”

Как и подобает “железу”, создаваемому в Силиконовой долине (а именно там находится головной офис Facebook), прототип системы “Knox” (на фото выше) был впервые собран в гараже одного из инженеров социальной сети по имени Джон Элен.

Благодаря прототипированию конструкции инженеры Facebook смогли проверить на практике выдвижной механизм для быстрой замены жестких дисков

При разработке этого прототипа фанера использовалась для создания контейнера весом 22.6 кг, чтобы сымитировать общий вес устройства. Тогда как пеноматериал, обычно применяемый при создании досок для серфинга (серые блоки на фото выше), использовался, чтобы сымитировать размеры жестких дисков.

После создания прототипа инженеры смогли проверить его на совместимость со стандартной монтажной стойкой Open Rack, ранее разработанной в рамках инициативы Open Compute Project.

Над улучшенной версией прототипа специалисты Facebook работали уже со сторонним ODM-вендором

По мере развития проекта инженеры перешли на другие материалы. В конечном итоге, система из деревянного макета превратилась в полноценное решение из листового металла (на фото выше), которое было изготовлено при поддержке специалистов стороннего ODM-вендора (Original Device Manufacturer или Производитель изделия, которое создается по собственному оригинальному проекту, а не по лицензии).

Конечным результатом стал высоконадежный массив хранения данных, используемый в настоящее время в дата-центре Facebook, который расположен близ города Прайнвилл, штат Орегон (США).

Но при всей видимой полезности инженерной лаборатории соцсети, сотрудникам которой достается действительно щедрое финансирование, она все еще остается раем для изобретателей всевозможных гаджетов, полезность которых зачастую весьма сомнительна. Коррдри рассказал, что около 10 месяцев назад местные инженеры смастерили мощный квадкоптер, способный перемещать по воздуху полноценный жесткий диск. “Квадкоптер с жестким диском часто летал по всему кампуса по ночам”, сказал Коррдри. Завидуйте молча, инженеры Amazon.