Холодное хранилище Facebook – взгляд изнутри

В прошлый четверг специалисты Facebook начали перемещать пользовательские данные — в первую очередь фотографий — в недавно построенный ЦОД в городе Прайнвилл, штат Орегон (США). Этот объект, получивший название “холодное” хранилище, находится всего в нескольких минутах ходьбы от двух огромных дата-центров соцсети, внутри которых размещены тысячи серверов, а также рядом со строящейся серверной ферматой компании Apple. Чтобы в очередной раз продемонстрировать открытость своей компании, руководство соцсети устроило экскурсию по “холодному” хранилищу для журналистов.

Новое здание можно сравнить с чердаком дома, куда его жильцы отправляют старые вещи. “Холодное” хранилище необходимо соцсети для экономически эффективного размещения данных, которые не использовались на протяжении длительного времени, при этом удалять эту информацию нельзя.

«Это место отличается от других дата-центров тем, что здешние СХД предназначены для долгосрочного агрегирования данных», сказал руководитель ЦОД Чак Гулсби во время экскурсии по новому зданию на кампусе Facebook в американском штате Орегон.

В состав систем хранения данных Facebook входят жесткие диски Western Digital. (Фото: Джордан Нове)

Пользователи Facebook добавляют сотни миллионов новых фотографий на сайт каждый день, при этом соцсеть обрабатывает контент по-разному. Наиболее активно использующийся контент хранится на быстрых системах хранения данных. Наименее востребованная информация отправляется на “чердак”. Возможно, подобный многоуровневый подход будет становиться все более популярным по мере роста объема пользовательских данных, а также не в последнюю очередь благодаря тому, что Facebook описала многие аспекты механизма “холодного” хранения данных в рамках своей инициативы Open Compute Project.

Серверные стойки, которые были продемонстрированы журналистами, оказались сгруппированы в небольшие кластеры, что позволяет операторам ЦОД сэкономить ценные квадратные метры внутри здания. Примечательно, что в настоящее время кластеры находятся на довольно приличном расстоянии друг от друга. Но эта конфигурация будет использоваться недолго: со временем инженеры Facebook наполнят свой ЦОД оборудованием под завязку. Причем все вновь добавляемые стойки будут подключаться к коммутаторам, расположенным внутри самых первых стоек.

Технические характеристики “холодного” хранилища Facebook в Прайнвилле, штат Орегон, были обнародованы в рамках Open Compute Project. (Фото: Джордан Нове)

Каждый диск в “холодном” хранилище может вмещать 4 ТБ данных, а каждый система хранения данных высотой в 2U состоит из двух уровней по 15 дисков в каждом. Другими словами, каждая СХД способна вмещать 120 терабайт пользовательской информации. В стойку вмещается 16 таких систем хранения данных, что означает возможность размещения 2 петабайт данных в стойке.

Диски раскручиваются довольно редко. В разрезе одной СХД в определенный момент времени может работать только один жесткий диск. Результат предсказуем: эти стойки используют меньше электроэнергии, чем другие аналоги, созданные в рамках инициативы Open Compute Project и заполненные серверами соцсети – не говоря уже продуктах других компаний.

Гулсби думает, что Facebook является отнюдь не единственной компанией, взявшейся за внедрение высокоэффективных систем хранения данных. Другие интернет-гиганты также могут позволить себе проделать нечто подобное, если они уже не сделали это. Веб-компании меньшего масштаба также должны последовать примеру соцсети, а за ними – и госорганы.

Чак Гулсби, глава нового ЦОД Facebook в Прайнвилле, внутри которого разместились одни из самых энергоэффективных СХД на рынке (Фото: Джордан Нове)

Возможно, переход других компаний на технологии Facebook и не произойдет в одночасье, тем не менее, прецеденты будут, так как любой желающим может получить доступ к соответствующей информации прямо сейчас. Спецификации “холодного” хранилища Open Vault доступны на сайте Open Compute Project.

Отметим, что вице-президент Facebook по инфраструктуре Джейсон Тейлор в начале этого года заявил о возможности повышения производительности “холодного” хранилища с помощью флэш-памяти. Тем не менее, в новом здании не было СХД на базе твердотельных накопителей (ну или подобные решения просто не демонстрировались журналиста).

«Мы пока что не готовы к применению твердотельных накопителей в “холодном” хранилище, по понятным причинам», сказал Гулсби. Но, учитывая заявление Тейлора, все может измениться в ближайшие годы, когда флэш-память приблизится к жестким дискам в плане цены за 1 гигабайт.

Представители соцсети отметили, что компания не планирует создавать “холодное” хранилище на каждом кампусе ЦОД Facebook – только на объектах в Прайнвилле и в Форест-Сити, штат Северная Каролина (США). “Наши эксперты прогнозирует, что в “холодное” хранилище Прайнвилле будет заполнено до отказа ближе к 2017 году”, сказал Гулсби.