Когда вы руководите развитием инфраструктуры ЦОД компании вроде Facebook, перед вами периодически возникают проблемами, с которыми в прошлом сталкивались лишь считаные единицы специалистов. Одной из таких проблем является организация механизма хранения невообразимо большого объема данных, которые пользователи загружают через свои аккаунты. Необходимо обеспечить непрерывную доступность контента юзеров, не израсходовав весь свой IT-бюджет на покупку и размещение огромного числа СХД.
Отслеживая паттерны, демонстрируемые пользователями при работе со своими файлами, инженеры Facebook выяснили, что мгновенный доступ необходимо организовывать отнюдь не ко всем загружаемым файлам. На самом деле большинство файлов крайне редко используются по назначению.
Команда специалистов по развитию IT-инфраструктуры соцсети решила создать отдельную систему хранения данных, которая была бы оптимизирована для работы с большим объемом контента и отличалась бы минимальной стоимостью, не акцентируя при этом внимание на высокой производительности и минимальных задержках при организации доступа к файлам. Для размещения этой системы специалисты Facebook решили построить отдельный ЦОД на территории своего массивного кампуса в городе Прайнвилл, штат Орегон (США). Конструкция здания подверглась оптимизации под вышеупомянутые задачи. В результате появилось так называемое «холодное» хранилище данных (Cold Storage).
Модификация Open Vault
Инженеры американской компании использовал модифицированную версию Open Vault (специально спроектированная система хранения данных, используемая в дата-центрах соцсети). Типичное шасси Open Vault имеет высоту 2U и способно вместить 30 дисков, которые могут работать практически с любым хост-сервером.
Шасси Open Vault устанавливается в специально разработанные стойки Open Rack внутри ЦОД Facebook. Технические характеристики этих стоек (как и Open Vault) сейчас доступны всем желающим в рамках инициативы Open Compute Project. В новом дата-центре применяются модифицированные стойки для организации системы «холодного» хранения контента.
Основной целью проектировщиков было снижение энергопотребления и совокупных расходов на хранение контента при увеличении плотности системы. Сокращения потребления электроэнергии удалось достичь среди прочего за счет уменьшения числа ведущих узлов из расчета на определенное количество дисков. Каждая стойка Open Rack для «холодного» хранилища имеет в общей сложности по два ведущих узла, каждый из которых в свою очередь контролирует по восемь систем Open Vault.
В то время как количество ведущих узлов было снижено, количество дисков было увеличено. Модифицированные Open Vault могут вмещать уже не 270, а 480 дисков, что позволяет специалистам Facebook довести емкость СХД почти до двух петабайт на стойку. Команда инженеров смогла разместить больше дисков благодаря пространству, высвободившемуся в результате удаления дополнительных ведущих узлов, а также за счет перехода от трех полок электропитания к одной (полки электропитания содержат оборудование, снабжающее серверы в стойках электричеством). В состав каждой полки электропитания входит по семь блоков питания с возможностью осуществления горячей замены (то есть шесть плюс один резервный).
Еще один способ снижения потребления электроэнергии предполагал ограничение количества одновременно работающих дисков до одного на лоток, то есть только 32 из 480 дисков в стойке могут вращаться в один и тот же момент времени. Так как доступ к контенту запрашивается нечасто, простаивающие диски отключались.
Инженеры пришли к выводу, что итоговое время, которое требуется на включение и раскрутку диска, чтобы извлечь старый файл, является вполне приемлемым. В конце концов, они смогли снизить общее энергопотребление в расчете на стойку до всего лишь 2 кВт, что соответствует одной четверти мощности типичного «горячего» хранилища Facebook.
Чтобы снизить стоимость СХД, инженерам был нужен качественный носитель. Команда должна была найти что-то дешевое и способное работать в этой необычной системе с периодически отключаемыми накопителями. В своем “холодном” хранилище Facebook использует SATA-диски, которые не рассчитаны на круглосуточную работу, но способны быстро раскручиваться и отключаться. Они не обладают выдающимися характеристиками в области гашения вращательных вибраций или акселерометрами. Эти диски не поддерживают горячую замену. Если один из них выходит из строя, специалист отключает систему, заменяет диск и снова ее включает.
Дата-центр в Прайнвилле
Центр в Прайнвилле будет использоваться в качестве хранилища старых фотографий, видео и сообщений пользователей соцсети. Известно, что 82 процента трафика внутри Facebook приходится на долю 8 процентов фотографий пользователей, тогда как остальные 92% контента благополучно хранятся на серверах компании, но используются лишь время от времени. Сейчас в соцсети размещено порядка 240 млрд. фото, при этом ежедневно к ним добавляется еще 350 млн. новых изображений. Именно поэтому создание отдельного ЦОД для непопулярных фотографий, видео и сообщений представляет собой более энергоэффективный способ хранения контента.
Система хранения данных в новом дата-центре будет впечатляющей: проект предполагает создание нескольких машзалов, общая дисковая емкость каждого из которых превысит 1 экзабайт. Facebook планирует начать поэтапное перемещение своего контента в “холодное” хранилище уже этой осенью.
Отметим, что площадь нового дата-центра для хранения контента будет меньше, чем у остальных объектов соцсети – “всего” 5 780 квадратных метров. Инженеры Facebook сообщают, что новый дата-центр будет в пять раз более энергоэффективным, чем находящиеся рядом объекты. Климат в Орегоне достаточно прохладный и сухой, а потому в дата-центре будет применяться система естественного охлаждения.
Никаких ИБП и ДГУ
В новом ЦОД нет традиционных систем резервного электропитания, таких как источники бесперебойного питания (ИБП) и дизель-генераторы. Стойки не подключены к 48-вольтным аккумуляторам модулям, которые специалисты Facebook используется для организации резервного электропитания в своих основных дата-центрах. Команда инженеров соцсети относится к “холодному” хранилищу к механизму резервирования, и нет никаких оснований для создания там систем резервного электропитания.
Руководство Facebook решило построить отдельное здание для “холодного” хранилища, чтобы еще сильнее минимизировать расходы на электроэнергию. Специалисты соцсети подсчитали, что для хранения одного экзабайт данных на новом объекте в Прайнвилле требуется оборудование совокупной мощностью около 1.5 МВт. Отличный результат. Основной дата-центр соцсети в Прайнвилле быстро лишился бы всего свободного места, вздумай его операторы добиться аналогичного соотношения мощности / объема дискового пространства.
Само здание лишено всей избыточной инфраструктуры. На бетонных плитах расположены стойки весом в 1 270 килограммов каждая, охлаждение которых осуществляется с помощью “холодных” и “горячих” коридоров, а также специальной системы фрикулинга.
Как библиотекарь, который уходит на некоторое время, чтобы найти нужную вам книгу, новая система, возможно, заставит вас подождать несколько секунд, прежде чем предоставить доступ к фото из отпуска, которые вы повели три года назад. Тем не менее, для Facebook это огромная экономия.
