Какой должна быть оптимальная плотность железа в серверных стойках? Мнение инженеров Facebook

Выход на оптимальную плотность размещения серверного оборудования внутри монтажных стоек ЦОД является крайне важным. Недостаточно высокая плотность ведет к нерациональному использованию пространства и заставляет компании вкладывать огромные деньги в строительство новых дата-центров или расширение существующих. С другой стороны, слишком плотное размещения серверного оборудования внутри монтажных стоек вполне может привести к его перегреву или перегрузке системы электропитания. Рассмотрим, как к решению этой проблемы подходят инженеры компании Facebook.

Когда соцсеть Facebook запустила первый дата-центр, спроектированный и построенный собственными силами, инженерам компании удалось осуществить небольшую локальную революцию в области создания систем распределения электроэнергии в ЦОД. Новый дата-центр в американском штате Орегон отличался от обычных аналогов необычной схемой расположения ключевых элементов вспомогательной инфраструктуры. Вместо централизованной системы ИБП в отдельном помещении за пределами машзалов инженеры Facebook разместили шкафы с аккумуляторными батареями бок о бок с серверными стойками, что позволило в любой момент переключать серверы на резервный источник питания по силовой линии на 48В постоянного тока.

В теории такой подход позволял максимизировать КПД цепи, избегая ненужных преобразований. Но возникла проблема. Доступные на тот момент серверы нуждались в электропитании по линии 12В переменного тока. Поэтому потребовался механизм, который позволил бы осуществлять переключение между двумя различными комбинациями напряжения и тока. И этот механизм должен был работать как швейцарские часы. Такой механизм был создан и хорошо себя зарекомендовал. Вскоре подоспели и серверы с питанием от постоянного тока. После этого специалисты компании начали работать над оптимизацией плотности размещения серверного оборудования внутри монтажных стоек ЦОД.

Инженеры Facebook решили отказаться от стандартного подхода к наращиванию вычислительных мощностей и начали работать в направлении масштабирования вычислительной инфраструктуры без увеличения плотности мощности. Вместо того, чтобы двигаться в направлении плотности мощности на уровне 20 кВт на стойку или 15 кВт на стойку, они нацелились на уровень около 5.5 кВт на стойку. Исходя из практического опыта, результатов исследований и тестов, они пришли к выводу о том, что относительно низкая плотность мощности является отличным вариантом для дата-центров Facebook.

Сохранить общую плотность мощности в дата-центрах Facebook на приемлемом уровне помог подход под названием дизагрегация, предполагающий создание на базе одинаковых компонентов специализированных серверов нескольких типов, предназначенных для решения разного рода конкретных задач. Некоторые вычислительные системы предназначаются для решения более ресурсоемких задач и характеризуются повышенным энергопотреблением. Плотность мощности в случае использования таких серверов может находиться в диапазоне от 10 кВт до 12 кВт на стойку. В то же время были созданы и другие машины вроде серверов хранения данных с низким энергопотреблением, при использовании которых плотность мощности может составлять около 4.5 кВт на стойку. В конечном итоге в среднем по дата-центру этот показатель составляет приблизительно 5.5 кВт на стойку.

При этом при внедрении концепции дезагрегации инженеры Facebook в последнее время все чаще идут на крайности. К примеру, специалисты компании начали разработку серверов хранения данных, предназначенных специально для пользовательского контента, к которому редко запрашивается доступ (к примеру, старые фотографии) . Так появилась концепция «холодного хранилища». Но на этом специалисты американской компании не остановились и начали создавать отдельные помещения рядом с основными дата-центрами , оптимизированные для размещения только подобных серверов. Следствием стало дальнейшее снижение энергопотребления и плотности мощности. На данном этапе в случае «холодного хранилища» плотность мощности находятся в диапазоне всего от 1 до 1,5 кВт на стойку.

Вся представленная выше информация была озвучена вице-президентом Facebook по развитию инфраструктуры ЦОД Джейсоном Тейлором во время выступления на выставке-конференции Open Compute Summit 2016 в Сан-Хосе, штат Калифорния (США).

Многие эксперты еще несколько лет назад прогнозировали, что плотность размещения вычислительных мощностей в монтажных стойках дата-центрах в обозримом будущем будет лишь расти. Подобные прогнозы пока еще далеки от материализации, о чем свидетельствует пример Facebook.