ЦОД Facebook в Форест-Сити – плацдарм для отладки инновационных технологий

Оказывается, что достичь близкого к единице коэффициента эффективности использования энергии (PUE) и максимизировать экологичность дата-центра можно и при размещении вычислительной инфраструктуры в регионе с влажным субтропическим климатом.

Американский штат Северная Каролина характеризуется довольно негостеприимным климатом для IT-оборудования: здесь жаркое лето, а также очень душная погода круглый год. Тем не менее, когда соцсеть Facebook построила ЦОД в Форест-Сити, штат Северная Каролина (США), ее инженеры решили внедрить механизм фрикулинга. Иными словами все серверы машзалах дата-центра охлаждаются с помощью наружного воздуха.

Плацдарм для отладки инновационных технологий

Аппаратное обеспечение, сконструированное в рамках инициативы Open Compute Project (OCP), способно выдерживать довольно высокую температуру и влажность. Но это уникальное «железо» представляет собой лишь одну из нескольких составляющих успеха – для минимизации энергопотребления ЦОД и его адаптации к сложным климатическим условиям инженеры соцсети использовали сложную систему распределения электропитания, продвинутые механизмы охлаждения и инновационную систему управления инфраструктурой дата-центра.

Специалисты Facebook своими силами разработали собственную программную платформу для управления инфраструктурой центра обработки данных (Data Center Infrastructure Management; DCIM), чтобы эффективно контролировать сложные корреляции между IT-нагрузкой и производительностью системы охлаждения. Софт Facebook также был интегрирован с системой управления зданием (Building Management System; BMS) от Siemens AG, которая перед вводом в эксплуатацию также подверглась глубокой настройке и оптимизации.

Коэффициент PUE данной серверной фермы зачастую находится ниже отметки в 1.08 единицы. Все желающие могут отслеживать PUE и ряд других показателей состояния инфраструктуры ЦОД в режиме реального времени с помощью этого сайта.

По словам оператора ЦОД Facebook в Форест-Сити Кевина Маккаммона, достичь столь высокого уровня энергоэффективности без постоянной связи между специалистами в области эксплуатации IT-оборудования и экспертами по вспомогательным системам здания попросту невозможно.

Разделение труда

В здании работает около 80 штатных сотрудников Facebook, а также множество подрядных рабочих, которые поддерживают дата-центр в нормальном состоянии. Одним из таких подрядчиков является специалист по интеграции оптоволокна Кайл Джессап, который трудится на этом объекте с того момента так, как Facebook начала развертывание здесь своих серверов в 2011 году. По словам Джессапа, все происходит крайне быстро, причем каждый штатный сотрудник ЦОД сосредоточивается на более широкой картине, а не на контроле над работой подрядчиков.

Например, при подготовке к вводу в эксплуатацию новых серверных стоек команда Джессапа работает со штатными специалистами по управлению зданием, чтобы переместить оборудование на место и проверить качество передачи света через оптоволокно. При этом штатные специалисты по сетевой инфраструктуре предварительно создают карту размещения всего дополнительного оптоволокна, тогда как серверы размещаются в стойках заблаговременно.

Ко всему прочему специалисты не лишены пространства для профессионального роста. Получив несколько сертификатов, подрядчик вроде Джессапа может стать специалистом по IT-администрированию. Небольшое обучение в области управления электроэнергетическим оборудованием позволило бы ему войти в команду специалистов по управлению вспомогательной инфраструктурой здания ЦОД.

Что под капотом у дата-центра Facebook?

Температура серверного оборудования в машзалах дата-центра соцсети в Форест-Сити оптимизируется без использования механического охлаждения. При этом температура в «холодных» коридорах ЦОД поддерживается на уровне 28 градусов по Цельсию (около 83 градусов по Фаренгейту). Продвинутый механизм управления воздушными потоками под давлением и конструкционные особенности здания позволяют предельно эффективно применять особенности местного климата для перемещения воздушных масс, используя при этом минимум энергии.

По словам Маккаммона, используемые в ЦОД экономайзеры со стороны наружного воздуха обладают системами утилизации тепла горячих вытяжных воздушных масс. Это необходимо ввиду того, что в «горячих» коридорах поддерживается очень низкий уровень влажности воздуха. В ЦОД есть системы осушителей, но специалисты по управлению вспомогательной инфраструктурой здания используют их только в случае крайней необходимости.

Чтобы максимизировать эффективность фрикулинга, инженеры Facebook удалили все посторонние конструкционные элементы и комплектующие из серверов, которые могли бы стать препятствием для потоков воздуха. Вместо того чтобы полагаться на фальшпол, операторы ЦОД соцсети направляют холодный воздух с потолка вниз вдоль стоек. Панели-заглушки позволяют попадать в «горячие» коридоры только нагревшемуся внутри серверов воздуху.

Специалисты американской компании также пересмотрели свою стратегию управления воздушными потоками. Они пришли к выводу о том, что если нагнетать холодный воздух вниз слишком сильно, он будет «отскакивать» от бетонного пола, создавая своеобразную воздушную буферную зону. Поэтому специалисты Facebook спроектировали, построили и разместили в машзалах специальные рефлекторы в форме металлических листов, благодаря которым воздух не отклоняясь движется по «холодному» коридору к серверам.

Даже система освещения ЦОД может похвастать несколькими козырями. Здесь есть датчики движения, что позволяет снизить потребление электроэнергии за счет отключения ламп в периоды, когда в машзалах никого нет. Как отметил Маккаммон, сенсоры срабатывают довольно медленно: двигаясь на электроскутере, вы можете «обогнать» датчики движения (сотрудникам Facebook выдаются эти транспортные средства для перемещения внутри зданий).

Для запитки серверного, сетевого и вспомогательного оборудования внутри ЦОД в Форест-Сити Facebook использует системы электропитания высокого напряжения, снижая напряжение с 480 вольт посредством трех фаз. Этот подход позволяет уменьшить потери при передаче электричества, если сравнивать со стандартными системами распределения электроэнергии для ЦОД. По словам Маккаммона, данный фактор также способствуем снижению коэффициента PUE. Инженеры Facebook работали с несколькими вендорам, чтобы создать систему автоматического переключения питания для своих серверов.

Кроме того, в машзалах нет отдельных комнат с источниками бесперебойного питания, которые можно обнаружить в типичном ЦОД. Facebook устанавливает аккумуляторные батареи непосредственно в монтажных шкафах рядом серверными стойками.