Гигант электронной коммерции eBay ввел в эксплуатацию свой новый центр обработки данных в Саут-Джордане, штат Юта (США), значительная часть электроэнергии для которого вырабатывается тридцатью топливными элементами (эти устройства превращают топливо – например, природный газ, биогаз или водород – в электричество посредством химической реакции). Операторы нового дата-центра eBay будут использовать местную электросеть только в качестве резервного источника электропитания. Представители американской компании говорят, что использование подобного подхода к развертыванию электроэнергетической инфраструктуры является не только шагам навстречу экологам – применение топливных элементов делает ЦОД более надежным и защищенным от возможных неполадок в центральной электросети.

В дополнение к беспрецедентному по своим масштабам проекту по внедрению топливных элементов в ЦОД компания eBay также вложила свои средства в проект местной компании Ormat, которая специализируется на альтернативной энергетике. Специалисты Ormat вскоре установят механизмы рекуперации энергии на близлежащих газопроводах (главным образом на компрессорных станциях), позволяющие повторно использовать выделяемое оборудованием тепло и превращать его в электричество. Инженеры eBay будут повторно использовать эту электроэнергию (5 МВт) в своем дата-центре, что поможет снизить общий углеродный след бизнеса гиганта электронной коммерции.

Этот дата-центр на топливных элементах является первым в своем роде во всем мире. Проект в полной мере отражает давно наметившийся тренд: операторы серверных ферм все более активно экспериментируют с экологически чистыми источниками электроэнергии, пытаясь минимизировать зависимость своего бизнеса от углеводородного топлива. При этом энергопотребление дата-центров во всем мире непрерывно растет. Использование компанией eBay центральной электросети в качестве резервного источника электроэнергии также показывает, что операторы и владельцы ЦОД хотят добиться независимости от электросетевых компаний, чья инфраструктура никак не контролируется первыми.

Представители eBay в последнее время часто упоминали об этом необычном дата-центре – в том числе и на недавней конференции GigaOM Structure, которая прошла в Сан-Франциско, штат Калифорния (США), летом этого года. Но теперь серверная ферма на топливных элементах, наконец, была введена в эксплуатацию, благодаря чему бизнес eBay и PayPal станет немного “зеленее”. Отметим, что новый объект создавался в рамках второй очереди кампуса ЦОД Topaz в штате Юта, который eBay начала использовать по назначению еще пару лет назад (после завершения первой очереди).

На кампусе в Юте могут оперативно развертываться дополнительные модульные дата-центры. В течение следующих нескольких месяцев и лет компания eBay собирается существенно увеличить вычислительную мощность этого кампуса за счет установки дополнительного серверного оборудования и, возможно, инженеры компании добавят еще больше топливных элементов, чтобы запитывать дополнительные серверы.

Топливные элементы для рассматриваемого дата-центра были предоставлены стартапом Bloom Energy. В одном из своих интервью топ-менеджер eBay Дин Нельсон сказал, что специалисты его компании и их коллеги из Bloom Energy потратили несколько месяцев на разработку механизмов, позволяющих сделать архитектуру топливных элементов достаточно устойчивой, чтобы те могли запитывать дата-центр в режиме 24 / 7 без малейших намеков на перебои в электроснабжении. Ведь в отличие от жилого дома или даже офисного здания, где сбои в системе электропитания являются просто значительным неудобством, серверные фермы должны оставаться онлайн в любое время дня и ночи, чтобы интернет-сервисы продолжали исправно работать, при этом даже незначительный простой может привести к потере приличных денег.

К настоящему моменту топливные элементы компании Bloom Energy используются (пусть и не в таких масштабах как в случае eBay) в дата-центрах Apple, Verizon, AT&T, NTT и ряда других высокотехнологичных компаний. Стартап, которому уже исполнилось десять лет, обнаружил в сегменте ЦОД крайне перспективный рынок. Компания помогает интервент-гигантам, в ведении которых имеются дата-центры, добиться сокращения общего углеродного следа своего бизнеса и переосмыслить саму концепцию энергоснабжения вычислительной инфраструктуры. Бизнес Bloom Energy поддерживают многие крупные инвесторы вроде NEA, Kleiner Perkins, DAG Ventures и GSV Capital. К настоящему моменту компания успешно привлекла более 1.1 миллиарда долларов США со стороны.

Отметим, что изначально специалисты eBay надеялись использовать биогаз (газ из органических отходов) для выработки электроэнергии с помощью топливных элементов. Это позволило бы свести к минимуму выбросы CO2. Но, как объяснил Нельсон, получение биогаза из доступных в штате Юта источников (водоочистные сооружения, свалки или животноводческие фермы) оказалось слишком сложной задачей. Поэтому вместо биогаза eBay сейчас использует природный газ в качестве топлива для энергоблоков Bloom Energy.

Нельсон сказал, что построенный в рамках второй очереди дата-центр eBay в штате Юта “отличается четырехкратных превосходством в пане плотности размещения серверного оборудования” по сравнению со своим предшественником. Кроме того, “новый ЦОД и в два раза дешевле”, чем объект, возведенный в рамках первого этапа.

Топ-менеджер также отметил, что использование топливных элементов в качестве замены удаленным электростанциям и ЛЭП позволяет свести к минимуму потери электроэнергии при ее передаче. Он сослался на результаты исследований ученых из Университета штата Иллинойс в Урбана-Шампейне, согласно которым такие энергоблоки на базе топливных элементов в десять раз реже выходят из строя, чем элементы центральной электросети. Исследователи говорят, что в течение года общая продолжительность даунтайма, скорее всего, не превысит 6 минут, по сравнению с целыми 10 часами при использовании традиционных технологий. Именно поэтому переход на энергоблоки Bloom Energy позволил инженерам eBay также отказывается и от дизель-генераторов и ИБП.

Создатели нового дата-центра в Саут-Джордан для развертывания серверов с высокой плотностью использовали среди прочего усовершенствованные модульные ЦОД. Инженеры компании Dell сотрудничали с коллегами из eBay при разработке новых модулей EPIC, которые, как говорят представители производителя серверного оборудования, позволяют достигать самого высокого уровня плотности размещения IT-оборудования в мире. Каждая модульная серверная ферма EPIC позволяет развертывать серверное и сетевое оборудование общей мощностью более 1 мегаватта. Эти IT-активы размещаются в 24 стойках (то есть нагрузка на одну стойку равна около 50 кВт). При этом для оптимизации температурного режима серверов используются только свежий наружный воздух и система испарительного охлаждения. Вот как выглядит этот модульный ЦОД в реальном мире:

В период, когда владельцы других гипермасштабных дата-центров вроде Facebook и Google разрабатывают свои собственные серверы или налаживают партнерские отношения с производителями оборудования по оригинальному проекту (ODM-производители), eBay решила углубить свои партнерские отношения с обычными производителями серверов.

“Мы обнаружили, что совместная работа над специализированным аппаратным обеспечением с Dell и HP действительно помогает нам повысить эффективность своей IT-инфраструктуры”, сказал Нельсон. “У нас с Facebook и Google могут быть разные подходы к повышению эффективности серверов: мы остаемся верны OEM-модели, а они переходят на ODM. Но цели одни и те же”.

Отметим, что в настоящее время у eBay имеется 16 дата-центров по всему миру (в США, Германии, Индии, Китае и Сингапуре). В распоряжении гиганта электронной коммерции находится без малого 52 500 серверов, общая IT-нагрузка которых составляет 31.2 мегаватта. При этом средний коэффициент эффективности использования энергии (Power Usage Effectiveness; PUE) в разрезе всех серверных ферм компании в данный момент составляет 1.5 – это большой достижение по сравнению с уровнем в 2.0 единицы в 2008 году.