eBay переходит на высокоплотные вычислительные системы с жидкостным охлаждением

Операторы центров обработки данных стремятся вместить как можно больше вычислительного оборудования внутри машзалов, переходя на микросерверы и блейды. При этом рост тепловыделения серверов, которыми напичканы монтажные стойки, заставляет IT-специалистов искать новые способы охлаждения «железа».

Одной из компаний, по достоинству оценивших все преимущества высокоплотных вычислительных систем, является eBay. Недавно операторы ЦОД гиганта электронной коммерции, который расположен в городе Финикс, штат Аризона (США), переоборудовали под такое IT-оборудование один из своих машзалов, а также отказавшись от внутрирядных блоков воздушного охлаждения в пользу системы жидкостного охлаждения типа RDHx (Rear-Door Heat Exchanger).

Концепция RDHx

Под аббревиатурой RDHx скрываются низкопрофильные теплообменники, которые встраиваются в дверцу на монтажной стороне серверной стойки и позволяют быстро понизить температуру высокоплотных вычислительных систем, увеличивая при этом глубину стойки всего лишь на десяток-полтора сантиметров. Операторы ЦОД eBay заказали блоки RDHx у компании Motivair, продукция которой вот уже более 20 лет представлена на рынке систем охлаждения для ЦОД и промышленного оборудования.

Продукты Motivair класса RDHx могут быть с легкостью установлены на уже эксплуатируемые серверные стойки или же выступать конструкционными элементами новых стоек. При этом использовать модули RDHx можно как в связке с фальшполом, так и без него. Как правило, такие продукты стоят намного дороже, чем обычные аналоги.

Концепция RDHx предполагает установку специальной дверцы на монтажной (задней) стороне серверной стойки. Эта дверца содержит теплообменные змеевики, наполненные водой (или другим хладагентом). Холодный воздух поступает в переднюю (фронтальную) часть стойки, нагревается благодаря работающему IT-оборудованию и пропускается через модуль RDHx, попутно охлаждаясь до температуры нагнетаемого в стойку воздуха или даже до более низкой температуры.

Для функционирования блоков RDHx требуется охлажденная вода или иной жидкий хладагент, который должен подводиться к стойкам через дополнительный трубопровод, и блок распределения хладагента (Coolant Distribution Unit; CDU). Размеры и мощность блока CDU варьируются в зависимости от обслуживаемой IT-нагрузки.

Пилотный проект eBay

По словам Дина Нельсона, который является вице-президентом подразделения Global Foundation Services в составе eBay, постепенный рост плотности размещения вычислительного оборудования в ЦОД заставляет IT-специалистов компании вкладывать все больше средств в модернизацию системы охлаждения. И новый пилотный проект не стал исключением.

Внутри машзала дата-центра компании в Финиксе, где eBay решила протестировать RDHx-блоки от Motivair, в настоящее время расположено целых 16 рядов монтажных стоек, каждая их которых вмещает серверы, системы хранения данных и сетевое оборудование общей мощностью от 30 кВт до 35 кВт. То есть речь идет о многократном росте плотности размещения IT-оборудования по сравнению большинством обычных ЦОД, внутри монтажных стоек которых размещается «железо» мощностью от 4 кВт до 8 кВт.

Изначально для обеспечения нормального температурного режима внутри стоек применялись дополнительные внутрирядные кондиционеры, что заставило операторов дата-центра eBay несколько проредить ряды монтажных стоек: из-за роста объема охладительного оборудования пришлось удалить из машзала шесть стоек. Но переход на RDHx позволит операторам дата-центра высвободить место, вернуть те самые шесть стоек обратно и заполнить их под завязку серверами, повышая вычислительную мощность при сохранении прежней занимаемой площади (если сравнивать с той картиной, которая была до перехода на блейды и микросерверы).

Как отметил Нельсона, используемые в ЦОД его компании дверцы-охладители Motivair относятся к категории активных блоков RDHx. То есть на них установлены дополнительные вентиляторы, способствующие более эффективному перемещению воздушных масс через стойки и через змеевики устройств. Отметим, что некоторые блоки RDHx являются пассивными: воздух через них прогоняют внутрисерверные вентиляторы. Но Нельсон сказал, что для высокоплотных IT-решений, вроде используемых в Финиксе, лучше подходят именно активные системы.

Взвешиваем «за» и «против», идем на компромиссы

В продуктах Motivair используются высокоэффективные EC-вентиляторы (электронно-коммутируемые), что среди прочего ведет к минимизации совокупной потребляемой мощности: 12.8 кВт против 11 кВт в случае одного внутрирядного кондиционера (напомним, что при переходе на высокоплотные вычислительные системы операторам ЦОД пришлось установить дополнительные охладители подобного класса, чтобы выйти на нужный температурный режим).

Кроме того, передовая система охлаждения позволяет добиться дальнейшего уменьшения энергопотребления вспомогательной инфраструктуры, поскольку она может использовать теплую воду.

«Мы думали, что продукты Motivair окажутся слишком дорогими, но когда появилась возможность вернуть шесть монтажных стоек обратно в машзал, эти инвестиции окупились сполна», говорит Нельсон.

Нельсон считает, что системы воздушного охлаждения серверов, которые применяются в большинстве обычных дата-центры уже достигли предела своих возможностей. По мнению специалиста, только путем перехода на жидкостное охлаждение можно рационализировать паттерны использования имеющихся ресурсов и внедрить IT-оборудование высокой плотности.