Национальная лаборатория имени Лоуренса в Беркли (Lawrence Berkeley National Laboratory; LBNL) в сотрудничестве с корпорацией American Power Conversion (APC; с 2007 года входит в состав Schneider Electric), Калифорнийской энергетической комиссией и Silicon Valley Leadership Group (SVLG) инициировала демонстрационный проект, чтобы показать преимущества новой системы охлаждения для центра обработки данных. Прототип системы охлаждения производства APC был установлен в дата-центре LBNL, который находится в городе Беркли, штат Калифорния (США).

В отличие от традиционных конфигураций с одним теплообменником, в новой системе применяется сразу два воздушно-водяных теплообменных аппарата. К одному из них подводится вода, охлажденная в градирне, другой теплообменник связан с системой холодного водоснабжения здания (как в традиционных конфигурациях). Было обнаружено, что благодаря максимально интенсивному использованию подаваемой с градирни охлаждающей воды перед использованием воды из системы холодного водоснабжения здания в некоторых случаях может достигаться 50-процентное сокращение количества электроэнергии, используемой для запитки охлаждающей инфраструктуры.

Охлажденная в градирне вода используется по максимуму

Новая система отличается от обычных замкнутых систем с водяным охлаждением (охлаждается одна или две стойки, которые представляют собой закрытый блок) или открытых систем (стойка помещается между “горячим” и “холодным” коридорами) – она размещается внутри ряда стоек с IT-оборудованием (внутрирядная система).

Отметим, что в традиционных системах охлаждения для дата-центров от компаний вроде Rittal, HP и Emerson тепло воздуха, нагреваемого IT-оборудованием, с помощью одного теплообменника передается воде, которая подается посредством системы холодного водоснабжения здания.

Температура подачи охлажденной воды, как правило, составляет около 7 градусов по Цельсию (45 F). Во многих случаях оборудование в ЦОД может эффективно охлаждаться с помощью гораздо более теплой воды. Для этой цели вполне подойдет жидкость при температуре в 19 градусов по Цельсию (66 F), что позволяет выполнить рекомендации организации ASHRAE, согласно которым температура воздуха на входе в стойку должна составлять около 27 градусов по Цельсию (80.6 F).

Достичь требуемого уровня холодопроизводительности с использованием более теплой воды при наименьших затратах можно при условии подачи жидкости непосредственно из контура с градирней и системой фильтрации, а не через систему подачи охлажденной воды в здание.

К счастью, в большинстве случаев получить доступ к охлаждающей воде из градирни можно путем добавления всего нескольких трубопроводов. Тем не менее, в зависимости от конструкционных особенностей конкретного дата-центра, стоимость этой модификации системы трубопроводов и будет решающим фактором при принятии решения в пользу подобного апгрейда.

Конечным результатом использования данной технологии является передача тепла от IT-оборудования в окружающую среду с максимально интенсивным использованием охлажденной в градирне воды. Эта технология позволяет свести к минимуму использование систем охлаждения на базе компрессоров, которые могут потребоваться в некоторых областях внутри конкретного дата-центра.

Новую систему можно рассматривать как аналог экономайзера со стороны охлажденной воды, который использует отфильтрованную и охлажденную в градирне воду большую часть времени (или постоянно), а вода из системы холодного водоснабжения здания применяется только при необходимости.

Проект

В дата-центре Национальной лаборатории имени Лоуренса в Беркли использовался прототип доработанного воздухоохладителя InRow производства American Power Conversion. Эта система предназначена для развертывания непосредственно в машзала ЦОД – причем ее элементы должны размещаться между стойками с IT-оборудованием. Количество необходимых воздухоохладителей зависит от плотности теплового потока между соседними стойками. В прототипе воздухоохладителя имеется массив вентиляторов, которые прогоняют воздух через два воздушно-водяных теплообменника в последовательной конфигурации.

Теплообменники сконфигурированы таким образом, что воздух из “горячего” коридора поступает в первый теплообменный аппарат, выходит из него и поступает во второй. Движение воздуха через оба теплообменника схематически отображено на Рисунке 1.

Рисунок 1: Схематическое изображение прототипа воздухоохладителя InRow с двойным теплообменником

В первый теплообменник подается вода из градирни, которая проходит через отдельный контур с фильтрами (очистительный контур), причем в этот контур отработанная жидкость попадает после прохождения через рамный пластинчатый теплообменник (разборный пластинчатый теплообменник) в градирне. В этом прототипе интенсивность водяного потока через первый теплообменник (вода, охлажденная в градирне) не контролируется. На протяжении большей части испытаний данный показатель (интенсивность водяного потока через первый теплообменник) достигал около 114 литров в минуту.

Во второй теплообменник вода подается с помощью механизма подачи охлажденной технической воды на базе компрессора, который является частью системы обогрева, вентиляции и кондиционирования всего здания (Heating, Ventilation, and Air Conditioning; HVAC). Интенсивность потока охлаждающей воды через второй теплообменник находится под контролем специальной системы управления, которая является частью портативного охладительного устройства. Контроль интенсивности потока воды позволяет в данном случае добиться требуемого уровня температуры воздуха на входе в серверные стойки.

Система управления новым воздухоохладителем InRow отслеживает условия окружающей среды, состояние (скорость, влажность, температура) воздуха на входе и на выходе, а также температуру воздуха на входе в стойку с IT-оборудованием, чтобы обеспечить необходимый температурный режим и скорость воздушного потока, поступающего в “холодный” коридор. Встроенная система управления осуществляет это путем регулирования скорости вентиляторов и клапанов плавного (пропорционального) регулирования, которые позволяют контролировать интенсивность потока охлажденной воды через второй теплообменник.

Подход к анализу

Прототип был установлен внутри ряда стоек с IT-оборудованием на кампусе LBNL со стандартным оборудованием. Уровень изоляции “горячего” / “холодного” коридора был повышен для оптимизации (читай: увеличения) температуры воздуха, подаваемого в прототип системы охлаждения. Этого удалось достичь путем добавления пластиковых штор на обоих концах “горячего” коридора.

На каждый теплообменник был установлен тепломер, подключенный к локальному порту Modbus для записи данных. Каждый тепломер передавал информацию по интенсивности потока воды, а также данные по температуре жидкости на входе и выходе. Это позволило оценить интенсивность теплопередачи каждого теплообменника в разрезе определенного промежутка времени.

В систему был установлен ваттметр, который также был подключен к порту Modbus для передачи данных об интенсивности использования устройством электроэнергии. Температуры воздуха на входе и выходе из устройства фиксировались с использованием беспроводной сети SynapSense и передавались в уже существующую в LBNL базу данных системы SynapSense.

Исследователи провели серию экспериментов, в ходе которых менялась интенсивность потока воды на каждом теплообменнике, а также скорость вращения вентиляторов. Энергопотребление охлаждаемого IT-оборудования с течением времени изменялось (вместе с уровнем тепловыделения), что позволяло смоделировать обстановку, предельно приближенную к реальности. Для того чтобы оценить производительность других модификаций системы, были добавлены результаты теплообменника с перекрестным потоком (перекрестноточный теплообменник).

Объемная интенсивность потока воздуха для каждой из пяти настроек скорости вращения вентилятора была рассчитана с использованием метода теплового баланса, согласно которому объемную интенсивность потока воздуха можно представить в виде функции от интенсивности теплопередачи и температуры воздуха на входе и выходе.

Для целей анализа величина воздушного потока, создаваемого вентиляторами в серверах, была зафиксирована на уровне 2.8 куб. метра в минуту на 1 кВт мощности IT-оборудования. Благодаря этому интенсивность воздушного потока внутри серверов оставалась постоянной при различных уровнях мощности IT-оборудования. В ходе эксперимента использовалась охлажденная в градирне вода с температурой 20 градусов по Цельсию (68 F) и вода из системы холодного водоснабжения здания с температурой 7 градусов по Цельсию (45 F).

Специалисты подавали на IT-оборудование самые разнообразные нагрузки, задавали различные уровни интенсивности потока охлажденной воды и интенсивности потока воздуха. Делалось это, чтобы изучить производительность системы в разрезе ряда типовых конфигураций ЦОД.

Для сравнительной оценки систем использовалась методика подсчета так называемого “частичного коэффициента PUE” (partial Power Usage Effectiveness; partial PUE; pPUE), разработанная консорциумом The Green Grid. Согласно нормам этой методики, коэффициент PUE определяется для отдельных модулей ЦОД и отдельных машзалов с IT-оборудованием, которые располагаются на территориях дата-центров.

Результаты

Эффективность использования энергии в конфигурации с применением прототипа воздухоохладителя InRow изучалась с использованием pPUE, а затем сравнивалась с обычными конфигурациями. Результаты, которые будут получены в других дата-центрах, могут отличаться от представленных здесь. Это обусловлено непостоянством климатических условий. Например, в регионах с более высокими температурными показателями, измеренными с помощью влажного термометра, поддерживать температуру охлажденной в градирне воды на уровне 20 градусов по Цельсию будет сложнее.

На Рисунке 2 результаты обычной конфигурации с одним теплообменником и при использовании охлажденной в градирне воды представлены линией, которая названа Ситуация 2 (Case 2). Ситуация 2 показывает, что конфигурация с одним теплообменником имеет лучшую эффективность при более низкой мощности охлаждаемого IT-оборудования.

Отметим, что в настоящее время наиболее распространенной является, конфигурация, где используется охлаждающая вода из системы холодного водоснабжения здания, попадающая в воздухоохладитель с одним теплообменником. Эта конфигурация на Рисунке 2 обозначена линией Ситуация 3 (Case 3).

Температура используемой для анализа воды из системы холодного водоснабжения здания составляла 7 градусов Цельсия (45 F). Если Ситуацию 3 (один теплообменник; вода из системы холодного водоснабжения здания) сравнивать с Ситуацией 2 (один теплообменник; вода, охлажденная в градирне), то наблюдается большая разница по эффективности. Это происходит из-за того, что в первом случае для поддержания нормального температурного режима требуется большее количество энергии, так как в Ситуации 3 температура охлаждающей воды ниже, чем требуется, поэтому нужен дополнительный нагрев.

Линия, которая на Рисунке 2 обозначена как Ситуация 1 (Case 1), характеризует прототип воздухоохладительной системы InRow в конфигурации с двумя теплообменниками. В Ситуации 1 наблюдается значительно более высокая холодопроизводительность по сравнению с Ситуацией 2.

Увеличение производительности холодильной установки достигается путем добавления все большего количества охлаждающей воды из системы холодного водоснабжения здания. Причем дополнительная вода начинает активно подаваться при достижении IT-оборудованием мощности примерно в 36 кВт.

В Ситуации 1 наблюдается небольшое (примерно на 1-2%) падение эффективности по сравнению с Ситуацией 2. Это объясняется тем, что при удвоении числа теплообменников увеличивается уровень сопротивления проходящего через них воздуха. Поэтому для эффективного прогона воздуха через теплообменники необходим более крупный и, соответственно, более мощный массив вентиляторов. На Рисунке 2 это падение эффективности отображено смещением между кривыми, описывающими Ситуации 1 и 2 при мощности охлаждаемого IT-оборудования между 30 кВт и 36 кВт.

Рисунок 2: Результаты эффективность использования энергии в демонстрационной системе (Ситуация 1) по сравнению с конфигурациями с одним теплообменником (Ситуация 2, 3)

Нестандартный подход

Есть целый ряд других перспективных технологий охлаждения IT-оборудования, которые демонстрируют огромный потенциал в области повышения энергоэффективности, в том числе системы магистрального водяного охлаждения (прямое охлаждение) и иммерсионного охлаждения. Прямое охлаждение, как правило, предполагает установку теплосъемного устройства (водоблока) или материала непосредственно на поверхности теплогенерирующих компонентов или очень близко к ним. Такой подход позволяет внедрить менее опосредованный механизм теплопередачи, а также уменьшить или полностью устранить необходимость в системе воздушного охлаждения для машзала.

Применение механизма охлаждения погружением (иммерсионное охлаждение) характеризуется необходимостью помещения всего IT-оборудования в диэлектрическую жидкость. Инженеры активно работают над системами иммерсионного охлаждения с использованием минерального масла или фторкетона (альтернатива галонам), причем многие продукты такого плана уже доступны на рынке.

Подобные подходы позволят обеспечить соблюдения необходимого температурного режима IT-оборудования без использования градирен и чиллеров даже в экстремальных климатических условиях.

Эффективность в экономичности

Использование для охлаждения машзала подаваемой из градирни теплой воды может обеспечить повышение энергоэффективности на уровне от 30% до 50%, если сравнивать с водой, подаваемой из системы охлаждения на базе компрессора.

Прототип устройства InRow от APC продемонстрировал свою эффективность, выступая в качестве экономайзера со стороны охлажденной воды, деятельность которого ограничена определенным участком. Дополнительным преимуществом является то, что конструкция устройства позволяет использовать систему охлаждения на базе компрессора только в “горячих точках” машзала.

В зависимости от проектных особенностей конкретного дата-центра и распределения плотности энерговыделения IT-оборудования, охлаждение в большинстве случаев может быть обеспечено с использованием только теплой воды из градирни. При начале практического использования обсуждаемого здесь воздухоохладителя InRow возможны дальнейшие улучшения энергоэффективности.