Охлаждение серверов в ЦОД: новости от ARPA-E, Dell, Johnson Controls, Diffusion, ZutaCore

3 июля 2023

Повышение плотности мощности IT-оборудования внутри монтажных стоек – одна из главных тем в индустрии ЦОД. От погружения серверных систем в емкие резервуары, заполненные жидким диэлектриком, до распыления хладагента непосредственно на горячие микрочипы, минуя термоинтерфейс и радиаторы, – операторы и владельцы ЦОД берут на вооружение все более экзотические методы оптимизации температурного режима критически важного IT-оборудования. Многочисленные вендоры снабжают их необходимыми продуктами и технологиями, не забывая инвестировать дополнительные средства в новые разработки. Справедливость этого утверждения доказывает свежий отраслевой дайджест.

15 проектов по разработке систем охлаждения ЦОД получат финансирование ARPA-E

Агентство перспективных исследований в области энергетики (ARPA-E) при Минэнерго США, потратит $ 40 млн. на финансирование 15 научно-исследовательских проектов, направленных на радикальное усовершенствование систем охлаждения ЦОД.

Ожидается, что соответствующие технологии позволят сократить энергопотребление и, соответственно, вредные выбросы, попадающие в атмосферу по вине ЦОД, а также минимизировать потребление воды. Усовершенствования в области охлаждения упростят размещение и эксплуатацию ЦОД в локациях с неблагоприятными условиями окружающей среды. Некоторые решения также способны вывести термопакет (TDP) микрочипов за пределы 1 кВт. Конечная цель состоит не только в повышении эффективности охлаждения ЦОД, но и в максимизации экономичности.

Предлагаемые подходы варьируются от разработки высокоэффективных радиаторов в форме коралла до пульсирующих тепловых трубок. Ожидается, что соответствующие технологии позволяет обеспечить надежность ЦОД, как минимум, на уровне Tier III, что соответствует 99,982% времени безотказной работы.

Каждый проект может получать финансирование в течение максимум 3 лет. Деньги будут предоставляться поэтапно – в зависимости от прогресса. После оприходования начального 3-летнего финансирования некоторые небольшие компании вправе претендовать на получение грантов для расширения масштабов деятельности и коммерциализации наработок. Если проект будет свернут до завершения 3-летнего периода начального финансирования, неоприходованные средства могут быть реинвестированы в другие технологии. Финансируемые проекты разделены на 4 типа (от A до D):

Категория A: Решения для охлаждения стандартных ЦОД, разработчики которых фокусируются на технологиях удаления тепла с поверхности чипа при минимизации теплового сопротивления.
Категория B: Продукты, предназначенные для модульных или периферийных ЦОД мощностью до 1 МВт. Ориентация на суровые условия окружающей среды, включая эксплуатацию при температуре среды 40 ° C (104 ° F) и влажности 60%.
Категория C: Инструменты, позволяющие разработчикам систем охлаждения оценить надежность оборудования и его эффективность путем сравнительного анализа. Главный бенефициар финансовой поддержки — Университет Мэриленда.
Категория D: Создание тестовой площадки усилиями Национальной лаборатории возобновляемых источников энергии (NREL). Площадка создается на кампусе NREL Flatirons.

Рассмотрим, какие компании и университеты получат финансирование, и как каждая группа исследователей надеется изменить будущее рынка решений для охлаждения ЦОД.

Nvidia ($ 5 млн.): Предложен модульный дата-центр, система охлаждения которого сочетает прямоконтактное и иммерсионное охлаждение с насосом, а также сепаратором жидкости и пара. Оптимизация температурного режима микросхем будет осуществляться с применением охлаждающей пластины. Остальные серверные компоненты с более низкой удельной мощностью будут погружены в резервуар с диэлектриком. Серверы будут охлаждаться экологически чистыми хладагентами. Разрабатываемая инженерами Nvidia охлаждающая пластина из пористого металла обеспечивает термическое сопротивление на уровне всего 0,0025°C/Вт.
Калифорнийский университет в Дэвисе ($ 3,6 млн.): Разрабатывается набор комплексных решений для управления температурным режимом внутри модульных ЦОД, используемых при создании платформ для распределенных вычислений на базе многочисленных периферийных серверных ферм малой мощности. Предполагается эффективное удаление лишнего тепла от центрального и графического процессора за счет жидкостного охлаждения и рассеивание этого тепла в окружающую среду с помощью высокоэффективных и недорогих теплообменников. Вспомогательная электроника в серверных системах будет охлаждаться с помощью вторичного контура, перемещающего лишнее тепло в атмосферу за счет термоизлучения.
Flexnode ($ 3,5 млн.): Создается быстросборный модульный микро-ЦОД с жидкостным охлаждением, изготавливаемый с использованием конвейера и стандартизированных компонентов, что уменьшит стоимость. ЦОД предназначен для периферийных вычислений. В части оптимизации температурного режима микроэлектроники предлагаются следующие инновации: микроканальный процессорный радиатор, иммерсионное охлаждение на уровне серверного шасси и экономайзер сухого типа, изготавливаемый с применением 3D-печати.
Мэрилендский университет в Колледж-Парке ($ 3,4 млн.): В разработке интегрированный программный инструмент поддержки принятия решений для проектирования ЦОД следующего поколения. Предлагается органично совместить существующее программное обеспечение с открытым исходным кодом для моделирования ЦОД с учетом требований к надежности, энергопотреблению, углеродному следу и затратам с инновационной структурой совместного моделирования. Ожидается, что этот инструмент позволит проектировщикам ЦОД разрабатывать принципиально новые и революционные решения.
HP ($ 3,3 млн.): Корпорация HP, получая финансирование в рамках категории A, планирует вместе с партнерами разработать решение для жидкостного охлаждения, которое уменьшает потребность в материале для теплового интерфейса и количество термоинтерфейсов между мощными центральными/графическими процессорами и охлаждающей жидкостью, тем самым значительно снижая термическое сопротивление и себестоимость инфраструктуры. Предлагается использовать технологию микроканалов. Заявляется об интеграции кремниевых микроканалов в поверхность охлаждаемого устройства. Справедливости ради следует отметить, что инженеры HP пытались использовать похожую технологию для охлаждения серверов еще в 2002 году, создав рабочий прототип. Но корпорация так и не коммерциализировала эту технологию.
Флоридский университет в Гейнсвилле ($3 млн.): Разрабатывается система охлаждения центральных и графических процессоров с беспрецедентной мощностью. Предназначена для монтажа в серверных стойках ЦОД. Позволит значительно увеличить термопакет микрочипов в будущем. Заявляется возможность удаления лишнего тепла непосредственно в окружающий воздух за пределами центра обработки данных. Возможно внедрение в существующую инфраструктуру ЦОД с первичным контуром жидкостного охлаждения.
Техасский университет в Арлингтоне ($2,8 млн.): Предложена гибридная технология оптимизации температурного режима серверов, включающая модуль испарительного охлаждения непосредственно на чипе, а также воздушное охлаждение в форме теплообменника вода/воздух на монтажной стороне серверной стойки. Продукт позиционируется как надежное и расширяемое решение, а также простой способ модернизации устаревших ЦОД. Предлагается использовать электроосаждение металла для устранения материалов термоинтерфейса и снижения теплового сопротивления между чипом и охлаждающей жидкостью.
Исследовательский центр Raytheon Technologies в Ист-Хартфорде, Коннектикут ($2,5 млн.): Предлагается использование технологии охлаждения авионики при повышении эффективности инфраструктуры ЦОД. В частности, инженеры Raytheon Technologies планируют использовать пульсирующие (осциллирующие) ленточные тепловые трубки (англ.: Ribbon Oscillating Heat Pipe; RHP). Подготовка технологии к выводу на рынок ведется в рамках межотраслевой совместной группы. Осциллирующие тепловые трубки, также известные как пульсирующие тепловые трубки, используют управляемый давлением поток охлаждающей жидкости для быстрой передачи тепла между его источником и радиаторами. Технология обеспечивает рекордно низкое тепловое сопротивление.
Иллинойсский университет в Урбана-Шампейне ($2,5 млн.): Предложена инновационная парадигма охлаждения, способная обеспечить как минимальное энергопотребление, так и максимальную мощность охлаждения для серверов будущего. Предлагается использовать высокоэффективные материалы теплового интерфейса, надежные охладители из карбида кремния, системы автоматизированного проектирования в сочетании с 3D-печатью из карбида кремния. На выходе — надежное и экономичное однофазное водяное охлаждение.
Лаборатории HRL в Малибу, Калифорния ($2 млн.): В рамках проекта категории А компания HRL Laboratories разработает новую систему управления температурным режимом IT-оборудования внутри центра обработки данных с низким тепловым сопротивлением и повышенной энергоэффективностью. Используются упорядоченные графитовые микроребра и изготовленные с применением 3D-печати проточные коллекторы.
Университет Пердью в Индиане ($1,9 млн.): Университет Пердью, Бингемтонский университет и компания Seguente Inc., занимающаяся управлением температурным режимом в центрах обработки данных, разработают инновационное решение для прямоконтактного двухфазного струйного охлаждения на уровне микросхемы, позволяющее значительно повысить общие тепловые характеристики при одновременном снижении энергопотребления. Предложены новые алгоритмы оптимизации охлаждающей конструкции, передовые методы прямой печати на кристалле элементов термоинтерфейса в форме мультипористых структур путем порошкового сплавления, а также изготовление на 3D-принтере коллектора-распределителя охлаждающей жидкости с несколькими входами и выходами.
Intel ($1,7 млн.): Лаборатория Intel Federal разработает радиаторы для систем иммерсионного охлаждения коралловой формы со сверхнизким тепловым сопротивлением, интегрированные с трехмерной испарительной камерой. Эти технологии будут применяется в сочетании с инновационными покрытиями, улучшающими процесс вскипания хладагента.
Университет Миссури в Колумбии ($1,6 млн.): Разрабатывается двухрежимный гибридный контур двухфазного охлаждения ЦОД с капиллярно-механическим приводом. Предлагаемая технология обеспечивает многочисленные преимущества по сравнению с существующими решениями на базе фазового перехода, включая низкое термическое сопротивление, высокий тепловой поток, низкое энергопотребление насоса, высокую удельную мощность, надежную работу и масштабируемую конструкцию.
Национальная лаборатория возобновляемых источников энергии ($1,5 млн.): NREL, Национальная лаборатория Sandia и Технологический институт Джорджии разработают протоколы испытаний для оценки технологий охлаждения, создаваемых в рамках финансируемых ARPA-E проектов. Тесты будут проводиться в реальных условиях эксплуатации ЦОД. Масштаб будет варьироваться от уровня отдельных компонентов сервера и уровня стойки вплоть до полноценных периферийных дата-центров.
JetCool Technologies ($1,3 млн.): Разработается технология микроконвективного охлаждения, которая сочетает и оптимизирует два разных подхода к охлаждению. Модули микроконвективного охлаждения JetCool снижают температуру центрального процессора, уменьшая ток утечки и приводя к экономии энергии на 8–10%, а встроенный в сервер радиатор устраняет необходимость в выделении ресурсов системы воздушного охлаждении ЦОД для обслуживания отдельного сервера. Это обеспечивает дополнительную экономию электроэнергии.

Dell: однофазное прямоконтактное охлаждение самое эффективное

Исследование, проведенное Dell Technologies, показывает, что однофазное прямоконтактное жидкостное охлаждение является наиболее эффективным. Эксперты провели сравнение с четырьмя другими методами охлаждения ЦОД, распространенными на рынке.

В исследовании под названием «Сравнение производительности пяти технологий управления температурным режимом серверов в центрах обработки данных» (англ.: Performance Comparison of Five Data Center Server Thermal Management Technologies), проводившемся при участии поставщика систем охлаждения Motivair, были протестированы следующие подходы:

воздушное охлаждение;
однофазное погружное охлаждение;
двухфазное погружное охлаждение;
двухфазное прямоконтактное жидкостное охлаждение;
однофазное прямоконтактное жидкостное охлаждение.

В отчете говорится, что хотя каждый метод имеет свои уникальные характеристики и качества, исследование показало, что однофазное прямоконтактное жидкостное охлаждение является наиболее эффективным. Отмечается, что эта технология зарекомендовала себя как масштабируемая, эффективная и надежная.

Johnson Controls представляет чиллер York YVAM с поддержкой R1234ze для мощных ЦОД

Компания Johnson Controls объявила о выпуске центробежного чиллера York YVAM с воздушным охлаждением и магнитными подшипниками. Устройство может похвастать поддержкой хладагента R1234ze с пониженным потенциалом глобального потепления (ПГП). Продукт предназначается для охлаждения гипермасштабных ЦОД.

Технология магнитных подшипников York YVAM позволяет системе работать очень эффективно в условиях низкой нагрузки. По данным Johnson Controls, внедрение новинки ведет к повышению эффективности на 49% при частичной нагрузке в типичных условиях эксплуатации внутри центра обработки данных по сравнению с традиционными винтовыми чиллерами с воздушным охлаждением.

В чиллере York YVAM используется привод с регулируемой скоростью для снижения энергопотребления. Устройство работает намного тише чиллеров с воздушным охлаждением, в которых используются винтовые компрессоры. Уровень шума при полной нагрузке составляет всего 65 дБА на расстоянии 10 м. Конструкция машины, не требующая смазки, снижает затраты на плановое техническое обслуживание и проверки системы.

Чтобы максимизировать время безотказной работы, York YVAM оснащен технологией быстрого запуска со встроенным резервным источником бесперебойного питания. Это позволяет чиллеру вернуться к полной нагрузке всего за три минуты после восстановления электропитания.

Diffusion предлагает новую линейку фанкойлов Highline 235

Базирующаяся в Великобритании компания Diffusion выпустила линейку компактных модульных фанкойлов Highline 235 с низким рейтингом шума NR25. Линейка Highline 235 состоит из восьми моделей. Предусмотрено 13 комбинаций вентиляторов. Продукты разрабатывались с учетом эстетических требований архитекторов и конечных пользователей.

Высокоэффективный двигатель и вентиляторы с регулируемой скоростью вращения крыльчатки, а также использование специально разработанных теплообменников обеспечивает оптимальные характеристики нагрева и охлаждения при минимальном энергопотреблении. Во всех моделях используются центробежные вентиляторы с загнутыми вперед лопастями, которые полностью изолированы огнестойкой пеной толщиной до 25 мм.

Конструкция решений из линейки Highline 235 включает корпус из оцинкованной стали и быстросъемную панель, обеспечивающую легкий доступ к ключевым компонентам, включая теплообменник и вентиляторы.

Клиенты могут выбрать фанкойл, соответствующий их индивидуальному дизайну. Продукт может поставляться либо со средними фильтрами класса ISO, либо с эко-фильтрами из проволочной сетки, который можно легко снять сбоку или снизу устройства. Фильтры на более крупных моделях разделены на две части, что упрощает их демонтаж и очистку.

ZutaCore отказывается от PFAS и демонстрирует новую систему охлаждения серверов

Компания ZutaCore, специализирующаяся на двухфазном жидкостном охлаждении серверов, обязалась отказаться от использования в своих продуктах «вечных химикатов», применение которых создает риски для здоровья человека.

К 2026 году компания наладит выпуск решений для прямоконтактного жидкостного охлаждения, в которых не будут использоваться перфторалкильные вещества (англ.: Per- And Polyfluoroalkyl Substances; PFAS). Эти химикаты, вероятно, скоро будут запрещены в Европе. Они также подпадают под ограничения Агентства по охране окружающей среды США.

Не дожидаясь назначенной даты и введения жестких ограничений регуляторами, ZutaCore заменит относящийся к категории PFAS жидкий диэлектрический хладагент Novec, выпуск которого прекращает 3M, на PFAS-решение с более низким содержанием фтора от Chemours, дочерней компании DuPont.

Двухфазное охлаждение — это вариант жидкостного охлаждения, при котором хладагент вскипает и конденсируется (совершает фазовый переход), удаляя тепло от микрочипов более эффективно, чем при простом использовании радиатора с высокой теплопроводностью. Этот метод требует точного набора характеристик, которые были обнаружены в PFAS-химикатах, включая Novec от 3M.

В 2022 году компания 3M была вынуждена прекратить производство PFAS-химикатов на своем бельгийском заводе в Звейндрехте после десятилетий попыток избежать вины за утечки, в результате которых уровни ядовитых веществ в крови местных жителей оказались в сотни раз выше установленных законодательством ЕС безопасных пределов. В 2023 году компания объявила о прекращении производства Novec и другого PFAS-хладагента под названием Fluorinert.

Компания ZutaCore также представила новое решение для охлаждения дата-центров на выставке Dell Technologies World 2023. Продукт под названием Zutacore HyperCool, разработанный совместно с вендором Valeo, использует концепцию двухфазного жидкостного охлаждения с прямым контактом между диэлектрическим хладагентом и кристаллом охлаждаемого чипа. Решение оснащено новым блоком рекуперации тепла Valeo 3U Water Heat.

Компактные модули Valeo 3U Water Heat легко интегрируются в сервера. Время простоя и обслуживания сокращается благодаря многократному резервированию компонентов и новой системе сменных модулей, что позволяет быстро заменять насосы без ущерба для общей производительности системы.