Производство хладагентов, применяемых в системах двухфазного иммерсионного охлаждения серверов, фактически остановилось из-за многомиллиардных судебных исков об их опасности для здоровья. Химические хладагенты для неиммерсионных решений, использующие гидрофторуглероды, вскоре также скоро станут недоступны для покупки. На первый план входят аналоги естественного происхождения, включая CO2.

Двухфазное иммерсионное охлаждение серверов признано опасным для здоровья

Профильными СМИ продолжают генерировать новости и статьи об эффективности и перспективности технологии двухфазного иммерсионного охлаждения серверов, а аналитики все еще трубят о ее преимуществах. Но есть одна проблема.

Крупные интернет-компании, включая владельцев гипермасштабных ЦОД вроде Microsoft и Meta, фактически остановили исследования в области двухфазного иммерсионного охлаждения. Причина проста: было обнаружено, что используемые подобными системами жидкости опасны для здоровья.

Компании, занимающиеся изготовлением таких хладагентов, включая 3M, прекратят производство соответствующие химикатов к 2025 году. Отчасти это связано с тем, что производители жидкостей для иммерсионного охлаждения сталкиваются с многочисленными многомиллиардными судебными исками.

Что такое однофазное и двухфазное иммерсионное охлаждение?

Иммерсионное охлаждение основано на довольно простой концепции. Серверы и прочее IT-оборудование помещаются в резервуар с жидкостью, не проводящей электрический ток. Поскольку жидкости обычно проводят тепло лучше, чем воздух, погружение электроники в жидкий хладагент упрощает удаление тепла от горячих компонентов, включая центральные и графические процессоры. Затем тепло передается от жидкости, циркулирующей в резервуаре, окружающей среде.

Отличительной особенностью иммерсионного охлаждения по сравнению с охлаждающими пластинами является то, что иммерсионное охлаждение удаляет тепло от всех серверных компонентов. Поэтому вентиляторы не нужны. Более эффективное удаление тепла означает снижение общего энергопотребления.

В современных серверах на вентиляторы может приходиться 15-20% от общего энергопотребления системы. Ввиду большого числа движущихся компонентов вентиляторы также являются потенциальным точками отказа. Многие интернет-компании, включая Alibaba, пришли к выводу, что надежность IT-компонентов повышается при отказе от охлаждения воздухом в пользу погружения в жидкость.

Есть два подхода к реализации иммерсионного охлаждения: однофазное и двухфазное. При однофазном жидкость в резервуаре обычно циркулирует с помощью насосов между резервуаром с серверами и теплообменником. Обычно этот теплообмен происходит между первичным контуром с диэлектриком и вторичным контуром с водой, которая циркулирует в ЦОД и может использоваться для рекуперации тепла. Ключевая особенность однофазного иммерсионного охлаждения заключается в том, что диэлектрическая жидкость остается в жидком состоянии. Отсюда и название.

Двухфазное иммерсионное охлаждение, соответственно, предполагает переход диэлектрического хладагента из жидкого состояния в газообразное и обратно. Серверы, нагревая жидкость, заставляют ее закипать и становиться газом. Это позволяет обеспечить циркуляцию хладагента без использования насоса, что является большим плюсом. Затем газ охлаждается через конденсор и возвращается в жидкую форму.

Обычно резервуары для двухфазного иммерсионного охлаждения подвергаются герметизации для сохранения (избежания потерь) рабочего тела при эксплуатации. Надежность выходит на первый план, поскольку для обслуживания приходится ожидать охлаждения рабочего тела, нарушать герметичность резервуара после того, как пар снова станет жидким, а затем открывать резервуар и проводить необходимые процедуры.

Двухфазное иммерсионное охлаждение показало себя достаточно перспективам, потому что обычно оно может поддерживать работоспособность серверных компонентов с повышенным термопакетом (TDP). Проблема в том, что многие жидкости, используемые при изготовлении систем двухфазного иммерсионного охлаждения серверов, в настоящее время сняты или снимаются с производства.

Причина в высоком содержании перфторалкильных и полифторалкильных химических веществ / PFAS (сокр. от англ.: Per- And Polyfluoroalkyl Substances). PFAS часто называют «вечными химическими веществами» из-за неспособности разрушаться естественным путем. PFAS могут вызывать рак и создавать другие угрозы для жизни.

Более эффективное охлаждение за счет роста концентрации PFAS

Одной из самых популярных жидкостей, используемых в двухфазном иммерсионном охлаждении, а также при производстве полупроводников, была 3M Novec. Но высокая концентрация PFAS в этом продукте стала причиной остановки завода 3M в Бельгии. Более того, Бельгия инициировала запрет PFAS-содержащих продуктов на уровне ЕС. Агентство по охране окружающей среды США также проявляло интерес к этим химическим веществам.

Компания 3M создала мини-сайт на тему PFAS, пытаясь убедить обывателей в том, что PFAS-содержащих продуктов вовсе не стоит опасаться. Обычно, когда компании создают мини-сайты для подобных целей, скепсис только нарастает.

В начале июня 2023 года 3M объявила о приближении к заключению мирового соглашения с администрациями ряда городов США на сумму 10 миллиардов долларов по поводу загрязнения окружающей среды из-за PFAS. Но несколько судебных процессов, касающихся схожих проблем, пока еще далеки от завершения. В отношении производителей и поставщиков PFAS-веществ, включая 3M, подано в совокупности более 4 тыс. исков.

Крупные интернет-компании вроде Meta, Microsoft, Google и Amazon ставят перед собой амбициозные цели в области корпоративной социальной ответственности и стремятся минимизировать коэффициент эффективности использования энергии (англ.: Power Usage Effectiveness; PUE) своих центров обработки данных для достижения этих целей. Они рассматривают иммерсионное охлаждение как один из способов сокращения PUE.

Но использование «вечных химических» веществ вряд ли совместимо с поставленными целями в контексте воздействия на окружающую среду. Поэтому им нужны альтернативы PFAS. Вслед за этими интернет-гигантам альтернативы начнут искать и более мелки компании. Возможно, в будущем будут разработаны и испытаны новые жидкости для использования в системах двухфазного иммерсионного охлаждения. Но вряд ли это произойдет в краткосрочной перспективе.

Одна из альтернатив – переход на газ. Но открытие резервуаров для обслуживания в данном случае становится более сложной задачей. Используемый газ также может быть токсичным. Эти обстоятельства делают двухфазное иммерсионное охлаждение намного более сложным и рискованным по сравнению, например, с однофазным или прямоконтактным жидкостным охлаждением (предполагает размещение тепловой пластины / теплообменника на охлаждаемом микрочипе).

ГФУ-хладагенты – следующие в очереди на “отмену”?

Регулирующие органы в странах Запада, включая упомянутое выше Агентство по охране окружающей среды США, решили не останавливаться на PFAS-содержащих хладагентах для систем двухфазного иммерсионного охлаждения и выбрали новой целью продукты на базе гидрофторуглеродов / ГФУ (англ.: HydroFluoroCarbon; HFC).

Поскольку ГФУ представляют собой наиболее опасные парниковые газы при обычном использовании, в настоящее время разрабатывается ряд правил, которые ограничат возможности для производства и использования хладагентов на основе гидрофторуглеродов.

ГФУ-содержащие хладагенты используются во многих решениях для ЦОД, включая чиллеры, блоки кондиционирования воздуха для машзалов и некоторые системы внутрирядного охлаждения серверов.

Многие владельцы и операторы крупных центров обработки данных годами работали над снижением своей зависимости от чиллеров и перешли на стратегии охлаждения на базе фрикулинга, в рамках которых используются преимущественно приточные и вентиляционные установки, а также системы фильтрации, позволяющие оптимизировать температурный режим серверов с помощью прохладного наружного воздуха.

Но хладагенты разного уровня токсичности по-прежнему широко используются в небольших и средних корпоративных дата-центрах по всему миру, а также в гипермасштабных ЦОД и центрах обработки данных поставщиков облачных / колокейшн-услуг, расположенных в регионах с более теплым климатом. Там применение фрикулинга нецелесообразно.

Одним из решений могут быть системы охлаждения центров обработки данных с использованием CO2, который широко используется в промышленной теплохладотехнике, но пока не получил столь же широкого распространения в индустрии ЦОД.

Поэтапный отказ от ГФУ-хладагентов

Согласно прогнозам экспертов, поэтапное сокращение доступности ГФУ-хладагентов в ряде развитых стран начнется уже в конце 2023 года вследствие опасений заинтересованных сторон из индустрии ЦОД и широкой общественности касательно высокого потенциала глобального потепления (ПГП) таких хладагентов.

К 1 января 2025 года во многих странах Запада вступят в силу жесткие ограничения по уровню ПГП. Некоторые распространенные хладагенты, включая R410A и R134a, вероятно, окажутся запрещены для использования в промышленных процессах охлаждения. Это напрямую повлияет на ремонт и замену существующих систем на базе таких хладагентов и ограничит или остановит производство нового оборудования, использующего ГФУ-хладагенты.

Еще больше усложняет ситуацию отсутствие четких указаний по классификации ЦОД в разных странах и регионах. В частности, непонятно, следует ли относить системы охлаждения центра обработки данных к теплохладотехнике для коммерческих зданий или к оборудованию для поддержки промышленных процессов.

В свете грядущих ограничений первой мыслью большинства экспертов стала замена ГФУ на ГФО или гидрофторолефины (англ.: HydroFluoroOlefin; HFO), которые состоят из водорода, фтора и углерода и обладают нулевым озоноразрушающим потенциалом, в отличие от ГФУ. Но ГФО потенциально токсичны и находятся на грани запрета в Европе и некоторых штатах США.

Так что же делать владельцам / операторам дата-центров в подобной ситуации? Несмотря на ажиотаж вокруг решений для фрикулинга и жидкостного охлаждения, включая однофазные системы иммерсионного охлаждения и решения с применением охлаждающих пластин, многие центры обработки данных в обозримом будущем продолжат эксплуатировать оборудование с хладагентами на основе ГФУ, руководствуясь финансовыми и другими соображениями.

CO2 обеспечит эффективность и устойчивость

Учитывая складывающуюся ситуацию, многие эксперты выступают за использование природного хладагента в виде CO2 в качестве решения для возникшей проблемы. В то время как аммиак также является претендентом на использование в ЦОД в качестве природного хладагента, CO2 считается наиболее безопасным для окружающей среды с точки зрения вредных выборов. Применение двуокиси углерода также очень распространено в теплохладотехнике. Например, такие решения часто используются в продуктовых магазинах.

В частности, эксперты компании M&M Carnot отмечают, что преимущества использования CO2 по сравнению с другими хладагентами заключаются, прежде всего, в его более эффективной работе. Объемная холодопроизводительность двуокиси углерода в четыре-пять раз больше, чем у большинства других хладагентов. Это приводит к тому, что для его использования требуются компрессоры и компоненты меньшего размера, меньше хладагента и меньше площади для размещения охлаждающего оборудования.

Однако эксперты признают, что это решение наиболее эффективно, когда температура окружающей среды ниже 88°F (31°C). В средах, где температуры постоянно находятся на этом уровне или выше, необходимо сочетать системы на основе хладагента CO2 с адиабатическим газовым охлаждением. Это позволяет смягчить эффекты от работы системы в так называемом транскритическом диапазоне (температура окружающей среды превышает 88°F), когда конденсор становится охладителем газа, теряя эффективность.

При использовании адиабиатического газового охлаждения возможно эффективное охлаждение до температуры окружающей среды 95°F (35°C). Транскритический диапазон сопряжен с режимом полного сжатия, предполагающим поддерживание CO2 в диапазоне рабочего давления от 55 до 72 бар (от 800 до 1040 фунтов на квадратный дюйм). Это наименее эффективный режим охлаждения.

Наиболее эффективный режим возможен при температуре окружающей среды до 54°F (12°C) и использовании эффекта термосифона для циркуляции охлаждающей жидкости. Компрессия не требуется, а при работе чиллера достигается максимальная эффективность. Когда температура окружающей среды выше 54°F, но ниже 65°F (18°C), компрессор CO2 разделяет свою работу: один контур функционирует в режиме естественного охлаждения, а другой работает в режиме сжатия.

Отмечается, что применение хладагента CO2 в чиллерах ЦОД, находящихся далеко от экватора, может быть очень эффективным и рентабельным. По мере перемещения в районы с более высокой средней температурой, решения на основе хладагента CO2, вероятно, потребуют сочетания этой технологии с адиабатическими охладителями для максимальной эффективности.

Заключительные слова

Тренд на экологичность систем охлаждения ЦОД формируется все более четко, укрепляемый действиями регулирующих органов и просвещением широкой общественности относительно (без)опасности специализированных химикатов.

Поскольку свежим скандалом, касающимся токсичности хладагентов для двухфазного иммерсионного охлаждения, оказались затронуты владельцы гипермасштабных ЦОД, можно ожидать значительные инвестиции в разработку более безопасных альтернатив.

Химические хладагенты, использующие гидрофторуглероды, вскоре также станут недоступны. В сложившейся ситуации многие эксперты сходятся во мнении о том, что будущее за хладагентами естественного происхождения вроде CO2. Однако и это решение не идеальное. Для использования двуокиси углерода, В частности, потребуются контуры циркуляции хладагента, которые могут выдерживать высокие значения давления.

Хотя CO2 не стоит рассматривать в качестве панацеи при решении проблем с охлаждением центров обработки данных, этот вариант отлично справляется с решением экологических задач и успешно применяется в коммерческих объектах на территории Европы и других регионов.