Плотность мощности IT-оборудования внутри монтажных стоек во многих серверных фермах за последнее десятилетие увеличилась кратно. В отчете отраслевой организации AFCOM о состоянии центров обработки данных (AFCOM State of the Data Center Report) восьмилетней давности отмечалось, что средняя плотность мощности в стойках внутри ЦОД участников соответствующего опроса составляла 6,1 кВт. В отчете за 2024 год респонденты указали, что средняя плотность мощности оборудования внутри стоек увеличилась до 12 киловатт.

Рост впечатляет. Но этого все еще недостаточно. Большинство респондентов (60%) активно работают над увеличением плотности мощности оборудования. Более половины (53%) участников опроса считают, что новые рабочие нагрузки, связанные с генеративным ИИ (искусственный интеллект), “определенно” повысят мощность ЦОД.

Революция в области искусственного интеллекта требует все больше вычислительных мощностей, стимулируя инвестиции во вспомогательную инфраструктуру ЦОД. Чтобы удовлетворить спрос без ущерба для надёжности и чрезмерных эксплуатационных расходов, проектировщикам, владельцами и операторам ЦОД приходится внедрять все более совершенные системы охлаждения серверов.

Благо, профильные вендоры активно расширяют ассортимент за счет принципиально новых решений и усовершенствованных версий уже представленных ранее продуктов. К ним присоединяются непрофильные корпорации вроде Intel и Meta, которые проводят и финансируют совместные исследования вследствие заинтересованности в дальнейшем росте индустрии ЦОД за счет обмена передовым опытом. Справедливость этих утверждения доказывает свежий отраслевой дайджест.

Meta и Google модифицируют системы охлаждения ЦОД для улавливания CO2 из воздуха

Корпорация Meta разрабатывает технологию прямого захвата двуокиси углерода (CO2) из воздуха, которая будет работать за счет модифицированной системы охлаждения серверов в ЦОД. Модификация заключается в добавлении модулей рекуперации излишков тепловой энергии, генерируемой серверами. Тепло будет применяться для улавливания CO2. Инженеры Meta планируют в будущем использовать эту технологию во всех ЦОД корпорации для снижения углеродного следа вычислительной инфраструктуры.

Аналогичным проектом занимается команда инженеров X Development (дочерняя компания Alphabet / Google), которая уже подала заявку на соответствующий патент. Обе корпорации вели работу в этом направлении уже несколько лет, но втайне. Первая информация о проектах Meta и X Development появилась только в апреле 2024 года.

По данным инсайдеров, Meta начала работу над соответствующим проектом примерно в 2021 году. В том же году ее инженеры спроектировали, построили и начали эксплуатацию прототипа механизма для удаления двуокиси углерода из воздуха, интегрированного в систему охлаждения ЦОД. Тепло дата-центра применялось для регенерации сорбента (материал, который либо поглощает, либо адсорбирует жидкости или газы – в данном случае углекислый газ). Велись эксперименты с жидкими и твердыми сорбентами.

Как только сорбент улавливает CO2 из воздуха, его нагревают, чтобы высвободить двуокись углерода в резервуар, который затем можно хранить в другом месте. Официальные представители Meta отказались комментировать этот проект, но подтвердили, что работа ведется.

О проекте X Development известно меньше. Компания подала заявку на патент, который “описывает методы и системы улавливания углекислого газа из воздуха с использованием излишков тепла, возникающего в ходе промышленного процесса”. В заявке упоминается “тепло, полученное или генерируемое в дата-центре”. Это тепло “используется в сочетании с одним или несколькими узлами тепловых насосов для отделения уловленного диоксида углерода от твердого или жидкого материала, в котором он находится”.

Журналисты обнаружили патент в 2024 году, хотя он был опубликован в 2023 году, а заявка была подана двумя годами ранее. Компания Alphabet не ответила на запросы о комментариях, и неясно, продолжаются ли исследования. Ряд инженеров, перечисленных в патенте, с тех пор ушли работать другие корпорации. Например, в Amazon.

Излишки тепла ЦОД повторно используется для самых разных нужд: от ферм по выращиванию омаров и угрей до подогрева плавательных бассейнов. Есть компании, которые подобно Мета и Х Development, надеются использовать его для улавливания двуокиси углерода из воздуха. Но есть проблема: большинство подходов к использованию сорбентов требуют высоких температур для высвобождения CO2. Это, в свою очередь, требует огромного количества энергии, при выработке которой может возникать значительный “углеродный след”.

В 2023 году стартап Spiritus представил сорбент, способный использовать низкотемпературное тепло (менее 100 ℃ / 212 F). Это дает большие преимущества, поскольку не нужно использовать дополнительную энергию для создания пара (т.е. не требуется кипящая вода). Интересно, что в команде стартапа трудятся бывшие инженеры Meta. По расчетам Spiritus, обычно устанавливать CO2 имеет смысл в ЦОД, генерирующих излишки тепловой энергии на уровне эквивалентном 20–50 МВт.

OVHcloud переводит в открытый доступ фирменные технологии водяного охлаждения ЦОД

Поставщик облачных хранилищ OVHcloud выпустил в открытый доступ спецификации на два устройства, которые, по утверждениям представителей компании, повышают эффективность системы охлаждения дата-центра. Первая схема относится к клапану ручного управления. Вторая – к шариковому расходомеру (с 3 шариками). Расходомеры регулируют объем охлаждающего агента, необходимый для обслуживания серверной стойки, и, как правило, на каждую стойку с СЖО устанавливается как минимум один такой прибор.

По утверждениям инженеров OVHcloud, шарики обеспечивают сопротивление потоку воды, гарантируя точное измерение его интенсивности (в литрах в минуту), а регулирующий клапан позволяет техническим специалистам напрямую контролировать поток через систему жидкостного охлаждения.

Хотя аналоговые решения на бумаге могут показаться менее привлекательными, чем цифровые и автоматизированные альтернативы, в OVHcloud утверждают, что ее схемы позволяют создавать более дешевые в обслуживании и эксплуатации, а также более эффективные устройства в силу их простоты. В компании ничего не сообщили об ориентировочной стоимости устройств на базе фирменных спецификаций, но отсутствие автоматизации или запорной арматуры должно несколько снизить ценник.

Производитель фарфора Maruwa укрепляет позиции на рынке теплоотводящих подложек

Компания Maruwa со штаб-квартирой в Аити (Япония), которую раньше практически игнорировали эксперты по ценным бумагам, теперь может похвастать капитализацией в $2,75 млрд и статусом объекта пристального внимания со стороны рыночных аналитиков. В частности, банкиры из Goldman Sachs опубликовали многостраничный отчет, посвященный инвестиционному потенциалу Maruwa. Причина? Укрепление позиций японской компании на рынке компонентов для систем жидкостного охлаждения ЦОД.

Располагая двухсотлетним опытом в гончарном деле, японский производитель керамики, ранее специализировавшийся на изысканных арт-объектах и посуде из фарфора, теперь помогают операторам ЦОД снизить нагрузку на системы охлаждения.

Акции Maruwa, которая доминирует на мировом рынке специализированных изделий из керамики, за последний год выросли почти вдвое и подскочили до рекордного максимума в начале апреля 2024 года. Компания, некогда известная изысканными блюдами, используемыми на традиционных японских банкетах, впервые занялась этим бизнесом в начале эпохи японского “экономического чуда” в 60-е.

Сегодня ее профильное подразделение производит керамику для печатных плат и полупроводников, а также материалы для удаления тепла в электронике, работающей при очень высоких температурах, — как в серверных фермах и критически важных инверторных силовых модулях электромобилей.

По оценкам аналитиков Goldman Sachs, на Maruwa приходится 60% мирового рынка теплоотводящих подложек для оптических трансиверов/приемопередатчиков. Эксперты прогнозируют, что к 2027 году этот рынок вырастет до $12,3 млрд по мере повышения спроса на услуги ЦОД, связанные с искусственным интеллектом.

ExxonMobil и Intel объединились ради разработки жидких хладагентов для ЦОД

Нефтегазовая компания ExxonMobil начала сотрудничество с производителем полупроводниковых изделий Intel в рамках совместного проекта по разработке новых технологий жидкостного охлаждения для дата-центров. В частности, фирмы планируют совместно заниматься проектированием, тестированием, исследованием и совместной разработкой жидких хладагентов для энергоэффективной оптимизации температурного режима серверов в ЦОД. Новые хладагенты будут одобрены для использования с системами, построенными на базе чипов Intel с архитектурой x86.

Этот проект потенциально поможет корпоративным клиентам из числа владельцев дата-центров сократить выбросы и достичь своих целей в области энергоэффективности и минимизации углеродного следа. Переход на новые хладагенты, как ожидается, также приведет к значительной экономии водных ресурсов.

В октябре 2023 года компания ExxonMobil объявила о полноценном выходе на мировой рынок охлаждающих жидкостей для дата-центров, представив широкий ассортимент синтетических и несинтетических хладагентов для снижения температуры IT-оборудования в ЦОД. Выпуская на рынок свои охлаждающие жидкости, представители ExxonMobil заявили, что эти продукты могут снизить общую стоимость владения IT-оборудованием на 40% по сравнению с воздушным охлаждением, а также существенно повысить эффективность использования энергии (PUE) в ЦОД.

Компания ExxonMobil планирует и дальше расширять свой ассортимент с помощью Intel. Другие компании из нефтегазового сектора, включая Castrol и Shell, также стремятся закрепиться на рынке решений для охлаждения дата-центров, предлагая аналогичные линейки продуктов.

Carrier Ventures и Strategic Thermal Labs дорабатывают прямоконтактное охлаждение чипов

Carrier Global Corporation (венчурное подразделение компании Carrier, специализирующейся на системах охлаждения и силовом оборудовании, включая решения для ЦОД) объявила об инвестировании значительных средств в Strategic Thermal Labs (STL). Инвестиции – часть совместного проекта по разработки решений для жидкостного охлаждения серверов. Акцент делается на технологии прямоконтактного охлаждения микрочипов.

Условия сделки не разглашаются. Известно, что в результате инвестиций Carrier Global Corporation получит место в совете директоров STL, а также эксклюзивные права на новое решение, конкретные подробности которого также не разглашаются.

Ранее (в 2021 году) компания Carrier приобрела Nlyte, поставщика программного обеспечения для управления инфраструктурой центров обработки данных (DCIM). Это говорит о растущем внимании руководства Carrier к рынку ЦОД.

Accelsius демонстрирует двухфазную систему жидкостного охлаждения NeuCool

Компания Accelsius официально анонсировала новую двухфазную систему охлаждения серверов. Это стоечное решение. Новинка называется NeuCool. Техасская Accelsius была основана в 2022 году компанией Innventure LLC и занимается коммерциализацией технологий, разработанных финско-американской корпорацией Bell Labs Nokia.

Сообщается, что NeuCool может удалять свыше 1500 Вт из расчета на 1 вычислительный узел (с ЦП, графическими процессорами и прочими горячими компонентами). Тесты показали, что переход на эту систему позволяет снизить PUE дата-центра до 1,08.

Конструкция системы NeuCool предполагает установку охлаждающих пластин/испарителей непосредственно на чипах. Диэлектрический хладагент проходит через испарители, где он переходит в состояние пара, который затем поступает в блок распределения хладагента (CDU) и конденсируется обратно в жидкость, а затем возвращается в испаритель. Все это происходит в системе с замкнутым контуром.

Системы прямоконтактного охлаждения микрочипов (Direct-to-chip) обычно используют воду, которая имеет высокую теплоемкость, но Accelsius использует диэлектрический хладагент. Конструкция NeuCool позволяет этому хладагенту закипать в системе, чтобы удалять больше тепла.

Модульная конструкция NeuCool позволяет интегрировать это решение в уже эксплуатируемые дата-центры. Решение может устанавливаться в стандартные монтажные стойки размером от 42U до более 50U. В более старых системах с воздушным охлаждением радиаторы и вентиляторы заменяются испарителями NeuCool для CPU и GPU. Трубопроводы для пара и жидкого диэлектрика интегрируются заранее.

Технологии, лежащие в основе NeuCool, были приобретены у Bell Labs Nokia, где они разрабатывались в течение пяти лет, но так и не были коммерциализированы. Никто из сотрудников Bell Labs Nokia не переходил в штат Accelsius. Ранее Accelsius объявила о партнерстве с OptiCool для разработки безводных систем жидкостного охлаждения с удалением тепла непосредственно с кристалла микрочипа.

Nidec наращивает производство систем жидкостного охлаждения серверов

Базирующаяся в Японии компания Nidec планирует нарастить производство блоков распределения охлаждающей жидкости (CDU) в Таиланде с 200 до 2000 единиц в месяц к июню 2024 года. В системах охлаждения Nidec используется метод жидкость-жидкость. Блоки CDU подают охлаждающую воду через металлические трубки для охлаждения компонентов каждого сервера.

Продукция японцев может похвастать резервированием насосов, источников электроэнергии и других важных узлов, которые расположены попарно для повышения надежности системы. Эти блоки можно заменить даже во время технического обслуживания, не останавливая систему охлаждения, чтобы сервер продолжал работать (функция «горячей» замены).

Увеличение производства модулей водяного охлаждения для серверов – ответ на спрос со стороны ряда крупных вендоров, включая американского производителя серверов Supermicro. Японцы также сотрудничают с клиентами при создании уникальных решений. В частности, на их заводе в Аюттхая производятся блоки CDU мощностью от 100 до 250 кВт, разработанные совместно с Supermicro.

Учитывая, что рынок модулей водяного охлаждения, по прогнозам, продолжит расти, компания Nidec намерена в будущем дополнительно увеличить производственные мощности. В частности, интенсивность изготовления CDU планируется нарастить до более чем 3000 единиц в месяц.

Quanta Computer патентует уникальный кожух серверного вентилятора

Quanta Computer Inc. получила патент на кожух вентилятора, предназначенный для серверной системы. Заявку удовлетворило Ведомство США по патентам и товарным знакам (USPTO). Номер патента – US11927202B2. В документе описывается серверная система с уникальной конструкцией кожуха вентилятора, направленной на повышение эффективности охлаждения.

Серверная система содержит вентиляторный контейнер, в котором размещено множество охлаждающих вентиляторов, включая первый вентилятор и второй вентилятор. Оба устройства расположены таким образом, что первый вентилятор направляет воздушный поток ко второму вентилятору, который затем перемещает воздух к внешней поверхности вентиляторного контейнера.

Кожух вентилятора, соединенный с внешней поверхностью контейнера вентилятора, имеет корпус с цилиндрической внутренней поверхностью и уникальной формой, оптимизирующей путь воздушного потока. Корпус включает множество перегородок, которые радиально изогнуты, образуя вогнутые поверхности. Это улучшает динамику воздушного потока внутри кожуха.

NIST оптимизирует охлаждение компонентов квантовых компьютеров

Ученые из Национального института стандартов и технологий США (NIST) утверждают, что им удалось значительно сократить количество времени и энергии, необходимых для охлаждения материалов до температур, близких к абсолютному нулю. Прототип охладителя, созданный в ходе исследования, может оказаться полезен проектировщикам квантовых компьютеров, компоненты которых требуется охлаждать до соответствующих температур.

В основу прототипа легла модификация широко используемого охладителя с импульсной трубкой. Такие приборы циклически сжимают и расширяют газообразный гелий под высоким давлением. Они доказали свою надежность, но также считаются слишком энергозатратными: устройства потребляет больше электроэнергии, чем любой другой компонент типичного эксперимента со сверхнизкими температурами.

Сейчас NIST работает с неназванным промышленным партнером над коммерциализацией охладителя. При его разработке исследователи постоянно регулировали ряд клапанов, которые контролируют количество газообразного гелия, поступающего из компрессора. Ученые обнаружили, что постепенное закрытие отверстий клапанов по мере охлаждения позволяет сократить время охлаждения в два раза.

В настоящее время ученым при проведении экспериментов со сверхнизкими температурами приходится ждать день или больше, чтобы новые квантовые схемы остыли достаточно для проведения испытаний. Поскольку прогресс научных исследований может быть ограничен временем, необходимым для достижения криогенных температур, считается, что более быстрое охлаждение, обеспечиваемое новой технологией, может оказать значительное влияние на многие области.

Технология, разработанная командой NIST, также может позволить ученым заменить большие охладители с импульсной трубкой на гораздо меньшие по размеру аналоги. Исследователи, в число которых входят ученые из Университета Колорадо в Боулдере, описывают свой метод в статье, опубликованной 23 апреля 2024 года в журнале Nature Communications.

Исследование: владельцы 1/3 корпоративных ЦОД планируют внедрить СЖО к 2026 году

Согласно опросу 812 IT-специалистов, проведенному британским изданием The Register весной 2024 года, команды более трети корпоративных ЦОД (38,3%) планируют использовать ту или иную форму жидкостного охлаждения к 2026 году. Для сравнения: на начало 2024 года соответствующий ответ дали 20,1% респондентов.

Большинство респондентов назвали эту технологию наиболее полезной для высокопроизводительных вычислений (64,4%), размещения компонентов серверов в конфигурациях с высокой плотностью мощности (60,6%), а также для обслуживания рабочих нагрузок, связанных с искусственным интеллектом (46,2%).

Преимущества жидкостного охлаждения не ограничиваются возможностью эффективно обслуживать системы на базе искусственного интеллекта и платформы для высокопроизводительных вычислений. СЖО гораздо эффективнее удаляет генерируемое электроникой тепло, чем воздух.

Более того, 15-20% энергопотребления ЦОД можно напрямую отнести на счет вентиляторов, используемых для перемещения воздуха через серверные системы. Переход на жидкостное охлаждение, в зависимости от используемой технологии, в значительной степени устраняет необходимость в вентиляторах с высокой скоростью вращения крыльчатки. Это существенно снижает общее энергопотребление.

В сочетании с адаптивными алгоритмами повышения тактовых частот, присутствующими в большинстве современных процессоров, системы с жидкостным охлаждением также теоретически позволяет чипам работать быстрее, чем их собратья с воздушным охлаждением.

16,3% опрошенных заявили, что к 2026 году полностью перейдут на жидкостное охлаждение с прямым подключением к кристаллу, при котором радиаторы заменяются охлаждающими пластинами. Через эти пластины прокачивается теплая или охлажденная вода или иные охлаждающие жидкости. Для сравнения: 6,5% заявили, что планируют перейти на погружное охлаждение. Эта технология предполагает погружение всей системы либо в однофазные жидкости, такие как синтетические масла, либо в двухфазные жидкости, предназначенные для кипения при рабочей температуре чипов или около нее.

Около шестой части респондентов заявили, что планируют использовать в своих центрах обработки данных комбинацию охлаждающих пластин и погружного охлаждения. 61,7% заявили, что не планируют использовать ни одну из технологий в ближайшие два года.