Иммерсионное охлаждение серверов набирает популярность

Ресурс Quartz со ссылкой на представителей компании Green Revolution Cooling сообщает, что в ближайшие несколько месяцев две очень крупные интернет-компании объявят о планах по переводу части своих дата-центров на иммерсионное охлаждение. В июне или июле этого года стартуют демонстрационные проекты, в ходе которых операторы ЦОД погрузят серверы в минеральное масло. Предполагается, что в масштабах относительно крупного дата-центра подобный шаг поможет добиться существенного снижения расходов на электроэнергию. Назвать конкретные компании представители Green Revolution Cooling отказались, ссылаясь на требования соглашений о конфиденциальности (NDA), но подчеркнули, что речь идет, как минимум, о “двух компаниях, владеющих сотнями тысяч серверов”. Это интернет-гиганты уровня Facebook, Amazon и AT&T.

В машзалах дата-центров, данные о месторасположении которых появятся во второй половине года, рядом с мешками соли, которая используется при эксплуатации установки для умягчения воды, будут находиться наполненные минеральным маслом емкости высотой около метра. В этих емкостях будут покоиться серверные материнские платы и прочая электроника, мигая крошечными LED-чипами, как неведомые биолюминесцентные существа из океанской бездны.

Внутри резервуаров будут размещены очень длинные ряды матплат, напичканных оперативной памятью, процессорами, жесткими дисками и кабелями, – аналогичную картину можно наблюдать в серверных стойках любого традиционного центра обработки данных. Там электроника зачастую охлаждается с помощью обычного воздуха, циркулирующего внутри механической системы охлаждения, которая начинается с гигантской системы кондиционирования воздуха и заканчивается маленьким вентилятором в стойке.

Обманчиво простая система иммерсионного охлаждения от Green Revolution Cooling. Фото: Green Revolution Cooling

Представители Green Revolution Cooling сообщили, что клиентами компании стали провайдеры облачных сервисов, названия которых уже стали «нарицательным». На самом деле таких компаний не так уже и много. На ум сразу же приходят VMWare, Microsoft, Salesforce, Rackspace, Amazon и IBM. Кроме того, отмечается, что вендор параллельно проводит тестирование своих систем охлаждения совместно с крупнейшими социальными сетями (Facebook или Twitter?) и известными американскими телекоммуникационными компаниями (AT&T или Terremark Verizon?).

Технология иммерсионного охлаждения длительное время оставалась прерогативой только самых важных вычислительных платформ — где цена не имеет особого значения (суперкомпьютерные кластеры военных или дата-центры на Уолл-стрит, где даунтайм в тысячные доли секунды может стоит миллионы долларов). Если озвученная выше информация правдива, то тот факт, что компании уровня Microsoft, Amazon и IBM всерьез рассматривают возможность масштабного перехода на иммерсионное охлаждение серверов, демонстрирует, насколько нерациональной является инфраструктура современных ЦОД. Это также показывает, что компании хотят размещать оборудование в местах, которые ранее считались непригодными для этих целей. Интернет-гиганты хотят постепенно уменьшить свою зависимость от огромных вентилируемых здания, в которых в настоящее время располагаются вычислительные системы и системы хранения данных.

Пещера с климат-контролем для нежных кремниевых цветов

Сторонники систем жидкостного охлаждения утверждают, что даже самые высокоэффективные дата-центры, построенные Google и Facebook, можно сделать более дешевыми в эксплуатации. Фото: Google / Конни Чжоу

Современный дата-центр напоминает инкубатор для экзотических видов растений, которые могут нормально развиваться только при поддержании температуры в узком диапазоне, а также не совсем хорошо переносят пыль. Внутри машзала ряд за рядом высятся серверные стойки, которые представляют собой своего рода высокопроизводительные ПК, лишенные корпусов и ненужных компонентов. Стойки располагаются бок о бок, но при этом между ними достаточно места для обеспечения беспрепятственной циркуляции потоков воздуха. Внутри стоек для защиты от пыли поддерживается избыточное давление.

Когда все эти микросхемы работают, почти вся поступающая в них электроэнергия в процессе вычислений преобразуется в тепло. Тепловыделение вычислительной электроники в последнее время стало крайне актуальной проблемой. Приведем самый очевидный пример: большая часть стоимости нового дата-центра в настоящее время приходится на проектирование и создание системы воздушного охлаждения серверов. Еще одна солидная сумма тратится непосредственно на сами серверы, которые с каждым годом становятся все более дешевыми, но при этом их все сложнее охлаждать. В некоторых дата-центрах шум вентиляторов и кондиционеров, необходимых для достаточно быстрого перемещения воздушных масс через серверные стойки, настолько высокий, что технические специалисты должны использовать средства защиты слуха (звукоизоляционные наушники). На данном этапе ЦОД потребляют порядка 2% гарнируемой во всем мире электроэнергии. Они расходуют в 50 раз больше электроэнергии по сравнению с офисными зданиями сопоставимых размеров.

Сокращение стоимости строительства ЦОД в 2 раза и уменьшение затрат на охлаждение на 80%

В Университете Лидса тепло от стойки серверов Iceotope с жидкостным охлаждением передается в радиатор, который отапливает лабораторию всю зиму. Фото: Iceotope

Многие компании проектируют и продают системы жидкостного охлаждения, в том числе и Green Revolution Cooling. К числу перспективных брендов также относятся Iceotope, Liquid Cool, Asetek и Coolcentric. Все эти компании используют одну и ту же концепцию, которая основана на простых физических принципах. Жидкости плотнее воздуха, и поэтому они лучше справляются с ролью теплоприемника. Различаются лишь типы жидкостей, которые выбирают разные компании (от воды до минерального масла и более экзотических химических веществ), а также методы перемещения жидкостей и удерживания хладагента отдельно от электроники, где это необходимо.

Например, в системе Asetek в качестве теплосъемников используются специальные металлические водоблоки. Эти водоблоки крепятся непосредственно к горячим частям сервера. Через них циркулирует вода, отводя излишнее тепло. Подобная концепция предполагает необходимость использования множества трубопроводов и насосов. Кроме того, вся система должна быть предельно точно спроектирована и выполнена для предотвращения утечек.

Еще одним интересным продуктом являются серверы Iceotope, которые находятся в герметичных алюминиевых корпусах, заполненных до краев жидким хладагентом Novec от 3М. Novec имеет низкую вязкость, поэтому нагревание хладагента приводит к образованию естественных конвекционных потоков. То есть хладагент циркулирует внутри герметичного корпуса сервера, передавая тепло теплосъемнику на внешней стороне корпуса, через который циркулирует уже вода. Контур с водой, в свою очередь, можно подключить к отопительным приборам или к градирне. Novec кипит при относительно низкой температуре. Это означает, что в случае разгерметизации корпуса из-за трещины жидкость будет быстро испаряться, попадая в наружное пространство.

Нужно отметить, что низкая температура кипения Novec заставила специалистов 3M поэкспериментировать с использованием данного хладагента для охлаждения компьютеров путем его выпаривания и повторной конденсации — как в холодильнике.

Разработка Green Revolution Cooling отличается относительно низким уровнем внедрения передовых технологий, из-за чего она резко контрастирует с решениями конкурентов. Все, что нужно для работы этой системы охлаждения в данном случае сводится к большим открытым резервуарам для материнских плат, насосами для перекачки масла и теплообменникам. Для справки, минеральное масло не вредят элементам сервера – оно является плохим проводником электричества. Поэтому масло может свободно циркулировать рядом с микросхемами. Следовательно, единственным компонентом системы охлаждения, который может отказать, является насос.

Чтобы успешно расти и развиваться в будущем, всем этим фирмам необходимо преодолеть один известный барьер, мешающий массовому внедрению систем жидкостного охлаждения, — нужно понизить их стоимость. Следует отметить, что Asetek продает больше СЖО, чем любая другая компания. Согласно данным вендора, продано уже более 1.3 млн. систем жидкостного охлаждения марки Asetek. И все благодаря раннему выходу на рынок и коммерческому успеху решений для игровых ПК и рабочих станций. Теперь компания расширила спектр своих интересов и вышла в сегмент серверного оборудования. Ее маркетологи утверждают, что благодаря экономии энергии клиенты могут вернуть инвестиции в системы жидкостного охлаждения Asetek в течение 12 месяцев. Конечно, такие расчеты во многом зависят от стоимости энергии в конкретном регионе. К примеру, данный показатель сильно варьируется между США и Европой. Но в целом результат впечатляет.

Тем не менее, несмотря на тот факт, что Asetek и является лидером рынка СЖО для ЦОД, ее ключевыми клиентами на сегодняшний день являются по большей части научно-исследовательские учреждения и операторы высокопроизводительных кластеров (т.е. суперкомпьютеров), всевозможные лабораторий и объекты Министерства обороны США. Представители Asetek отмечают, что вендор на данном этапе еще не занимается продажей своих решений компаниям вроде Amazon. Очевидно, что все снова упирается в цену. Тем не менее, компания работает над снижением стоимость своих продуктов, чтобы в один прекрасный день они могли стать доступными для операторов и владельцев рядовых ЦОД.

Именно это и делает новость от Green Revolution Cooling такой интересной. Гиганты облачных вычислений, о которых говорят представители вендора, представляют собой компании с крупными дата-центрами, которые всеми правдами и неправдами стремятся минимизировать затраты. Если они — после общения с конкурентами, учеными, инженерами и прочими специалистами из смежных областей — переходят на системы охлаждения от Green Revolution Cooling, то напрашивается один вполне очевидный вывод: именно эти продукты позволяют сэкономить больше всего денег.

Маркетологи вендора отмечают, что продукция Green Revolution Cooling позволяет сократить первоначальные затраты на строительство дата-центра в два раза за счет устранения необходимости в проектировании и развертывании систем кондиционирования воздуха, а также других специализированных элементов охладительной инфраструктуры (например, фальшпола). Но если отбросить первоначальную стоимость в сторону, можно вспомнить, что практически все системы жидкостного охлаждения позволяют клиентам сэкономить деньги на счетах за электроэнергию. Недавние испытания системы Iceotope, построенной инженерами из Университета Лидса, показали, что для ее нормального функционирования требуется на 80% — 97% меньше электроэнергии, чем в случае использования воздушного охлаждения для поддержания нормального температурного режима в сопоставимом количестве серверов. Специалисты из Университета Лидса также отмечают, что благодаря жидкостному охлаждению можно ощутимо уменьшить размеры дата-центра, так появляется возможность минимизировать пространства для циркуляции воздуха между серверами.

Будущее за вычислительными системами с жидкостным охлаждением?

Эти резервуары с минеральным маслом можно разместить где угодно – лишь бы был доступ к электроэнергии и каналам связи. Фото: Green Revolution Cooling

Нужно отметить, что информация по некоторым проектам с участием Green Revolution Cooling уже стала достоянием общественности. К примеру, система иммерсионного охлаждения данного вендора используется в Центре суперкомпьютерных вычислений TACC (Texas Advanced Computing Center) при Техасском университете в Остине. Система размещена и успешно эксплуатируется в грязных и пыльных складских помещениях. В то время как в расположенном рядом ЦОД с фальшполами и кондиционерами размещаются привычные высокопроизводительные серверы, которые занимают старомодные стойки. Иными словами, для работы продукта Green Revolution Cooling нужен только плоский пол, крыша и электроэнергия.

Конечно, речь идет о пока еще только зарождающейся индустрии. Несмотря на перспективность технологии и влиятельных потенциальных клиентов, Green Revolution Cooling до сих пор остается всего лишь небольшим стартапом. В штате компании всего 13 сотрудников, которые занимаются проектированием новых систем. Сборка и доставка продуктов возложена на плечи аутсорсеров. Но если компания решит лицензировать свои наработки, а не продавать готовое оборудование, ее размер не будет иметь абсолютно никакого значения. Покупателями, в частности, могут выступать компаний вроде Google, Facebook и Amazon, для которых индивидуальный дизайн дата-центров и даже серверов является важным конкурентным преимуществом. Возможно, облачные гиганты предпочтут не покупать готовые продукты, а адаптировать эту технологию под свои собственные запросы, после чего просто заплатят изобретателям за эту возможность.