Погружение ради плотности: популярность иммерсионного охлаждения растет

Мы продолжаем рассказывать о проектах, предполагающих крупномасштабную реализацию концепции иммерсионного охлаждения серверов. Буквально на днях вы могли ознакомиться со статьями, повествующими об очередных успехах Iceotope и Green Revolution Cooling в данной сфере. Теперь предлагаем вашему вниманию информацию о проектах небезызвестной компании 3M и ряда других сотрудничающих с ней вендоров.

Разработанная инженерами 3M технология погружения в открытый резервуар (Open bath immersion; OBI) является примером пассивной двухфазной системы охлаждения, которая использует кипение жидкости для отвода тепла от поверхности чипов, после чего хладагент конденсируется и может использоваться повторного (и все это работает без насоса). Серверы погружаются в непроводящий электричество жидкий хладагент 3М Novec с очень низкой температурой кипения, который легко конденсируется из газа обратно в жидкость. Технология OBI, о которой мы рассказывали в мае этого года после завершения выставки-конференции Data Center World 2013, в настоящее время используется в нескольких действующих ЦОД. Вот краткий обзор некоторых из этих проектов.

Allied Control

Гонконгская компания Allied Control специализируется на разработке систем охлаждения, оптимизированных для высокоплотных вычислительных платформ. В основе ее решений лежат вышеописанный хладагент Novec 3М и концепция OBI. Недавно компания развернула на объекте своего клиента в Гонконге систему высокопроизводительных вычислений (HPC) на 500 кВт с подобной СЖО, которая именуется Immersion-2. Это решение использует стандартные 19-дюймовые монтажные стойки, которые были переоборудованы для разрешения OBI0совместимых резервуаров.

Вся система была развернута менее чем за шесть месяцев. Представители Allied Control говорят, что коэффициент эффективности использования энергии (Power Usage Effectiveness; PUE) этой вычислительной системы составляет всего 1.02 единицы, что сделает ее одной из самых эффективных в мире. И это несмотря на то, что для Гонконга характерен жаркий и крайне влажный климат. Объект расположен на одном из этажей высотного здания и сопоставим по размерам со стандартным транспортным контейнером.

Разработчикам гонконгский HPC-системы удалось минимизировать ее энергопотребление благодаря пассивной двухфазной системе иммерсионного охлаждения на базе концепции OBI и охлаждающей жидкости 3М от Novec. (Фото: Allied Control)

По словам представителей Allied Control, использование монтажных стоек для организации системы охлаждения погружением сопряжено с множеством трудностей, касающихся общей массы IT- и вспомогательного оборудования.

Эти стойки заполнены герметичными резервуарами, содержащими серверы с высокой плотностью размещения компонентов, которые погружены в охлаждающую жидкость. Вычислительная система находится внутри одной из высоток Гонконга. Инженеры Allied Control решили охлаждать серверы с помощью жидкости Novec от компании 3М. (Фото: Allied Control)

«Наш клиент решил перейти на иммерсионное охлаждение ради более рационального использования ресурсов и внедрения высокоплотных серверных систем. Но при увеличении плотности IT-системы общая масса устройств внутри монтажной стойки стандартных размеров оказывается крайне высокой, в результате чего возникают некоторые проблемы инженерного характера «, сказал вице-президент Allied Control по проектированию новых систем и техническому контролю Алекс Кампл.

«К счастью, мы смогли сделать IT-систему легче, удалив из стоек все элементы стандартных систем воздушного охлаждения. Недавно мы наладили партнерские отношения с производителем стоек, и инженеры этой компании выразили готовность помочь нам при проектировании герметичных резервуаров, позволяющих использовать концепцию иммерсионного охлаждения», отметил Кампл.

Проба пера

Самый первый проект Allied Control в области иммерсионного охлаждения также предполагал оптимизацию температурного режима HPC-решения. Первая система охлаждения погружением, созданная инженерами гонконгской компании, получила названием Immersion-1. В настоящее время она используется для оптимизации температурного режима уникального суперкомпьютера, состоящего из программируемых вентильных матриц (FPGA), представляющих собой полупроводниковые устройства, которые могут быть сконфигурированы после изготовления.

Машина состоит из 6048 чипов FPGA, включающих 890 млн. логических ячеек. При этом вычислительные узлы с этими чипами размещены внутри 24 герметичных резервуаров. Представители компании Allied Control утверждают, что для достижения сопоставимой производительности при использовании стандартных серверных компонентов и воздушного охлаждения элементы HPC-решения пришлось бы размещать внутри 200 стоек, и состояло бы оно из 8500 двухпроцессорных серверов высотой в 1U с чипами Xeon.

Так выглядят стоечные резервуары с хладагентом изнутри. Тепло от десятков серверов вызывает закипание жидкости Novec. Пар охлаждается, когда достигает конденсора в верхней части резервуара, а затем образовавшаяся жидкость используется повторно. (Фото: Allied Control)

«Система Immersion-1 стала прототипом. Эта опытно-экспериментальная установка помогла нам доказать жизнеспособность концепции иммерсионного охлаждения высокоплотных вычислительных систем нового поколения. Программируемые пользователем вентильные матрица использовались в связке со специальным оптимизированным приложением, позволяющим выйти на максимальную производительность и загрузку системы, поэтому эти FPGA-чипы выделяли гораздо больше тепла, чем стандартные аналоги. Благодаря переходу на технологию охлаждения погружением нам удалось избавиться от необходимости частого искусственного снижения производительности чипов на несколько секунд по причине перегрева, как это происходит в системах со стандартным воздушным охлаждением «, говорится на сайте Applied Control.

Отметим, что инженеры компании Applied Control также разработали механизм адаптации сопроцессоров Intel Xeon Phi для применения в системах высокопроизводительных вычислений с иммерсионным охлаждением. Кроме того, вендор заинтересован в дальнейшем развитии проекта путем адаптации своей технологии для карт-расширения форм-фактора DFF (Dense Form Factor), продвигаемого Intel.

«Технология OBI находится на ранней стадии своего развития, но я уверен, что за ней будущее, и очень скоро мы станем свидетелями ускоренного развития систем иммерсионного охлаждения», сказал Кампл. «К сожалению, в настоящее время мы тратим слишком много драгоценного времени на удаление всех ненужных компонентов из аппаратного обеспечения, изначально создававшегося для работы в связке с системами воздушного охлаждения. Я надеюсь, что проектировщики вычислительных систем корпоративного класса в будущем будут уделять все больше внимания адаптированному для иммерсионного охлаждения аппаратному обеспечению вроде карт DFF «.

3M

Команда инженеров 3M, которые разработали технологию погружения в открытый резервуар, в настоящее время работает над адаптацией этого механизма для суперкомпьютерных систем, чтобы доказать эффективность данной концепции. На официальной странице компании в соцсети Facebook говорится буквально следующее: «Мы строим небольшой суперкомпьютер на основе самого современного оборудования, которое обычно используется в связке с системой жидкостного охлаждения». Система, о которой идет речь, имеет высоту в половину стойки (21U) и может вместить до 144 процессоров Intel (Sandy Bridge). Инженеры 3M создали уникальных резервуар, для размещения вычислительных узлов и обеспечения циркуляции по ним жидкости Novec, а также небольшую градирню для поддержки системы:

Созданная по спецзаказу сухая градирня, которая используется для охлаждения высокоплотной суперкомпьютерной системы 3M. (Фото: 3M)

3M начал создавать собственный суперкомпьютер, чтобы продемонстрировать своим текущим пантерам и потенциальным клиентам потенциал хладагента Novec и технологии OBI, надеясь подогреть интерес к своим продуктам, как со стороны конечных пользователей, так и со стороны поставщиков оборудования.

«Нам было довольно сложно развивать данный проект «, сказал специалист 3M Electronic Markets Фил Тума, который в свое время прижимал участие в разработки системы охлаждения OBI. «До настоящего времени все попытки продвижения технологии OBI среди крупных OEM-вендоров (за одним исключением) оказывались пустой тратой времени. Все они не готовы к резким переменам. Поэтому в начале 2013 года мы решили переключиться на менее крупные, но более гибкие компании, специализирующиеся на разработке и производстве HPC-решений, которые заинтересованы в дифференциации своего бизнеса. Тогда же было принято решение и о создании демонстрационного мини-суперкомпьютера «.

Тума сказал, что в данный момент 3M работает с вендором Cirrascale, который занимается разработкой вычислительных узлов для HPC-систем, а также с компанией Elliptical Mobile Solutions, разрабатывающей модульные мини-ЦОД. Оба эти вендора выразили заинтересованность во внедрении в свои продукты технологии OBI.

Проекты американских ученых

Исследователи из Национальной лаборатории им. Лоренса в Беркли (США) также разрабатывают вычислительную систему, для охлаждения которой будут применяться хладагент Novec и концепция OBI. Помогает им в этом поставщик оборудования для технических расчетов SGI.

Ученые и инженеры создают систему охлаждения погружением для небольшого суперкомпьютера, который будет использоваться специалистами Научно-исследовательской лаборатории ВМС США (Naval Research Laboratory; NRL). Проект финансируется в рамках Программы сертификации технологий в области экологической безопасности (Environmental Security Technology Certification Program; ESTCP), организованной Минобороны североамериканского государства. LBNL и SGI хотят создать машину на базе системы SGI IceX с иммерсионным охлаждением и 144 процессорами Intel Xeon (SandyBridge).