Вскоре все секреты американских разведчиков будут храниться на погруженных в жидкость серверах. Агентство национальной безопасности США (АНБ) изучает возможность использования систем иммерсионного охлаждения IT-оборудования в своих огромных центрах обработки данных. Инженеры ведомства хотят погружать серверов в резервуары с охлаждающей жидкостью наподобие минерального масла. Представители АНБ отметили, что данная технология имеет огромный потенциал и способна резко сократить расходы на эксплуатацию ЦОД.

“Лаборатория для физических наук (LPS), действующая в составе Агентства национальной безопасности США, приобрела и установили систему охлаждения серверов погружением на основе минерального масла еще в 2012 году, чтобы оценить все плюсы и минусы этой технологии. Охлаждение вычислительного оборудования с помощью погружения его в резервуары с минеральным маслом действительно способно существенно снизить затраты на эксплуатацию IT-оборудования. Мы ожидаем, что этот метод в перспективе позволит в два раза сократить стоимость эксплуатацию будущих дата-центров “, говорится в пресс-релизе американского ведомства.

Любая возможность сократить расходы на эксплуатацию ЦОД определенно представляет интерес для руководства АНБ, которое потратило более $ 1.5 млрд., чтобы построить огромный дата-центр в Блаффдейле, штат Юта (США) (площадь этого ЦОД приближается к отметке в 100 тыс. квадратных метров). Вот почему инженеры ведомства протестировали технологию иммерсионного охлаждения серверов, разработанную американской компанией Green Revolution Cooling.

Жидкостное охлаждение в основном используется в системах для высокопроизводительных вычислений (HPC), требующих развертывания вычислительных узлов с высокой плотностью размещения компонентов. Обеспечивать нормальный температурный режим подобного IT-оборудования с использованием стандартных систем воздушного охлаждения крайне проблематично. Интерес к жидкостному охлаждению со стороны обычных корпоративных клиентов в последнее время постоянно растет, поскольку для обслуживания все большего числа приложений и интернет-сервисов требуются высокомощные конфигураций IT-решений с повышенной плотностью размещения компонентов. Это заставляет операторов корпоративных дата-центров обращать внимание на вспомогательную инфраструктуру, использование которой ранее ограничивалось исключительно HPC-решениями и суперкомпьютерными системами.

Дата-центры в масштабе

Представители АНБ отмечают, что огромный дата-центр ведомства в штате Юта, а также аналогичный ЦОД, строящийся в настоящее время вблизи Балтимора, штата Мэриленд (США), будут использоваться для защиты национальной безопасности североамериканской страны и предоставления ее властям инструментов для предупреждения и борьбы с киберугрозами. Но несмотря на эти заверения, рассматриваемые дата-центры агентства уже успели стать объектами критики со стороны самих американцев после раскрытия информации о тайной программе АНБ по сбору данных о простых обывателях.

Известно, что пиковая мощность ЦОД в штате Юта будет составлять 65 мегаватт, что делает его весьма энергозатратным. Объект, расположенный рядом с тренировочным центром Национальной гвардии США Кэмп Уильямс, может похвастать площадью машзалов на уровне 10 тыс. квадратных метров, в то время как остальные 90 тысяч квадратных метров полезного пространства внутри дата-центра используется для размещения вспомогательного оборудования и выступают в качестве офисных площадей.

Вид с воздуха на дата-центр АНБ в штате Юта. (Фото: Electronic Frontier Foundation и Wikimedia Commons)

Представители компании Green Revolution Cooling говорит, что создаваемые вендором резервуары со специальной жидкостью могут эффективно охлаждать высокоплотные серверные системы при многократном снижении затрат на электроэнергию по сравнению со стоимостью эксплуатации систем воздушного охлаждения в традиционном дата-центре. Подход компании позволяет пользователям управлять температурным режимом серверов без фальшпола, систем кондиционирования воздуха для машзала (Computer Room Air Conditioning; CRAC) или чиллеров. Резервуары, созданные инженерами Green Revolution Cooling, называются CarnotJet. Каждый из них заполнен 946 литрами (250 галлонов) жидкого диэлектрика. Серверы размещается в резервуарах вертикально, устанавливаясь на специальные направляющие. Температура охлаждающей жидкости поддерживается на нужном уровне с помощью насоса, который подает минеральное масло на теплообменник. Последний сообщается со стандартным водяным контуром.

Недавно лидер полупроводниковой индустрии Intel завершил тестирование системы охлаждения IT-оборудования погружением с помощью систем Green Revolution Cooling. Тест длился год. Представители чипмейкера подтвердили, что данная технология является весьма эффективной и в полной мере безопасной для серверов. Наиболее свежие проекты Green Revolution Cooling включают создание системы охлаждения для наиболее энергетически эффективного суперкомпьютера в мире Tsubame 2.0, а также поставку оборудования по заказу компании CGG, которая специализируется на моделировании и разведке запасов энергоносителей.

Преимущества минерального масла

Минеральное масло уже относительно давно используется разработчиками систем иммерсионного охлаждения, потому что оно не опасно для электроники (не проводит электрический заряд) и передает тепло почти так же хорошо, как вода.

“В то время как минеральное масло не дотягивает в плане теплоемкости до воды, оно по-прежнему удерживает более чем в 1000 раз больше тепла, чем воздух”, пишет Дэвид Пракнал из Департамента передовых вычислительные системы при Министерстве обороны США.

Основное преимущество жидкостного охлаждения заключается в том, что оно способно поддерживать значительно более высокую плотность мощности, чем воздушное охлаждение. Представители АНБ заявили, что системы охлаждения погружения могут поддерживать нагрузки до 30 кВт на стойку без специальных инженерных доработок, тогда как в случае воздушного охлаждения потолок – от 10 кВт до 15 кВт из расчета на одно монтажную стойку.

Четыре резервуара с погруженными в жидкий хладагент серверами в машзале компании дата-центр CGG в Хьюстоне, штат Техас (США). (Фото: Рич Миллер)

Охлаждение погружением также позволяет избавиться от вентиляторов, которые являются стандартными комплектующими в случае большинства коммерческих серверов и поддерживают надлежащую вентиляцию в корпусах серверов, потребляя около 10 процентов от общего количества подаваемой на эти машины электроэнергии.

Пракнал обнаружил, что технология охлаждения погружением также позволяет добиться уменьшения количества отказов оборудования путем поддержания равномерной температуры на поверхности всех серверных компонентов, а также путем минимизации негативного воздействия от пыли и грязи, которые в случае обычных ЦОД с воздушным охлаждением нагнетаются в корпуса серверов вместе охлажденным воздухом.

“Еще одним побочным эффектом внедрения систем иммерсионного охлаждения серверного оборудования является тишина. Погружные в хладагент системы не издают практически никакого шума. Это не то преимущество, которым можно пренебречь, так как в машзалах многих современных дата-центров с воздушным охлаждением шумовое загрязнение находится около допустимого предела безопасности или превышает его, что заставляет операторов ЦОД использовать специальные шумопоглощающие наушники для защиты органов слуха “, пишет Пракнал

Тяжелые стойки

Одной из потенциальных проблем является вес резервуаров, используемых системах охлаждения погружением. Пракнал пишет, что стойка Green Revolution Cooling, наполненная серверами и охлаждающей жидкостью может весить около 1.6 тонн (или 3300 фунтов). Но при этом возможность экономии на эксплуатационных расходах в будущем перевешивает неудобства, вызванные необходимостью вложения дополнительных средств в укрепление пола.

“В случае крупных и мощных дата-центров, где общая нагрузка находится на уровне 60 МВт, стоимость строительства может достигать одного миллиарда долларов США. При этом около 500 миллионов долларов тратятся на инфраструктуру охлаждения такого дата-центра. Поскольку системы охлаждения серверного оборудования погружения не требуют чиллеров, блоков CRAC, фальшпола, вентиляторов и иных систем регулирования температуры и влажности, они позволяют добиться существенного сокращения капитальных расходов по сравнению с ЦОД, которые оборудуются воздушным охлаждением. Иммерсионное охлаждение может позволить осуществлять больше вычислений, используя меньше электроэнергии и вспомогательной инфраструктуры. В текущий период финансовой неопределенности это отличный вариант, так как он позволяет сделать больше с меньшими затратами “, подытожил эксперт.