Что замедляет массовый переход дата-центров на жидкостное охлаждение?

При всех очевидных преимуществах жидкостного охлаждения серверов, о которых мы неоднократно писали, СЖО, казалось бы, ужа давно должны были прочно обосноваться в большинстве современных центров обработки данных. Тем не менее, сочетание ряда недостатков и необходимость высоких капитальных расходов замедляют внедрение СЖО в индустрии ЦОД. Но сможет ли жидкостное охлаждение, независимо от конкретного типа, когда-нибудь полностью заменить воздушное в дата-центрах?

Оттенки зеленого

Поскольку системы охлаждения на основе жидких хладагентов, как правило, обеспечивают более высокий уровень энергоэффективности, чем системы воздушного охлаждения, они являются более выигрышными вариантами с экологической точки зрения за счет снижения общего количества электроэнергии, которая расходуется на запитку инфраструктуры ЦОД. Но операторов ЦОД в большинстве случаев больше заботит другой «зеленый» фактор: деньги. Дружественная к окружающей среде, но при этом не приносящая прибыль компания вскоре прекратит свое существование, а принадлежащие ей ЦОД превратятся в пустые здания. И вскоре эко-сознательную организацию заменит конкурент, который более рационально распоряжается финансовыми ресурсами.

Коротко о системах жидкостного охлаждения

Существует множество вариаций на тему СЖО, которые создавались с учетом определенных задач и рабочих условий. Первым шагом в сторону от простого воздушного охлаждения (через, к примеру, механический кондиционер для машзала или Computer Room Air Conditioner / CRAC) является использование жидкости в качестве теплоносителя при удалении излишнего тепла из камер обработки воздуха для машзалов (Computer Room Air Handler или CRAH) с помощью того или иного механизма в окружающую среду. Такая инфраструктура охлаждения может включать градирни, механические чиллеры или даже системы пассивного охлаждения с помощью наружного воздуха, который имеет более низкую температуру, чем циркулирующий в машзалах.

Еще одним шагом в сторону является перемещение охлажденной воды или иного жидкого хладагента к теплообменникам на уровне монтажной стойки или отдельного сервера, что уменьшает объем воздуха, который должен быть охлажден для достижения заданной температуры и защиты IT-оборудования от перегрева.

Но самым продвинутым вариантом жидкостного охлаждения серверов является погружение (иммерсионное охлаждение), которое позволяет избавиться от инфраструктуры доставки охлажденного воздуха и жидкого хладагента (например, от трубок, ведущих к отдельному серверу или даже процессору), позволяя охлажденной жидкости контактировать непосредственно с электроникой.

Преимущества охлаждения погружением огромны. По мнению экспертов TechTarget, технология иммерсионного охлаждения, которая предполагает использование резервуаров с минеральными маслом или другими промышленными диэлектрическими хладагентами в сочетании с обычными насосами или системами теплообменников, сообщающихся с радиаторами, позволяет экономить деньги не только на счетах за электроэнергию, но на расходах на обслуживание кондиционеров и прочих элементов обычной охладительной инфраструктуры ЦОД. При этом системы иммерсионного охлаждения также позволяют эксплуатировать оборудование при более высоких температурах.

Например, представители гонконгской компании Allied Control утверждают, что HPC-кластер, который используется клиентом вендора для майнинга криптовалюты Bitcoin, на целых 97% экономичнее по сравнению со стандартными аналогами благодаря созданной инженерами Allied Control системы иммерсионного охлаждения. Тем не менее, журналисты ресурса IEEE Spectrum отмечают, что жидкостное охлаждение является «редкостью в корпоративных дата-центрах, которые принадлежат банковским организациям и провайдерам облачных сервисов». Можно ли из этого сделать вывод о том, что крупные компании просто-напросто упрямы?

Особая культура

Даже с учетом того, что крупные корпорации вынуждены работать в неопределенной экономической среде, растущий спрос на IT-ресурсы снижает вероятность того, что именно необходимость создания и соблюдения определенной “культуры” работы с СЖО является основным ограничителем массового внедрения жидкостного охлаждения в индустрии ЦОД. Рассмотрим в качестве примера случай использования в ЦОД иммерсионного охлаждения: хотя эта технология и позволяет практически свести к нулю расход электроэнергии на охлаждение серверной инфраструктуры дата-центра, у нее есть ряд недостатков, которые могут обернуться дополнительными затратами. Ниже приведены некоторые из них:

• Более низкие профили. В отличие от стандартных монтажных стоек, резервуары для охлаждения серверов погружением можно обслуживать только сверху, то есть потенциал для вертикального масштабирования серверной инфраструктуры крайне ограничен. При этом стандартные монтажные стойки можно эффективно наполнять серверами в буквальном смысле от пола до потолка, максимально рационально используя доступное в машзале ЦОД пространство. Иными словами, внедрение иммерсионного охлаждения оборачивается уменьшением плотности вычислительной мощности из расчета на 1 квадратный метр полезной площади машзала. Однако справедливости ради стоит отметить, подобные выводы можно считать верными лишь в том случае, если эквивалентная плотность мощности может быть достигнута с помощью других методов охлаждения. Ведь развертывание вычислительных мощностей с очень высокой плотностью препятствует эффективному использованию того же воздушного охлаждения.

• Беспорядок. Любые работы по техническому обслуживанию, замена кабелей или другая деятельность, связанная с контактированием с серверами, также предполагает необходимость прямого взаимодействия с жидким минеральным маслом или другими “грязными” и небезопасными для человека хладагентами. Отметим, что эти жидкости подбираются таким образом, чтобы избежать токсичности, но разлив подобного хладагента может создать опасность для работников ЦОД, не говоря уже о том, что потребуется немало усилий, чтобы очистить от него машзал.

• Вспомогательная инфраструктура. Для эффективного развертывания системы иммерсионного охлаждения ЦОД требуются специальные резервуары для хранения серверов, а также большой запас охлаждающей жидкости.

• Специальные жесткие диски. Жесткие диски (HDD), которые предполагается погружать в жидкость, должны быть разработаны таким образом, чтобы предотвратить попадание внутрь корпуса хладагента. То есть корпуса накопителей должны быть герметичными, а вращающиеся внутри них магнитные диски должны находиться в среде, состоящей из определенного газа. Для этой цели идеально подойдут недешевые высокотехнологичные семипластинные “гелиевые” жесткие диски от HGST, которые уже появились в открытой продаже, или же SSD-накопители, которые также являются относительно дорогими.

• Расходы на модернизацию. Проектирование нового дата-центра “с нуля” для последующего размещения системы жидкостного охлаждения создает меньше проблем, чем модернизация существующего ЦОД для этой цели. Таким образом, необходимость дополнительных инвестиций в преобразование существующей инфраструктуры создает психологический барьер для владельцев многих дата-центов.

Кроме того, для обеспечений эффективной эксплуатации СЖО абсолютно всех типов требуются механизмы фильтрации хладагента, которые позволяют избежать таких проблем, как накопление загрязняющих веществ, появление осадка или распространение микроорганизмов внутри контура.

Что нужно для популяризации жидкостного охлаждения ЦОД?

Внедрение жидкостного охлаждения серверов неизбежно в случае развертывания дата-центров с очень высокой плотностью размещения вычислительных мощностей вроде HPC-кластеров для технических вычислений или суперкомпьютерных систем. У владельцев и проектировщиков подобных систем попросту нет иного выбора – независимо от объема дополнительных затрат или неудобств. Вопрос в том, смогут ли СЖО стать мэйнстримом в случае ЦОД с более низкой плотностью размещения вычислительных мощностей.

Общая стоимость владения (Total Cost of Ownership; TCO) в случае серверов в настоящее время более чем наполовину состоит из эксплуатационных расходов (читай: стоимости электроэнергии). В определенный момент рост цен на энергоносители в целом и электричество в частности может сделать даже небольшое повышение энергоэффективности ЦОД целесообразным. Также очевидно, что продолжающийся рост цен на электричество может сделать жидкостное охлаждение серверов более привлекательным даже в случае небольших дата-центров, владельцев которых в противном случае отпугнул бы слишком высокий объем капитальных затрат.

Регулирующие нормы являются еще одним потенциальным фактором, способным ускорить внедрение СЖО в индустрии ЦОД. Чиновники ряда стран уже начали весьма агрессивно навязывать владельцам дата-центров новые требования по повышению энергоэффективности. При этом использование все тех же законодательных рычагов для принуждения поставщиков электроэнергии переходить на более экологически чистые генерирующие мощности с последующим удорожанием электричества может иметь почти тот же эффект.

Кроме того, внедрение систем жидкостного охлаждения серверов, как и в случае любой другой технологии, может ускориться, когда операторы ЦОД увидят, что многие их коллеги и конкуренты благополучно используют СЖО. Благодаря первопроходцам в этой сфере, не страшащихся рисков, которых хотят избежать многие компании, когда речь заходит об их дата-центрах, подобное вполне может стать реальностью уже в ближайшие годы.

Выводы

Масштабному внедрению систем жидкостного охлаждения серверов все еще мешают множество факторов. Причем данное утверждение особенно справедливо для небольших дата-центров и ЦОД с относительно низкой плотностью размещения вычислительных мощностей. И, напротив, при высокой плотности размещения серверов и сетевого оборудования СЖД имеет первоочередную необходимость. Стоимость электричества и регулирующие нормы в перспективе могут сделать повышение энергоэффективности ЦОД более привлекательным для владельцев и операторов дата-центров. Поэтому в определенные момент времени они начнут массовый переход с воздушных на жидкостные системы охлаждения. Ключом к повышению популярности СЖО является зеленый цвет: но речь скорее о цвете американских денег, а не об олицетворении экологичности. Когда все факторы — затраты, использование площади, обслуживание, удобство и так далее – станут обретут одинаково высокую значимость, СЖО будет иметь больше шансов стать доминирующим методом охлаждения серверов.