Всем операторам ЦОД прекрасно известно, что вода является более эффективным средством охлаждения горячих серверов по сравнению с воздухом. Использование жидкости для удаления излишнего тепла от компьютерных чипов является общепринятым метод охлаждения в сегменте суперкомпьютерных решений, но по мере роста плотности комплектующих внутри стандартного серверного оборудования эта технология находит все более широкое применение и в обычных дата-центрах.
Этот тренд отлично прослеживается на примере гиганта электронной коммерции eBay. Специальное подразделение Extreme Scale Infrastructure (ESI) в составе американской компании Dell, которое занимается разработкой и изготовлением оборудованием под заказ для операторов крупнейших и мощнейших дата-центров в мире, разработало уникальную систему жидкостного охлаждения серверов по заказу eBay. Эта СЖО, в качестве рабочего тела в которой используется обычная вода, применяется операторами ЦОД гиганта электронной коммерции для оптимизации не менее уникальных серверных чипов, которые инженеры eBay разработали совместно со специалистами корпорации Intel.
Система Dell отличается от обычных аналогов. Она перемещает воду из градирен дата-центра непосредственно к теплообменникам на каждом чипе внутри корпусов серверных систем. Конструкция СЖО не предусматривает центральных блоков распределения рабочего тела, которые обычно располагаются между градирнями и серверными стойками в суперкомпьютерах и дата-центрах с жидкостным охлаждением.
Другой нетипичной особенностью конструкции СЖО под кодовым названием Project Triton является ее способность использовать более теплую воду по сравнению с обычными системами жидкостного охлаждения. Разработанная Dell система, которая в настоящее время развернута в одном из дата-центров eBay, использует воду с температурой на входе в 33 градусов по Цельсию. Но это не предел возможностей СЖО. Сейчас ее теплообменники располагаются на горячих процессорах, которые работают при очень высокой тактовой частотой и характеризуются повышенным тепловыделением. Но если бы система Project Triton использовалась в тандеме с процессорами с низким энергопотреблением (и, соответственно, тепловыделением), температура подаваемой воды могла бы достигать 60 градусов по Цельсию.
Процессоры eBay, которые нуждаются в как можно более эффективном охлаждении, представляют собой модифицированную версию чипов из семейства Intel Xeon E5 v4. Эти чипы в базовой версии имеют по 22 физических ядра каждый и характеризуются величиной отвода тепловой мощности (TDP) на уровне 145 ватт. Инженеры eBay и Intel модифицировали эти чипы, чтобы они могли работать на более высокой частоте, отключили по 2 ядра (как следствие, каждый модифицированный процессор имеет по 20 рабочих ядер) и довели TDP 200 ватт. К слову, аналогичные модифицированные чипы Intel разрабатывает для других операторов гипермасштабных дата-центров вроде Facebook и Amazon в течение вот уже нескольких лет.
Система Project Triton охватывает не только одноконтурную СЖО. Она представляет собой решение стоечного масштаба: то есть все компоненты, которые входят в стойку, включая теплообменники, блоки PDU и серверы, разработаны целостно как единая система. Этот подход инженеры Dell используют при разработке специализированных решений для гипермасштабных дата-центров.
Продавцы оборудования для ЦОД традиционно сосредотачивают внимание на разработке индивидуальных самодостаточных продуктов – будь то серверы, системы хранения данных или сетевые коммутаторы. При создании решения стоечного масштаба можно более рационально использовать ценные ресурсы системы электроснабжения и охлаждения, а также внутристоечное пространство и сетевые подключения. Все эти ресурсы могут быть более рационально разделены между вычислительными узлами для повышения общей эффективности ЦОД.
Система Project Triton использует серверную стойку шириной в 21 дюйм, которая очень похожа на стойки, разработанные инженерами Facebook в рамках инициативы Open Compute Project. Вода в системе циркулирует по медным трубам, подведенным к теплообменникам над процессорами внутри каждого серверного корпуса. Отсутствие дополнительных распределителей рабочего тела и насосов позволяет добиться очень низкого энергопотребления. Коэффициент эффективности использования энергии (PUE) в ЦОД с системой Project Triton составляет всего 1,03 (согласно данным Dell). Это намного ниже по сравнению со среднестатистическим дата-центром, коэффициент PUE в случае которого составляет 1.7 (согласно результатам исследования, проведенного Uptime Institute в 2014 году).
По словам представителей Dell, система Project Triton использует на 97 процентов меньше электроэнергии для охлаждения серверов по сравнению со среднестатистической системой воздушного охлаждения дата-центра. Кроме того, новинка использует на 62 процентов меньше электричества, чем решение для высокопроизводительных вычислений с водяным охлаждением Apollo 8000 от конкурирующей HPE (Hewlett Packard Enterprise).
Чтобы успокоить операторов ЦОД, беспокоящихся по поводу возможной протечки воды на дорогую электронику, инженеры Dell провели «экстремальное тестирование» сварных медных труб под высоким давлением с помощью имитационного моделирования. Они довели давление до более чем 350 PSI (фунтов на квадратный дюйм). В нормальных условиях давление при подаче воды в системе составляет 70 PSI. При этом каждый сервер, шасси и стойка комплектуются дополнительными механизмам обнаружения утечки и устройствам аварийного отключения. Кроме того, разработчики Dell использовали герметичные разъединители, которые применяются в армейских системах.
