Университет Тромсе (UiT) в Норвегии является самым северным в мире. Четыре его кампуса разбросаны по всей скандинавской стране. Кроме необычного местоположения UiT также может похвастать лидирующими позициями в области высокопроизводительных вычислений (HPC). В 2007 году его кластер Stallo стал самым мощным в Норвегии, а также попал на 63-ую строчку в рейтинге Top500. В 2014 суперкомпьютер Stallo 2, как ожидается, достигнет пиковой производительности в 310 терафлопс.
Норвежцы выбрали предельно инновационный подход к созданию нового суперкомпьютера: инженеры из UiT решили использовать HPC-кластер как теплоцентраль. В частности, выделяемая вычислительными узлами тепловая энергия должна использоваться для теплоснабжения здания ЦОД и прилегающих к нему строений, снижая общую потребность университетского кампуса в тепловой энергии, поступающей извне.
“В последнее время мы переместили свое внимание с достижения как можно большего числа флопсов с помощью суперкомпьютера на то, сколько тепловой энергии, выделяемой этой машиной можно повторно использовать”, говорит Свенн Хансен из Университета Тромсе.
Специалисты UIT считают, что возможность охлаждения серверов теплой водой дает северным странам преимущество и позволяет позиционировать данный регион, как идеальное место для размещения множества центров обработки данных в будущем. С учетом среднегодовой температуры в 4 градуса по Цельсию территории кампуса UiT является идеальным местом для повторного использования тепла, выделяемого серверами внутри ЦОД.
При этом, сокращая расходы по счетам за электричество на миллионы долларов США, норвежцы получают возможность потратить высвободившиеся средства на серверы, программное обеспечение и непосредственно организацию исследовательского процесса. Механизм рекуперации тепла также является ключевым элементом в стратегии UiT по обеспечению новому суперкомпьютеру университета лидирующих позиций в рейтинге Green500.
В течение лета 2014 года инженеры UiT собираются полностью завершить процесс сборки вспомогательного и вычислительного оборудования внутри своего нового дата-центра на 2 МВт. Как ожидается, новый суперкомпьютерный кластер норвежцев будет примерно на 2/3 охлаждаться с помощью теплой воды – в долгосрочной перспективе все вычислительные узлы HPC-решения получат подобное водяное охлаждение. Система будет использовать отработанную воду в качестве источника тепла для близлежащих зданий, при этом в долгосрочной перспективе излишки тепловой энергии будут использоваться, чтобы обеспечивать комфортный температурный режим внутри расположенной по соседству с кампусом больницы. Горячая вода будет использоваться для обогрева зданий с помощью радиаторов на стенах и потолке.
Специалисты UiT начали устанавливать системы жидкостного охлаждения RackCDU D2C от Asetek на серверы внутри своего ЦОД еще в январе 2014 года. Отметим, что система RackCDU D2C состоит из двух основных подсистем: водоблоки для серверов D2C, которые призваны заменить собой кулеры CPU в каждом вычислительном узле, а также блоки RackCDU Extension, которые крепятся на монтажной стороне каждой серверной стойки. Инженеры Asetek добились того, что хладагент попадает в водоблоки D2C внутри серверов по контуру с низким давлением, причем для оптимизации температурного режима “горячих” компонентов вычислительных узлов (таких как центральные процессоры, графических процессоры, сопроцессоры и модули оперативной памяти) используется именно теплая вода, что позволяет сократить эксплуатационные расходы.
Теплообменник RackCDU Extension представляет собой блок прямоугольной формы высотой в 263 мм (10.5 дюйма), который содержит стоечный модуль охлаждения высотой zero-U (отсюда и название RackCDU или Rack Level Cooling Distribution Unit). Эта подсистема используется для организации теплообмена между охлаждающей жидкостью, проходящей через водоблоки на серверах, и жидкостью, циркулирующей по более крупному внешнему контуру. Последний, собственно, и выступает ключевым элементом системы рекуперации тепловой энергии. Теплая охлаждающая жидкость перемещается между RackCDU Extension и водоблоками серверов D2C через систему трубок, которые крепятся с помощью быстроразъемных соединений.
Система RackCDU позволят обеспечить более высокую плотность размещения оборудования внутри монтажной стойки, а также снижает требования к системе распределения электропитания дата-центра (благодаря минимизации энергозатрат на охлаждения), уменьшает акустический шум, а также, как уже говорилось выше, позволяет использовать отработанное тепло для обогрева здания ЦОД и организации централизованного теплоснабжения прилегающих строений.
Механизм охлаждения теплой водой является очень эффективным, так как температура поверхности центрального процессора должна поддерживать в диапазоне от 67 °С до 85 °С (от 153 °F до 185 °F) в зависимости от модели процессора. Температура поверхности микросхем памяти, графических процессоров и сопроцессоров может быть еще выше: от 90 °C до 95 °C (от 194 °F до 203 °F). Эффективность водяного охлаждения позволяет поддерживать требуемый температурный режим внутри сервера при низкой начальной температурной разнице между водой и охлаждаемыми компонентами (то есть показатель дельта T в данном случае относительно небольшой). Это означает, что вода, используемая для охлаждения компонентов, может быть не просто теплой, а горячей.
Примечательно, что система жидкостного охлаждения RackCDU D2C может быть развернута как при создании совершенно новых вычислительных кластеров, так и при покупке новых серверов для ЦОД или даже при модернизации существующих серверов. В частности, есть возможность установить водоблоки D2C во многих серверах со стандартным воздушным охлаждением, предлагаемых производителями. К слову, именно так и поступили инженеры UiT с серверами HP SL230.
Специалисты UiT решили сосредоточиться на использовании D2C исключительно для охлаждения центральных процессоров внутри серверов HP SL230, ставших основой для их HPC-кластера. Серверы HP SL230 с воздушным охлаждением являются популярным выбором при создании HPC-решений, при этом модернизация машин с помощью RackCDU D2C позволяет максимально эффективно использовать эти доступные вычислительные узлы при одновременном обеспечении высокой плотности развертывания IT-оборудования и использовании излишков тепла для отопления ЦОД.
Чтобы извлечь наибольшую пользу из выделяемого серверами тепла, специалистам пришлось оптимизировать ряд параметров. Для выполнения поставленной задачи и тонкой настройки системы инженеры UiT произвели множество манипуляций с такими параметрами, как интенсивность потока хладагента, количество необходимой теплой воды, температура воды, дельта температуры между подачей и обраткой, а также корреляция между размером суперкомпьютера и объемом создаваемой с его помощью горячей воды.
Первоначальное тестирование показало, что можно добиться рециркуляции более чем 70% выделяемой серверами тепловой энергии с дельтой в 25 градусов по Цельсию между температурами охлаждающей воды на входе и на выходе. К слову, во время тестирования был использован хладагент с довольно низкой температурой подачи (около 12 градусов по Цельсию), поэтому производительность СЖО, как ожидается, в дальнейшем будет еще более высокой (когда норвежцы станут использовать подачу при более высокой температуре).
К слову, температура воздуха в машзале также является немаловажным фактором. Специалисты UiT обнаружили, что увеличение температуры внутри помещения, не оказывает сколь либо значимого влияния на производительность системы водяного охлаждения. При этом в случае использования воздушной системы охлаждением во время роста температуры в машзале вспомогательное оборудование начинает тратить больше электроэнергии для оптимизации температурного режима серверов.
С учетом того, что норвежцы создают не обычный ЦОД, а полноценный HPC-кластер, практически 100-процентная нагрузка на вычислительные узлы будет вполне распространенным явлением. Специалисты UiT ожидают, что после ввода машины в эксплантацию средняя нагрузка на серверы будет, как правило, превышать 80% при постоянной работе машины (24 часа в сутки, 7 дней в неделю). Это делает суперкомпьютер идеальным для захвата и повторного использования выделяемого вычислительными узлами тепла.
Одним из побочных эффектов перехода на использование теплой воды для охлаждения CPU и реализации системы централизованного теплоснабжения с использованием СЖО на кампусе UiT является сдвиг парадигмы, касающийся того, каким образом можно использовать ресурсы суперкомпьютеров. Норвежцы больше не рассматривают подобные машины как воронки для многомиллионных ежегодных расходов на электроэнергию. На самом деле данная технология вселила в участников проекта и студентов университета огромный энтузиазм: теперь даже местных художники пытаются использовать концепцию суперкомпьютера в рамках новых инсталляций на территории кампуса, причем облик этих произведений искусства, как ожидается, будет динамическим изменяться на основе поступающей в режиме реального времени информации о загрузке вычислительных узлов суперкомпьютерной системы.
