Команда специалистов из Национальной лабораторией возобновляемой энергетики США (National Renewable Energy Laboratory; NREL) вложила все свои знания и наработки в проект нового центра обработки данных для высокопроизводительных вычислений (High Performance Computing; HPC). Новый ЦОД под названием Исследовательский комплекс по интеграции энергосистем (Energy Systems Integration Facility; ESIF) будет использоваться исключительно для исследований в области возобновляемых источников энергии и энергоэффективных технологий. Поэтому ученые постарались сделать его предельно “зеленым”.
По словам ученых, среднегодовая эффективность использования энергии (Power Usage Effectiveness; PUE) нового дата-центра будет составлять 1.06 или даже меньше. Кроме того, ESIF станет первым ЦОД петафлопсного уровня производительности, где будет применяться система жидкостного охлаждения на базе теплой воды. Чтобы добиться столь впечатляющего показателя, NREL тесно сотрудничала с лидерами индустрии ЦОД. Это помогло ученым лучше ориентироваться в быстроразвивающихся технологиях.
“Мы разработали комплексный подход к повышению энергоэффективности системы высокопроизводительных вычислений, здания и самого дата-центра. Все это было частью проекта ESIF”, заявил представитель NREL, Стив Хэммонд. “Изначально мы хотели создать энергоэффективную систему для HPC-вычислений, которая подходила бы под наши нагрузки. Эта задача была решена при поддержке HP и Intel. Затем мы решили добавить в свой проект систему жидкостного охлаждения, разработанную HP. Она будут использованы для поддержания оптимального температурного режима в ЦОД. Кроме того, применение СЖО позволяет добиться минимизации числа шумящих и потребляющих дополнительную электроэнергию вентиляторов на монтажной стороне серверных стоек”.
Команда NREL при поддержке архитектурных бюро SmithGroupJJR и Integral Group создала самое энергоэффективные здание для дата-центра в мире, чтобы разместить систему для HPC-вычислений, а также обеспечить ее электропитание и охлаждение. К стойкам подводится переменный ток с высоким напряжением (480В). Разработчики системы решили отказаться от традиционного варианта электропитания, который предполагает использование тока под напряжением в 208В, чтобы сэкономить на инверторах (устройства для преобразования постоянного в переменный ток), силовой электронике и избежать потери мощности. При этом энергосберегающие насосы в СЖО в значительной степени заменили шумные, менее эффективные вентиляторы.
ЦОД для высокопроизводительных вычислений ESIF – вид в разрезе
“И еще один не менее важный момент: мы хотели повторно использовать тепло, выделяемое системой для HPC-вычислений,” сказал Хаммонд. “Большинство дата-центров не извлекают пользу из тепла, выделяемого серверами. Но проект ESIF предполагает его применение для обогрева офисных помещений и лаборатории NREL. Мы можем экономить около $ 800 тыс. в год за счет снижения операционных расходов по сравнению со среднестатистическим дата-центром. А повторное использование выделяемого серверами тепла позволяет сэкономить еще $ 200 тыс., которые были бы потрачены на обогрев зданий. Таким образом, экономия достигает почти $ 1 млн. в год. Но самый интересный момент заключается в том, что строительство этого ЦОД обошлось нам дешевле, чем в случае среднестатистического аналога”.
Хэммонд отмечает, что представители NREL провели переговоры с местным поставщиком электроэнергии Xcel Energy для изучения возможности внедрения механизмов реагирования на спрос. Подобный механизм может очень пригодиться летом, когда спрос на электроэнергию традиционно очень высокий. С ее помощью ученые могли бы заблаговременно уменьшать IT-нагрузку в период пиковой нагрузки на электросеть, чтобы помочь Xcel Energy справиться со спросом. При этом основная работа могла бы выполняться по утрам. Это позволит удешевить эксплантацию объекта.
Сверхсовременные серверы
Как уже упоминалось, ультра-эффективная система для HPC-вычислений в новом дата-центре NREL была разработана в сотрудничестве с HP и Intel. Она будет установлена в ходе двух этапов. Система будет включать в себя масштабируемые серверы HP ProLiant SL230s и SL250s Generation 8 (Gen8) на базе восьмиядерных процессоров Intel Xeon E5-2670, а также серверы следующего поколения, в которых используются процессоры Intel Xeon на основе архитектуры Ivy Bridge, созданные по 22-нанометровому техпроцессу. Кроме того, в системе применяются сопроцессоры Intel Xeon Phi на базе архитектуры Many Integrated Core (MIC). Первый этап установки HPC-системы начался в ноябре 2012 года. Ее вычислительная мощность достигнет петафлопсного уровня летом 2013 года.
Самым интересным в этом наборе “железа” является как раз-таки сопроцессор. Использование Intel Xeon Phi позволяет повысить производительность суперкомпьютерных систем на задачах с высокой степенью параллелизма. Представители Intel отмечают, что компания сотрудничает с большой экосистемой заказчиков и независимых разработчиков программного обеспечения с целью оптимизации существующих приложений под возможности, предоставляемые сопроцессором. Для оптимизации программ в расчете на использование Intel Xeon Phi компания предлагает среды Intel Parallel Studio XE и Intel Cluster Studio XE. Иными словами, владельцам ЦОД, где применяется подобные устройства, не придется тратиться на портирование софта.
Эти сопроцессоры могут похвастать пассивным охлаждением и обеспечивают высокую производительность в расчете на 1 ватт. Они отлично подходят для сред с высокой плотностью размещения вычислительного оборудования. Наладить выпуск серверных систем с поддержкой Intel Xeon Phi намерено большинство ключевых игроков рынка: Dell, Cray, Hitachi, HP, IBM, Colfax, Eurotech, Fujitsu, Quanta, SGI, Supermicro.
Отметим, что специалисты лаборатории NREL уже успели поучаствовать в разработке ПО для архитектуры Intel MIC. При этом на перенос 500 тысяч строк программного кода приложения Weather Research and Forecasting (WRF) ушло всего лишь полдня. WRF – один из нескольких инструментов для атмосферного моделирования, которые специалисты NREL используют в ходе исследований в области ветровой энергетики.
СЖО на базе теплой воды повышает эффективность ЦОД
Пусть некоторые компоненты HPC-системы NREL и являются серийными продуктами, но команда ученых выбрала иной подход к созданию системы охлаждения для этого суперкомпьютера и решила разработать уникальную СЖО.
Стив Хаммонд проводит экскурсию по техническому этажу, где расположенное электромеханическое оборудование, который поддерживает работоспособность дата-центра для HPC-вычислений и позволяет передавать выделяемое оборудованием тепло в остальные помещения комплекса ESIF.
“Элементом системы охлаждения большинства крупных вычислительных систем выступает механический чиллер. Данное устройство предназначено для охлаждения жидкого носителя тепла. Этот теплоноситель (вероятнее всего, вода) из чиллера с помощью насосных станций по системе трубопроводов подается к прецизионным кондиционерам, которые охлаждают воздух непосредственно в помещении ЦОД. Холодный воздух подается от кондиционеров через фальшпол на серверные стойки. Выделяемое оборудованием дата-центра тепло поступает обратно в чиллер в виде нагретой воды. Там эта вода снова охлаждается и цикл повторяется вновь,” сказал Хаммонд. “В целом – с точки зрения эксплуатации дата-центра – это не очень эффективно. Представьте, что вы оставляете свой горячий напиток на кухонном столе, а затем выходите из комнаты и увеличиваете мощность кондиционера, чтобы охладить напиток”.
“СЖО для нового дата-центра NREL в настоящее время находится на стадии разработки. Это будет абсолютно новая высокопроизводительная система жидкостного охлаждения на базе теплой воды”, сказал Эд Тюркель, менеджер HP по группе товаров для HPC-вычислений. “Речь идет об HPC-решении следующего поколения. Оно позволит добиться высокой энергетической эффективности и чрезвычайно высокой плотности размещения оборудования – что и требуется NREL”.
“Монтаж СЖО завершится этим летом. После чего для эксплуатации ЦОД Национальной лаборатории возобновляемой энергии США потребуется около 1 мегаватта электроэнергии. Это достаточно большая мощность. Потери тепла также могут быть очень существенными”, сказал Хаммонд. “Но мы решили создать механизм, который позволяет передавать выделяемое оборудованием тепло непосредственно жидкости, минуя воздух (фальшпол и “холодные” / “горячие” коридоры). На данном этапе это один из наиболее эффективных и доступных способов охлаждения оборудования”.
Вода будет подводиться к серверу при температуре около 25 °С. Температура использованного по назначению хладагента, в свою очередь, будет превышать 35 °С. Вся СЖО станет основным источником тепла для офиса и лаборатории ESIF. Выделяемое дата-центром тепло также будет использоваться за пределами здания – чтобы растопить снег и лед на пешеходных дорожках.
Средняя температура внутри машзалов нового объекта NREL будет гораздо выше по сравнению с традиционными ЦОД. Температура в помещении будет поддерживаться на уровне все тех же 25 градусов по Цельсию. Это позволит NREL не использовать систему охлаждения на базе компрессоров – вместо них ученые будут применять градирни.
Опять же, если спуститься на бытовой уровень и провести аналогию, можно отметить, что решение американцев сравнимо с переходом владельца квартиры на испарительный охладитель вместо менее энергоэффективного кондиционера.
К тому же для работы насосов, которые перемещают жидкость в системе охлаждения, требуется значительно меньше энергии, чем нужно вентиляторами, перемещающим воздушные массы в традиционных дата-центрах. Вода примерно в 1000 раз более эффективна, чем воздух с точки зрения термодинамики или теплообмена.
Цель нового проекта Национальной лаборатории возобновляемой энергии США
HPC-система стоимостью в $ 10 млн. будет использоваться в рамках самого широкого спектра исследовательских проектов в области эффективности и экологически чистых энергетических технологии, включая солнечные батареи, энергию ветра, электрические транспортные средства, технологию интеллектуальных зданий и новые виды топлива. Новая система поможет ученым решать задачи, которые до сих пор казались неразрешимыми. Она позволит значительно расширить возможности исследователей в области моделирования, позволяя активнее изучать новые материалы и углублять понимание биологических и химических процессов.
Стив Хаммонд и Кенни Грушала из NREL обсуждают 3D-модель аэродинамики ветровой электростанции, которая демонстрирует низкоскоростные попутные воздушные потоки и их влияние на находящиеся рядом турбины. Компьютерное моделирование такого типа будет выполняться с использованием новой HPC-системы
До того как NREL решилась на создание нового ЦОД для HPC-вычислений под названием ESIF, у ученых уже был собственный небольшой вычислительный кластер, в то же время они были вынуждены пользоваться суперкомпьютером RedMesa обладающим производительностью 180 терафлопс, который находился на территории Национальной лаборатории Сандия (США). При этом средняя загруженность суперкомпьютера в последние годы составляла 92%. Нужен был гораздо более мощный вычислительный кластер для удовлетворения растущего спроса на моделирование и симуляции.
