Менее чем через два года после полного перезапуска и смены поставщиков один из самых амбициозных американских проектов в области разработки суперкомпьютеров был, наконец, введен в эксплуатацию. Машина под названием Blue Waters стоимостью в $ 350 млн. разместилась в Национальном центре вычислений петабайтного уровня (National Petascale Computing Facility; NPCF). Она разрабатывалась специалистами Национального центра прикладных систем для суперкомпьютеров (National Center for Supercomputing Applications; NCSA) при Университете штата Иллинойс (США). Изначально Blue Waters задумывался как вместилище самых передовых суперкомпьютерных технологий.

Специалисты NCSA отмечают, что, несмотря на все проволочки, созданная ими машина воплощает озвученную выше задумку. Пресс-секретарь NCSA Триш Баркер говорит, что пиковая производительность суперкомпьютера находится на уровне 11.6 петафлопс (или 11.6 квадриллионов операций в секунду). Базовая производительность машины составит около 1 петафлопса. Если бы Blue Waters был протестирован в ноябре 2012 года, и его операторы предоставили бы данные о производительности машины составителя списка Top500 самых мощных суперкомпьютеров в мире, то новинка заняла бы третье место. Но теперь придется ждать лета, а вместе с ним и новых конкурентов (напомним, что актуальный список суперкомпьютеров публикуется дважды в год – в июне и ноябре).

Экстерьер здания National Center for Supercomputing Applications при Университете штата Иллинойс, где расположен суперкомпьютер Blue Waters. Фото: NCSA / Университет штата Иллинойс

“Blue Waters является действительно экстраординарной вычислительной системой. С его помощью исследователи со всей страны, а также наши инновационные компании смогут сделать множество открытий в самых разных областях науки и техники”, сказал Том Даннинг, глава NCSA. “Кроме того, суперкомпьютер Blue Waters является уникальным ресурсом для Университета Иллинойса и штата Иллинойс в целом”.

На церемонии открытия, которая состоялась 28 марта, присутствовали конгрессмен США Дан Липинский, глава NCSA Том Даннинг, представители Университета штата Иллинойс Карен Хасара и Эд Макмиллан, а также еще один сотрудник NCSA Билл Крамер. Фото: Брайан Стауффер / Бюро новостей Университета штата Иллинойс

На мероприятии по поводу ввода машины в эксплуатацию присутствовал Губернатор Иллинойса Пэт Куинн, а также представители Национального научного фонда США (National Science Foundation; NSF – независимое федеральное агентство, основанное в 1950 с целью содействия развитию фундаментальных и прикладных научных и научно технических исследований в государственных интересах). Мероприятие, которое прошло 28 марта, также посетили руководители ряда государственных учреждений, члены руководства коммерческих компаний и научные сотрудники Университета штата Иллинойс, которые и будут эксплуатировать машину на протяжении большей части срока ее службы.

Проект Blue Waters стартовал в 2007 году. После того как организация NSF предоставила соответствующий грант, специалисты NCSA в партнерстве с Университетом штат Иллинойс решили построить Национальный вычислительный центр петабайтного уровня, в котором и разместился бы Blue Waters. Проект предполагал возведение с нуля самого центра обработки данных, а также всей необходимой сетевой, электромеханической и охладительной инфраструктуры вместе с подсистемами хранения и ввода данных.

После того как было построено здание дата-центра, организаторов проекта стали преследовать неудачи: из состава участников вышла IBM, а за ней последовали менее крупные вендоры. Выяснилось, что разногласия между университетом, NCSA и IBM возникли на почве финансовых вопросов. Сначала “голубой гигант” отложил срок ввода объекта в эксплуатацию на год, уведомив об этом заказчиков, а затем полностью покинул проект. Ученые были вынуждены искать новых партнеров, одним из которых стала американская компания Cray.

Blue Waters состоит из более чем 300 серверных шкафов, в которых мощь центральных процессоров AMD сочетается с вычислительными возможностями графических ускорителей NVIDIA Tesla. Суперкомпьютер по мощности находится между Cray XE6 и Cray XK7 (Titan). Последний возглавляет обновленный рейтинг суперкомпьютеров TOP500. Фото: NCSA

Доработанная инженерами Cray версия суперкомпьютера Blue Waters состоит из более чем 300 серверных шкафов, 25 000 вычислительных узлов, 380 000 ядер. В основу суперкомпьютера легли многоядерные серверные процессоры AMD Opteron серии 6200 и графические карты nVidia Tesla на архитектуре Kepler. Иными словами, вычислительный комплекс имеет гибридную архитектуру CPU+GPU. В целом в системе задействовано более 3000 графических процессоров NVIDIA. Объем оперативной памяти системы составляет 1.5 петабайта.

Операторы располагают дисковым пространством, емкость которого превышает 25 петабайт (жесткие диски с SATA-интерфейсом). В целом подсистема хранения данных вмещает до 405 петабайт информации, из которых 380 петабайт приходится на ленточный массив. Кроме того, специалисты NCSA решили при создании суперкомпьютера использовать коммутаторы Black Diamond X8 от Extreme Networks, чтобы обеспечить оперативную передачу данных в сети Ethernet и нормальное функционирование всех накопителей в составе 25-петабайтного дискового массива.

Нужно отметить, что организация NSF вложила значительные средства в суперкомпьютерные вычисления. Осенью прошлого года при поддержке со стороны компании была введена в эксплуатацию вычислительная система NCAR, в начале марта года текущего – Stampede, а затем и Blue Waters (в конце того же месяца). Исследователи будут использовать Blue Waters для научной деятельности и моделирования самых разнообразных процессов: от землетрясений и астрофизических явлений до молекулярных механизмов, которые протекают в ходе недугов. Благодаря возможности проведения исследований удаленно система может выполнять полезные расчеты 365 дней в году, при этом ученым из других регионов не придется покидать свои рабочие места.

Брайан Джеветта, научный сотрудник отделения Университета штата Иллинойс в Урбана-Шампейне по исследованиям атмосферных явлений, изучает торнадо с целью улучшения понимания факторов, которые могут стать причиной опасного природного явления. “Мы уже знаем, что слияния двух торнадо может либо уничтожить их, либо превратить в одно торнадо, которое будет намного сильнее предыдущих”, отмечает ученый. “Понимание факторов, которые влияют на слияние, могло бы помочь нам лучше прогнозировать силу торнадо”.

В целом доступ к суперкомпьютеру Blue Waters получили участники десяти исследовательских проектов. Вычислительные возможности Blue Waters помогут исследователям в решении задач из сферы биологии, наноэлектроники и многих других областей знаний, а также при оценке экологических и экономических последствий изменения климата.

Сеть трубопроводов для системы охлаждения ECOPhlex (PHase-change Liquid EXchange), разработанной Cray. Фото: NCSA

В системе охлаждения ECOphlex используются два охлаждающих контура: первый заполнен инертным хладагентом (R-134a), а второй – водой. Особенностями системы являются энергетическая эффективность и гибкость в установке. Гибкость ECOphlex заключается в возможности сочетать охлаждение с использованием фазового перехода хладоагента из жидкого состояния в газообразное с воздушным и жидкостным охлаждением. С помощью ECOphlex создателям суперкомпьютера удалась повысить плотность компоновки системы, а также снизить потребность в кондиционерах для вычислительного центра. Система практически не оказывает влияния на температуру в помещении. Тесты показывают, что температура воздуха, попадающего в систему охлаждения, примерно равна температуре воздуха, который из нее выходит.