Фотоэкскурсия по самому быстрому суперкомпьютеру в Европе, SuperMUC

SuperMUC – самый быстрый суперкомпьютер в Европе, работа над которым стартовала в 2010 году, в конце июня 2012 года был запущен. В этой фотоэкскурсии  мы расскажем о этом суперкомпьютере, который был создан специалистами IBM, использовавшими процессоры Xeon. Одной из главных особенностей суперкомпьютера SuperMUC является уникальная энергоэффективная системы охлаждения на базе горячей воды.

Суперкомпьютер установлен в вычислительном центре имени Лейбница (Leibniz-Rechenzentrum; LRZ) при Академии наук Баварии. Его производительность превышает 3 петафлопс. ​SuperMUC – это самый быстрый суперкомпьютер в Европе. Кроме того, он занимает четвертую позицию в списке 500 самых мощных суперкомпьютеров в мире.

SuperMUC создан на базе серверов с архитектурой System X iDataPlex от IBM. В общей сложности машина имеет 155 000 процессорных ядер, а также более 330 терабайт оперативной памяти. Для организации межпроцессорного обмена данными задействована неблокирующая системная сеть (позволяет выполнять последующие операции, даже если выполнение предшествующей операции не может быть полностью завершено) с высокоскоростной коммутируемой последовательной шиной InfiniBand и топологией типа «fat tree» (утолщенное дерево).

Суперкомпьютер может буферизировать до 10 петабайт информации в рамках системы хранения данных на базе высокопроизводительной параллельной кластерной файловой системы GPFS от IBM. В качестве операционной системы используется Suse Linux Enterprise Server.

Для постоянного хранения пользовательских данных, таких как исходные программы (программы ЭВМ на языке программирования, которые еще не переведены в машинный код) или наборы входных данных в SuperMUC используется сетевая система хранения данных от NetApp с общей емкостью в 4 петабайт. Тут также присутствует ленточная библиотека с емкостью в 16,5 петабайт для долгосрочного архивирования данных.

Суперкомпьютер охлаждается горячей водой

Если учесть стремительное развитие суперкомпьютеров, немецкая машина, вероятно, лишиться своего место в числе лидеров Топ 500 совсем скоро, но технические характеристики являются лишь одним из аспектов, которые заставили нас заинтересоваться SuperMUC.

На самом деле пара других факторов намного важнее: новый дизайн и инновации в системе охлаждения вычислительного монстра.

«SuperMUC состоит из процессоров со стандартным набором инструкций, которые среди прочего используются в ноутбуках, настольных ПК и серверах», сказал Арндт Боде, руководитель LRZ. «Этот факт существенно упрощает создание программ для данной машины, если сравнивать с большинством других суперкомпьютеров, чьи специализированные ускорители (устройство, ускоряющее выполнение операционной части машинных команд центральным процессором) требуют огромных усилий по адаптации программ».

Система охлаждения работает не только на уровне стойки: она непосредственно охлаждает отдельные процессоры и модули оперативной памяти при помощи теплой воды при температуре до 55 ⁰C. Эта «система охлаждения при помощи горячей воды» была разработана IBM. SuperMUC является первым суперкомпьютером, где разработка «голубого гиганта» используется в промышленных масштабах.

«SuperMUC является важной вехой в области развития экологически чистых суперкомпьютеров с малым энергопотреблением. Он появился в результате нескольких лет исследований и опытно-конструкторских работ в IBM», отметила Мартина Кодериц, председатель и главный исполнительный директор филиала IBM в Германии.

Корпорация IBM уже давно является сторонником систем водяного охлаждения, которые отводят тепло более эффективно, а также проектируются с учетом возможности применения отводимого тепла на других объектах. Например, созданный IBM суперкомпьютер Aquasar, который пользуются исследователями из Федерального технологического института Швейцарии в Цюрихе, служит источником тепла для окружающих строений – все благодаря уникальной системе охлаждения.

После передачи машины под контроль немецких ученых IBM продолжит развивать технологию охлаждения при помощи горячей воды: «Наш план заключается в установке охлаждающих агентов непосредственно на процессоре для охлаждения 3D-чипов (трехмерные чипы, в которых процессоры сгруппированы в вертикальную стопку)», сказал Бруно Мишель, руководитель программы исследований Advanced Thermal Packaging, проводимой в рамках филиала IBM Research в Цюрихе. Мишель является одним из авторов концепции системы охлаждения SuperMUC. «Наша работа может подготовить почву для существенного снижения габаритов систем и улучшения производительности: в конечном счете, SuperMUC может уменьшиться до размеров ПК».

Сумма инвестиций в развитие SuperMUC, а также затраты на эксплуатацию машины на следующие пяти-шести лет оцениваются примерно в € 83 млн. Создатели суперкомпьютера среди прочего получили субсидии от местного правительства за развитие инновационных технологий. Суперкомпьютер SuperMUC будет использоваться для моделирования исследовательских проектов ученых из разных стран Европы. Речь, в том числе, идет и об изысканиях в сфере биологии: моделирование потока крови в теле или движения воздуха в легких. SuperMUC также будет применяться и физиками для изучения роли темной материи во Вселенной.

SuperMUC, который установлен в Гархинге под Мюнхеном, является самым быстрым суперкомпьютером в Европе, а также занимает четвертое место в списке 500 мощнейших суперкомпьютеров в мире. На днях машина была официально передана главой немецкого филиала IBM в лице Мартины Кодериц профессору Арндту Боде, который возглавляет вычислительный центр имени Лейбница.

Подведение силовых и сетевых кабелей к серверам всегда сопряжено с проблемами. Создатели SuperMUC придумали оригинальное решение — лотки над серверными стойками.

Лотки вид сверху

Данное решение позволяет упорядочить практически все кабели

Функции и принадлежность всех кабелей отмечены на прикрепленных к ним листках бумаги

Монтажная сторона стоек SuperMUC: кабель питания (слева) и шланг, который подает воду для охлаждения процессора и памяти

Один из блейд-серверов SuperMUC с установленной на нем медной циркуляционной трубой, по которой движется вода. В системе охлаждения используется в общей сложности 8000 литров воды

Специальным образом обработанная вода в нормальном режиме нагревается до температуры в 55 °С, но обычно температуры составляет около 40 градусов по Цельсию. Удерживать жидкость в подобных температурных границах проще, чем работа в рамках прежних норм (18 °С до 21 °С). Кроме того, это позволяет применять «естественное охлаждение» с помощью наружного воздуха

В техническом крыле LRZ спокойно сосуществуют каналы подачи воды и элементы воздушного охлаждения

Экраны мониторинга жизненно важных функций SuperMUC