Фотоотчет: монтаж узлов суперкомпьютера Magnus

Скорее всего, вам неоднократно приходилось заниматься распаковкой смартфонов, планшетов и даже серверов. Но участвовали ли вы в распаковке суперкомпьютеров? Если нет, можете понаблюдать за этим процессом. Ниже представлен фотоотчет о распаковке и сборке вычислительного кластера для Центра суперкомпьютерных вычислений в Поуси (Pawsey Supercomputing Centre), который находится в австралийском городе Перте, штат Западная Австралия. Причем речь идет об одном из мощнейших суперкомпьютеров в Южном полушарии.

Боки машины размещаются внутри суперкомпьютерного центра. Это система Cray XC30 с кодовым именем Magnus2. Она будет состоять из пяти новых спаренных монтажных стоек, а также из двух других аналогичных спаренных стоек с IT-оборудованием, которые ранее лежали в основе предшественника нового суперкомпьютера. Та машина называлась Magnus1. По словам австралийских инженеров, Magnus2 заменит собой Magnus1 и машину на базе контейнеров под названием EPIC, которые использовались исследователями в промежуточный период. Суперкомпьютер EPIC будет выведен из эксплуатации в конце года. Каждая из этих семи монтажных стоек, из которых будет состоять Magnus2, весит около 1,4 тонны.

Благодаря Magnus2 вычислительная мощность Центра суперкомпьютерных вычислений Поуси существенно возрастет. Машина будет иметь 35 тысяч физических ядер и более 1 петафлопса вычислительной мощности. Это один квадриллион математических вычислений в секунду. При всем при этом Magnus2 все еще будет в 30-50 раз медленнее, чем мощнейший суперкомпьютер в мире Tianhe II, который находится в ведении Министерства обороны Китая.

Уже во время развертывания машины Magnus1 (ее узлы вы можете увидеть на фото выше: слева и на заднем плане) администраторы 2-мегаваттного Центра суперкомпьютерных вычислений Поуси подумывали об апгрейде. Ознакомившись с представленным ниже фото, вы поймете их мотивацию.

Инженеры Cray проектируют монтажные стойки для узлов своих суперкомпьютеров с использованием стандартизированного подхода к созданию системы охлаждения. На фото выше (с левой стороны) вы можете увидеть устройство предварительного кондиционирования воздуха, которое прилегает к концу линии стоек. Рядом с ним находится тонкая красная стойка, в которой размещены бловеры. Следующая стойка (та, что с открытой красной дверцей) более крупная. Внутри нее находятся уже блейд-серверы (как и в следующей стойке).

В конце ряда можно обнаружить еще одну стойку с бловерами, выдувающими воздух в машзал, рядом с которой размещено устройство предварительного кондиционирования воздуха. Благодаря этим бловерам и устройству предварительного кондиционирования в конце ряда покидающий стойки с блейдами воздух имеет такую же температуру, как и нагнетаемый в стоики с другой стороны ряда. Эта схема повторяется везде. Инженеры утверждают, что в холодном климате подобная схема позволяет эксплуатировать дата-центр с использованием 100-процентного фрикулинга и избегать использования энергозатратных чиллеров.

Блок предварительного кондиционирования контролирует температуру воздуха, нагнетаемого внутрь вычислительных узлов суперкомпьютера бловерами и вентиляторами в самих стойках. Стойки с блейдами охлаждаются с помощью воды с температурой в 22 градуса по Цельсию, поступающей из водоносного горизонта под ЦОД. Австралийцы пробурили скважины глубиной около полутора сотен метров, чтобы получить доступ к водоносному горизонту Муллало.

Благодаря такому подходу администрация Центра суперкомпьютерных вычислений Поуси экономит миллионы на счетах за воду и электричество. При этом инженеры установили в машзале чиллеры в качестве меры предосторожности. В конце концов, Перт является довольно горячим местом.

Здесь мы видим процесс прокладки сетевой инфраструктуры для соединения отдельных узлов Cray XC30. Каждый из 384 вычислительных узлов в каждом из двухстоечных кластеров может обрабатывать 10 гигабайт данных в секунду одновременно. Это очень помогает, когда исследователи занимаются разбивкой задач, связанных с обработкой больших данных, с помощью параллелизации.

В каждом кластере из спаренных стоек основной формой межсоединений являются медные кабели, тогда как оптическое волокно используется для подключения каждой из этих парных стоек в общую систему, чтобы сформировать Magnus2.

На третий день установка узлов и прокладка сетевой инфраструктуры почти завершена.

Организация iVEC, которая отвечает за управление ЦОД, наняла местных художников из числа коренных австралийцев, чтобы придать необычную атмосферу и колорит машзалу Центра суперкомпьютерных вычислений Поуси. С их разрешения художники разукрасили стойки Magnus2. Возможно, этот суперкомпьютер и не самый мощный в мире, но он вполне может претендовать на поощрительный приз за лучший экстерьер.

Представленные на фото выше изображения основаны на работах художницы из племени Ваджарри по имени Маргарет Витехерст. Так создатели суперкомпьютера решили отдать дань важному аспекту культуры коренных жителей северо-западной части Австралии (знаниям о звездах в небе, которыми обладали самые древние австралийцы), а также двум областям науки, в развитии которых наиболее заинтересована организация iVEC (геонаука и радиоастрономия).

Здесь вы можете увидеть сочетание искусства коренных народов с паттернами, которые можно встретить на материнских платах внутри вычислительных узлов (которые также легли в основу дизайна экстерьера Центра суперкомпьютерных вычислений Поуси).

Машина Magnus2, как ожидается, начнет функционировать к сентябрю. Ее вычислительные мощности будут доступны членам научного сообщества Австралии. На фото выше позади рассматриваемой системы можно увидеть вычислительный кластер Galaxy, используемый для обработки данных с Мёрчисон-Уайдфилдского антенного радиотелескопа (Murchison Widefield Array). Эти стойки украсили художественные работы Джесси Пикетта.