Коррелятор ALMA — самый высокий дата-центр в мире

На плато Чахнантор в чилийских Андах разместился уникальный суперкомпьютер ALMA Correlator. Машина, которая находится в дата-центре на высоте более 5 тыс. метров над уровнем моря, помогает ученым лучше разглядеть небеса. Мощный суперкомпьютер позволяет системе массивных антенн, элементы которой отстоят друг от друга на 16 километров, работать сообща, формируя единый гигантский телескоп.

Суперкомпьютер ALMA является критически важным компонентом в системе радиотелескопов, которую астрономы уже используют, чтобы сделать новые открытия — узнать, как образовались планеты, звезды и галактики. В отличие от оптических телескопов, которые позволяют ученым фиксировать видимый свет, испускаемый звездами, ALMA дает им шанс исследовать невидимую область светового спектра — царство волн миллиметровой и субмиллиметровой длины.

Серверные стойки в машзале ALMA Correlator. Это один из самых мощных суперкомпьютеров в мире. Машина находится на севере Чили — в Андах. Фото: ESO

Как управлять суперкомпьютером на высоте в 5000 м над уровнем моря? Операторам ЦОД нужно обладать недюжинной инженерной сноровкой и вовремя вносить коррективы в работу машины. Воздух настолько тут разряженный, что для охлаждения серверов необходим в два раза более интенсивный поток воздуха, чем в нормальных условиях. На эту цель уходит около 140 киловатт электроэнергии. Компьютерные жесткие диски не будут надежно работать в разряженном воздухе, так что коррелятор ALMA и связанные с машиной компьютеры пришлось избавлять от НЖМД. В довершение ко всему регион известен повышенной сейсмической активностью, поэтому разработчикам суперкомпьютера нужно было заложить в проект предельную стойкость элементов к вибрациям, которые вызываются землетрясениями.

Разреженный воздух в Андах также влияет на работоспособность человека. Предполагается, что Технический корпус центрального пульта управления ALMA (Array Operations Site; AOS), в котором находится машина, будет работать в автономном режиме большую часть года. Тем не менее, на распаковку и установку элементов суперкомпьютера специалистам понадобилось около 20 недель. И данный процесс очень их измотал.

На этой фотографии показаны светящиеся индикаторные огни в стойках с IT-оборудованием суперкомпьютера внутри Технического корпуса центрального пульта управления ALMA. На фото запечатлен элемент одного из четырех идентичных вычислительных узлов машины. Фото: ALMA

«Мы должны были провести многие тысячи кабельных соединений. При этом каждый из наших кабелей был окрашен в один и тот же синий цвет. Так что я очень рад тому, что мы разработали хорошую систему маркировки, когда готовили систему к сборке в здании технического комплекса», сказал Рич Лакасс из Национальной радиоастрономической обсерватории (National Radio Astronomy Observatory; NRAO), руководитель команды технического обслуживания суперкомпьютера ALMA.

Радиотелескоп ALMA — проект за $ 1.3 млрд.

ALMA — это сокращение от английского The Atacama Large Millimeter/submillimeter Array, что переводится как Большая атакамская миллиметровая / субмиллиметровая решетка. Системой управляет международная группа исследователей из Северной Америки, Европы и Восточной Азии в сотрудничестве с правительством республики Чили. Проект стоимостью в $ 1.3 млрд. после нескольких лет строительства был запущен в прошлом месяце. Сейчас в массив телескопов входит уже 59 радиоантенн, а к моменту завершения работ (октябрь 2013 года) их число будет доведено до 66 единиц. Корреляция антенн, объединенных в единый радиоинтерферометр, возложена на суперкомпьютер.

Машина способна выполнять до 17 квадриллионов операций в секунду, то есть ее производительность составляет 17 петафлопс. Это сравнимо со скоростью самого быстрого из действующих сегодня суперкомпьютеров общего назначения из рейтинга TOP-500. Сейчас рекордсменом является Titan, производства Cray Inc., который выполняет 17.59 квадриллионов операций с плавающей точкой в секунду. Однако коррелятор ALMA является суперкомпьютером специального назначения, и сравнение его с машинами общего назначения по этому параметру не совсем корректно.

134 млн. процессоров внутри коррелятора ALMA будут постоянно группировать и сравнивать слишком тусклые “сигналы”, которые поступают без малого с 50 тарельчатых антенн в составе главного массива ALMA. Это позволяет антеннам работать вместе, образуя целостный и огромный астрономический телескоп. Нужно отметить, что при использовании для астрономических исследований массивов радиотелескопов, чувствительность и качество изображения растут с увеличением количества антенн.

Эта фотография показывает лишь небольшую часть многотысячного массива кабели, которые необходимы для подключения электроники. В системе используется 32768 цифровых интерфейсов типа стойка-стойка, а также 16384 кабелей для передачи сигналов между вычислительными узлами. Фото: ESO

Зачем строить сложные телескопы в горах? Ответ просто: огромная высота плато по сравнению с уровнем моря, а также низкая влажность на месте строительства помогают свести к минимуму помехи, вызванные скоплениями водяного пара в атмосфере Земли.

Технический корпус центрального пульта управления ALMA – самый высокий дата-центр в мире. Объект расположен на высоте 5000 метров на плато Чахнантор в чилийских Андах. Внутри этого здания находится суперкомпьютер ALMA Correlator, который помогает многочисленным антеннам на плато работать вместе, как единый, гигантский телескоп. Фото: ALMA

При проведении наблюдений, все антенны ALMA будут направлены на один и тот же небесный объект, собирая идущие от него крайне слабые радиоволны. Перед тем как астрономы смогут создать детальные изображения звезды, планеты или галактики или сделать другие анализы, информация, собранная антеннами, должна подвергнуться интенсивной обработке. На суперкомпьютер ALMA, развертывание которого было завершено в еще декабре, ложится основная часть данного процесса.

«Завершение проектирования и установка коррелятор ALMA – огромный шаг вперед», сказал Марк Маккиннон, глава группы североамериканских ученых в составе NRAO, которые также принимали непосредственное участие в возведение инфраструктурных элементов проекта ALMA. «Технические проблемы были попросту огромными, но наша команда справилась с ними».

Снижение затрат с помощью созданных по спецзаказу элементов

Одной из задач, стоящих перед командой проектировщиков суперкомпьютера, была необходимость минимизации затрат. «Когда мы начали работать над этим проектом, то поняли, что для выполнения необходимых расчетов понадобятся тысячи обычных серверов общей стоимостью в миллиард долларов», сказал Джон Уэббер, бывший глава лаборатории NRAO в Шарлотсвилле, штат Вирджиния (США). «Но нам удалось построить машину по собственному проекту, и обошлось все примерно в 11 миллионов долларов».

Европейская южная обсерватория предоставила американцам многофункциональную систему цифровой фильтрации, которая состоит из 550 сверхсовременных цифровых фильтров на печатных платах «следующего поколения». Фото: ESO

Европейские партнеры ALMA во главе с Европейской южной обсерваторией (European Southern Observatory; ESO), предоставили своим коллегам многофункциональную систему цифровой фильтрации, которая состоит из 550 сверхсовременных цифровых фильтров на печатных платах «следующего поколения». Эта система была спроектирована и построена для ESO Университетом Бордо во Франции. Фильтры увеличивают способность системы обрабатывать сигнал. С их помощью длины волн излучения, принимаемого антеннами ALMA, могут быть расщеплены на части, в 32 раза более мелкие, чем в первоначальной схеме. Это позволяет системе оперировать сигналами с гораздо большее высоткой чувствительностью.

«Это значительно улучшило гибкость системы, сделав ее возможности поистине фантастическими», сказал Ален Бодри из Университета Бордо, руководитель европейской группы разработчиков коррелятора ALMA. «С помощью фильтров мы можем секционировать и фрагментировать спектр принимаемого антеннами излучения в самых широких пределах. Иными словами, мы можем сконцентрироваться именно на той длине волны, которая требуется для проводимого исследования — будь то отображение молекул газа в облаках ионизированного водорода, где происходит звездообразование, или поиск самых далеких галактик во Вселенной».

Энрике Гарсия, инженер из службы технической поддержки, рассматривает систему, вдыхая кислород из баллона в рюкзаке. Здание ALMA находится так высоко, что людям доступно в два раза меньше кислорода по сравнению с площадками на уровне моря. Фото: ESO / Макс Александр

Примечательно, что коррелятор ALMA — лишь одна из двух таких систем в данном комплексе для астрономических исследований. Он будет отвечать за 50 антенн. За дополнительную решетку из 16 антенн, которая называется Атакамской компактной решеткой (Atacama Compact Array; ACA), отвечают специалисты Национальной астрономической обсерватории Японии (NAOJ), создавшие второй коррелятор в сотрудничестве с компанией Fujitsu. Конфигурация данного суперкомпьютера включает 35 серверов Fujitsu Primergy на x86-совместимых процессорах и специализированный вычислитель. В его состав входит массив дополнительных вычислительных блоков на базе 4096 программируемых пользователем вентильных матриц (FPGA), которые связанных между собой с помощью 1024 оптоволоконных соединений. Система обладает производительностью на уровне 120 трлн. операций в секунду.