Минувшим летом в распоряжении австралийских ученых появится уникальный ЦОД, внутри которого разместился один из мощнейших суперкомпьютеров на Зеленом континенте. Серверная ферма под названием Pawsey Supercomputer Centre (Центр суперкомпьютерных вычислений Поуси) находится в Перте, штат Западная Австралия. Этот объект был создан благодаря финансовой и инженерной поддержке австралийского правительства, администрации штата Западная Австралия, организации CSIRO и четырех местных университетов.

Внутри ЦОД разместился суперкомпьютер с производительностью, которая совсем скоро – после планового апгрейда – будет исчисляться петафлопсами (тысяча триллионов операций с плавающей точек в секунду). Эта машина будет способна обрабатывать огромные массивы данных для научных изысканий. Известно, что суперкомпьютер будет применяться среди прочего для поддержки строящегося в данный момент уникального радиоинтерферометра SKA (Square Kilometre Array), приемные антенны которого будут разнесены на расстояния более 3000 километров от ядра.

Корреспонденты ресурса iTnews посетили объект в начале июля – за несколько дней до того, как строители передали его новым владельцам, которые начали установку вычислительных систем и сетевого оборудования. Ниже можно обнаружить созданную ими фотоэкскурсию.

Добро пожаловать в Центр суперкомпьютерных вычислений в Перте, внутри которого разместились кластеры мощнейшего суперкомпьютера.

Так экстерьер дата-центра Pawsey общей мощностью в 2 МВт выглядел в начале июля.

Проект является результатом сотрудничества между правительством Австралии, которое выложило в него $ 80 млн., администрацией штата Западная Австралия, которая выделила еще 20 миллионов долларов, и следующими научно-исследовательскими учреждениями: CSIRO, Университет им. Куртина, Университет им. Эдит Коуэна, Университет им. Мердока и Университет Западной Австралии.

Кампус ЦОД за $ 100 млн. состоит из двух больших многоуровневых зданий, расположившихся на холме в технопарке Перта. Здания создавались с использование железобетонных конструкций, которые часто применяются строителями из Западной Австралии. Его интерьер и экстерьер освещают энергоэффективные LED-лампы, расположение которых придает строениям схожесть с печатными платами и полупроводниками. На фото выше можно увидеть вестибюль и офисные помещения (слева направо), которые занимают верхний этаж. Ниже находятся три машзала.

Неподалеку инженеры создают весьма интересный механизм снижения энергопотребления дата-центра. Они бурят скважины глубиной в 130-140 метров, чтобы получить доступ к водоносному горизонту Mullaloo, из которого в ЦОД будет подаваться прохладная вода. Эта жидкость будет использоваться в рамках системы охлаждения ЦОД, предназначенной для оптимизации температурного режима кластеров суперкомпьютера. Концепция охлаждения ЦОД с использованием подземных водоносных горизонтов является относительно новой, но исследователи уверены, что с ее помощью они смогут сэкономить большое количество энергии и воды.

К числу других инновационных энергосберегающих технологий, которые взяли на вооружение австралийцы, относится солнечная ферма мощностью в 135 кВт. Стандартные солнечные панели на крыше объекта будут применяться для запитки насосов, выкачивающих воду из-под земли. На фото выше вы можете увидеть полупрозрачные фотоэлектрические элементы, установленные на стене здания. Он будут не только превращать энергию Солнца в электричества, но и блокировать 70 процентов света, посыпающего внутрь объекта. Мощность этого массива солнечных панелей составляет 9 кВт. На крыше центра суперкомпьютерных вычислений также размещены элементы системы сбора дождевой воды, которая используется в туалетах внутри здания.

На фото выше запечатлена зона общественного пользования на верхнем этаже объекта, где исследователи могут общаться и отдыхать. До создания Pawsey Supercomputer Centre местные ученые имели доступ к двум суперкомпьютерам: машина под названием Epic производительностью в 87 терафлопс находится в Университете Мердока, а суперкомпьютер Fornax – в Университете Западной Австралии. При создании обеих машин инженеры обкатывали технологии, примененные ими впоследствии при создании нового ЦОД, на проектирование и возведение которого ушло три года.

Рядом с просторным холлом разместилось помещение для визуализации, оборудованное аппаратурой iVEC. Эта система визуализации позволяет исследователям взаимодействовать с данные совершенно новым способом, что создаст новые возможности для более глубокого проникновения в суть научных проблем и проведения сложнейших научных исследований.

Такой вид открывается из холла на верхнем этаже здания. Это самый большой из трех машзалов ЦОД. Общая площадь всех машзалов составляет 1000 квадратных метров. Каждый из них может похвастать очень глубоким (три метра) фальшполом, при этом большинство элементов системы охлаждения и электроэнергетической инфраструктуры – в том числе блоки PDU (или устройства распределения электропитания) – размещается под фальшполом.

Так этот же машзал выглядит снизу. Сейчас на этом месте находятся кластеры суперкомпьютера под названием Magnus производства Cray. На данный момент мощность этой машины на базе чипов Intel с архитектурой Sandy Bridge составляет 69 терафлопс, но после завершения второго этапа развертывания системы (июнь 2014 года) ее мощность будет расширена до петафлопса. При этом суперкомпьютер будет переведен на процессоры Intel с архитектурой Ivy Bridge. В том же машзале впоследствии разместиться еще один суперкомпьютера Cray с меньшей производительностью (200 терафлоп), который будет использоваться участниками проекта ASKAP (Australian SKA Pathfinder) и учеными из радиоастрономической обсерватории Murchison Radio Observatory.

Это соседний машзал, где сейчас находится телекоммуникационное оборудование, соединяющее отдельный суперкомпьютеры на кампусе ЦОД с австралийской сетью AARNET (Academic Research Network) через коммутаторы Cisco Nexus и брандмауэры Palo Alto. В этом и третьем машзале теперь также находятся элементы системы хранения данных: система ленточных накопителей на 20 петабайт от SpectraLogic (в дальнейшем емкость библиотеки на базе стримеров будет доведена до 100 петабайт), а также шестипетабайтная дисковая система хранения данных от NetApp, за поставку и наладку которой отвечала SGI.

В этом помещении работают операторы ЦОД. Сейчас там несколько больших экранов и четыре рабочие станции. Оборудования так мало, потому что объект был спроектирован по принципу “Lights Out” (то есть для его обслуживания требуется минимальное количество персонала, физически присутствующего в дата-центре).

Добро пожаловать в чреве зверя. Сейчас мы на цокольном этаже – под машзалами. Здесь вы можете увидеть блоки PDU, с помощью которых запитывается суперкомпьютер и система хранения данных.

Обратите внимание, что лотки с сетевыми и силовыми кабелями находятся под машзалом, а не над ним. Проектировщики объекта решили, что так будет проще их обслуживать и модернизировать. Также примечательно, что на объекте практически не используются медные сетевые кабели, они уступили место оптическому волокну.

Эти трубы подключены к установкам кондиционирования воздуха под машзалом. Суперкомпьютеры имеют гибридное жидкостное охлаждение. Вода с температурой в 16 градусов по Цельсию поступает в машзал и распределяется по радиаторам, которые прикреплены к стойкам. Два больших вентилятора на одном конце каждой стойки прогоняют через нее охлажденный воздух. Воздух, покидающий стойку на другом ее конце, может оказаться холоднее, чем температура окружающей среды в помещении, которую операторы ЦОД стремимся поддерживать на уровне около 24 градусов по Цельсию. Эта технология позволяет удалить около 90 процентов тепла, выделяемого кластерами. Примечательно, что система также способна использовать наружный воздух для охлаждения вычислительной инфраструктуры (фрикулинг). Происходит это, когда температура в Перте падает ниже 18 -19 градусов по Цельсию.

С учетом того, что вычислительные задачи, решаемые с помощью этого суперкомпьютера, не являются “критически важным”, австралийцы решили не комплектовать его дизельными электрогенераторами. Но зато тут есть достаточно ИБП для безопасного отключения машины. При этом каналов, через которые подводится охлажденная вода, тут хватает с избытком. Жидкость может поступать из центральной сети и подаваться в градирни или же выкачиваться из скважин и подводиться к специальным теплообменникам. Любой из этих механизмов позволяет на 100 процентов удовлетворять потребности системы в охлаждающей жидкости.

Наша фотоэкскурсия заканчивается рядом с градирнями. Они помогут охладить суперкомпьютер при отказе система выкачивания грунтовых вод (и наоборот). Градирни могут использовать до 250 тыс. литров H2O в день.