Французская нефтегазовая компания Total, которая является четвертой по объему добычи в мире после Royal Dutch Shell, BP и ExxonMobil, собирается повысить эффективность работы своих специалистов, которые ведут поиск скрывающейся в земной коре нефти. Как известно, наиболее благоприятными для образования нефти являются неустойчивые в прошлом участки земной коры на границах областей опускания и поднятия. За счет сильного размыва суши в этих областях там быстро накапливались осадки и органические материалы, опускаясь со времени во все более глубокие зоны земной коры, что сопровождалось ростом давления и подъемом температуры, содействовавшим процессам нефте- и газообразования.

Суперкомпьютеры позволяют найти те самые неустойчивые участки земной коры и с высокой долей вероятности спрогнозировать, где срывается черное золото. Именно поэтому специалистам Total и нужна дополнительная вычислительная мощность. Французская компания выплатят Silicon Graphics (SGI) € 60 в течение следующих четырех лет, чтобы последняя спроектировала и построила крупнейший и самый мощный коммерческий суперкомпьютер в мире. Кроме того, сервисное подразделение компании SGI (Professional Services) в течение последующих 4 лет будет заниматься технической поддержкой всего поставленного оборудования.

Машина будет именоваться Pangea. Суперкомпьютер разместится в Научно-исследовательском вычислительном центре им. Жана Фежера (Jean Feger Scientific and Computing Centre; CSTJF) на юго-западе Франции. Графические процессоры и сопроцессоры в системе использоваться не будут – только CPU. Машина будет основана на блэйд-серверах ICE X от SGI, первые модификации которых были анонсированы еще в ноябре 2011 года. Эти серверы попали на рынок весной следующего года после релиза процессоров Xeon E5-2600 от Intel, на которых и основаны вычислительные кластеры.

В настоящее время в распоряжении специалистов Total уже имеется суперкомпьютер SGI Altix ICE 8200EX на основе четырехъядерных процессоров Xeon и сетевой аппаратуры InfiniBand, который работает на базе SUSE Linux Enterprise Server 10 и математической библиотеки ProPack от SGI. Эта машина имеет 10240 ядер и пиковую теоретическую производительность в 122.9 терафлопс, при этом она потребляет 442 киловатт электроэнергии, то есть энергоэффективность составляет в данном случае 278 мегафлопс на ватт. Этот суперкомпьютер был введен в эксплуатацию в 2008 г., став 11-м по мощности в мире.

Одним из самых интересных элементов старого суперкомпьютера Total является система охлаждения. Температурный режим двухузловых блэйд-серверов ICE X Dakota, которые размещаются в конфигурация по 72 вычислительных модуля на одну серверную стойку, поддерживается воздушной внутрирядной системой прецизионного кондиционирования с открытым контуром циркуляции. Кроме того, серверные стойки ICE X объединены в кластеры по четыре штуки под внешней оболочкой, которая называется D-Cell. В результате чего они превращаются в автономный мини-ЦОД (с точки зрения термодинамики), для отвода тепла из которого можно использовать водно-воздушную систему охлаждения с закрытым контуром.

Суперкомпьютер Pangea во французском вычислительном центре Total будет одним из самых мощных в Европе

При создании нового суперкомпьютера инженеры Total хотят повысить уровень плотности размещения вычислительных элементов. Поэтому на этот раз будут применяться двухузловые блэйд-серверы IP-115 Gemini на процессорах Xeon, которые будут размещены в серверных стойках M-Rack. Для охлаждения процессоров планируется задействовать не обычные радиаторы, а холодные приемники отводимого тепла (cold sink) — охлаждающие элементы, через которые протекает хладагент (охлаждающая жидкость). Серверы Gemini имеют в два раза меньше памяти и дискового пространства по сравнению с блэйдами Dakota, но отличаются превосходной энергоэффективностью и более компактными размерами. Если инженерам удастся вместить в серверные стойки в два раза больше вычислительных узлов по сравнению с предыдущим суперкомпьютером, то вышеназванный недостаток будет нивелирован.

Если накрыть четыре стойкой с блэйд-серверами IP-115 Gemini оболочкой от SGI, которая теперь называется M-Cell, то можно получить мини-ЦОД с 576 вычислительными узлами и 36 Тб памяти, занимающий ничтожно малое пространство — 7.4 квадратных метра. Вычислительную систему дополнит сетевая аппаратура FDR InfiniBand от Mellanox Technologies. В целом суперкомпьютер будет иметь 110592 вычислительных ядер и 442 Тб оперативной памяти, а вычислительные узлы будут связаны с помощью более чем 120 км волоконно-оптического кабеля. Машина на базе восьмиядерных процессоров Xeon E5-2670 с частотой в 2.6 ГГц будет иметь пиковую теоретическую производительность около 2.3 петафлопс.

Представители SGI отмечают, что в серверах Gemini также можно использовать и воздушное охлаждение, но в этом случае необходимо будет перейти на менее производительные процессоры Xeon с расчетной тепловой мощностью (Thermal Design Power; TDP) в 95 ватт. В то же время при использовании серверов с водяным охлаждением можно применять процессоры с TDP до 115 ватт. Технические ограничения мешают использовать в вычислительные кластеры на базе наиболее производительных моделей Xeon E5 с расчетной тепловой мощностью в 130 ватт.

В Pangea ко внешнему охладительному контуру M-Cell будет подвываться вода с температурой 25 ° С, а температура отработанной жидкости составит 35 ° C. Хладагент будет циркулировать по “венам” суперкомпьютера при скорости в 250 кубических метров в час, чтобы отвести выделяемое процессорами и другим IT-оборудованием тепло. План инженеров также предполагает использование выделяемого начинкой суперкомпьютера Pangea тепла в системе отопления и водоснабжения научно-технического центра.

Но задачи Pangea будут сводиться не только к вычислительным операциям. Проект также предполагает внедрение дискового массива SGI InfiniteStorage 17000, который предназначен для хранения гигантских объемов данных, суперкомпьютерных вычислений и задач в области интенсивной работы с данными в режиме реального времени. Этот массив характеризуется превосходными показателями производительности среди систем хранения на платформе одного массива RAID. Пропускная способность InfiniteStorage 17000 достигает 40 ГБ/с, а производительность — 1.4 млн. IOPS.

Дисковый массив Pangea будет работать на базе файловой системы Lustre и состоять из 1750 накопителей, что соответствует объему в 7 петабайт. В конфигурацию InfiniteStorage 17000 входит 160 выделенных линий SAS 6 Гбит/с. Порты FDR InfiniBand будут применяться для внешнего подключения. Кроме того, в системе хранения Pangea будет применяться ленточные накопители на 4 терабайта для резервного копирования данных. Для обеспечения работоспособности вычислительной подсистемы и системы хранения данных суперкомпьютера потребуется 2.8 мегаватт электроэнергии.

Еще один интересный момент: как уже отмечалось, в новой системе для суперкомпьютерных вычислений Total не будут использоваться ни GPU Tesla от Nvidia на сопроцессоры Xeon Phi от Intel. Специалисты SGI могли бы подготовить несколько блэйдов с сопроцессорами, что позволило бы получить сбалансированное соотношение процессоров и сопроцессоров, но это отнюдь не значит, что приложения Total будут исправно работать в подобной системе. Примечательно, что компания планирует удвоить производительность машины на базе ICE X к 2015 году, чтобы та не отставала от аналогов в гонки вооружений терафлопсов среди предприятий нефтяной и газовой промышленности.

Поражает стоимость машины. Не верится, что можно создать суперкомпьютер на 2.3 петафлопса, который основан только на x86-процессорах, с системой хранения на 7 петабайта, а затем удвоить производительность машине всего через два года, заплатив за все это всего лишь € 60 ($ 77.3 млн.). Если предположить, что на долю вычислительной подсистемы приходится около двух третей от совокупной стоимости машины, и примерно две трети от общей стоимости приходятся на исходную систему, а треть – на апгрейд, то выходит, что 1 терафлоп Pangea обойдется Total примерно в $ 15000, а при обновлении машины ценник будет вдвое меньше.

Тем не менее, цена за терафлопс в данном случае на 25 выше, чем в случае системы Blue Waters, созданной для нужд Университета Иллинойса в США. Тот суперкомпьютер был построен Cray и работает на процессорах AMD Opteron и графических сопроцессорах NVIDIA Tesla. С другой стороны, Total заключил более выгодную сделку, чем покупатели суперкомпьютера XE6 от все той же Cray, который был представлен несколько лет. В случае XE6 один петафлопс обходился в $ 45000. Закон Мура – ничего не попишешь.

Если предположить, что вычислительная подсистема Pangea будет потреблять большую часть электроэнергии (давайте снова предположим, что на ее долю будет приходиться две трети совокупного энергопотребления), то вычислительная эффективность этой машина будет составлять около 1225 мегафлопс на ватт (при пиковой теоретической производительности). Это в 4.4 раза лучше, чем в случае суперкомпьютера, которым инженеры Total в настоящее время пользуются. Наверное, это и есть самое главное преимущество новинки — после возможности использования существующего сейчас программного обеспечения для сейсмического анализа и моделирования без изменения его кода.