Фото-экскурсия по ЦОД Amadeus, Мюнхен

Совсем недавно компания Amadeus объявила о завершении проекта по строительству энергоблока стоимостью 10 млн. евро. ЦОД Amadeus расположен в близи Мюнхена и предоставляет услуги многим туристическим агентствам, авиакомпаниям и железнодорожным операторам. Что же представляет из себя инфраструктура ЦОД, компании Amadeus мы расскажем в этой фото-экскурсии.

Высокое прямоугольное здание – офис Amadeus, а в более широком и угловатом здании располагается 6  машзалов и производственные помещения. ЦОД располагается вблизи  волоконно-оптических трасс, обслуживающих крупный европейский город Мюнхен и находится на относительно безопасном  участке для наводнений и землетрясений. Корпоративная штаб-квартира Amadeus находится в Мадриде (Испания) (500 сотрудников), разработка программного обеспечения на юге Франции (2500 сотрудников), управление офисом в Германии.

Amadeus описывает свою инфраструктуру как три центра обработки дан в одном здании, площадью 25 тыс. кв. метров. Каждый из этих трех ЦОДов состоит из двух огнестойких модулей, каждый из которых обслуживается одним техническим блоком (помещение ИБП, холодильное оборудование, дизель-генераторы и др.). Каждый технический блок (обслуживающий два серверных зала) оборудован  ИБП мощностью 3000 кВт, в 10 раз большей, чем в период строительства ЦОД в 1990 году. ЦОД подключен к двум  трансформаторным подстанциям, с мощностью до 12 МВт.

В здании также располагается  главный центр мониторинга за состоянием приложений и услуг, предлагаемых компанией, также есть помещение службы безопасности и мониторинга инфраструктуры ЦОДа. Любопытно, что сотрудники центра эксплуатации ЦОД, попадают в датацентр из отдельных соседних туннелей. Для того чтобы войти в ЦОД требуется наличие персонального бейджика, пин-код и еще ряд проверок.

Серверное и сетевое оборудование, а также  системы хранения в ЦОД Amadeus в совокупности образуют единую систему, которая обрабатывает большое число запросов на путешествия по миру.

Заказываете ли Вы тур в туристическом агентстве, непосредственно в авиакомпании или с помощью стороннего веб-сайта, вы вероятно, являетесь одним из более  чем полумиллиона запросом к  базе данных в секунду. В 2011 году ЦОД Amadeus обработал 948 млн. операций. Пиковой нагрузкой зафиксированной компанией Amadeus стал день, когда было обработано более миллиарда запросов или оформлено 3,7 млн. бронирований. ​​ Amadeus также управляет работой программного обеспечения, которое выходит за рамки сферы ответственности авиакомпаний — такие системы как контроль отправления, посадка клиентов на самолеты, управление полетами, бронирование и электронная продажа билетов. Недавно Amadeus расширил свои услуги до бронирования отелей, круизов и т.д.

Оборудование в ЦОД  Amadeus связано более чем семью тысячами  километров волоконно-оптических кабелей. Amadeus предоставляет услуги “Private G-WAN” (сеть IP MPLS) для таких клиентов, как Qantas. Amadeus приобретает и управляет  выделенными каналами связи от ЦОД до объектов авиакомпаний, чтобы гарантировать высокое качество обслуживания.

В каждом из шести серверных модулей есть свободное место, но нет оборудование, которое бы отвечала за одни и те же функции. Всё оборудование, как правило, распределяется между различными серверными залами, так  чтобы при аварии пострадало минимальное количество число клиентов и сервисов.

В ЦОД Amadeus размещается оборудование компаний IBM, Sun и HP, сетевая инфраструктура построена на оборудовании Cisco, дисковые хранилища  от IBM  и EMC. Что цепляет взгляд, так это мэйнфреймы. Они традиционно составляют ядро системы Amadeus. Amadeus работает с четырьмя мэйнфреймами IBM и пятым для тестирования. На данный момент техники находятся в процессе перехода с z9 до z10. Однако, это, вероятно, последнее поколение, в которое Amadeus будет инвестировать. Amadeus стремиться перейти к открытым вычислительным платформам. Большая часть систем Amadeus, DCS и систем инвентаризации уже работают на x86 платформе.

Это то, чем постепенно заменяются мэйнфреймы. Несмотря на то, что в эксплуатации много стоек с серверами x86  архитектуры, блейд сервера  — приоритетный выбор. Однако и у них есть свои особенности. Лезвия  в таком корпусе не охлаждаются воздухом, подающимся из-под фальшпола. В стойку встроен собственный механизм охлаждения, который требует отдельного ввода охлаждающей жидкости и компрессоров.

ЦОД был спроектирован и построен 25 лет назад из расчета низкой стоимости на электроэнергию. Кроме того, считалось, что сервера не могли безопасно работать при температуре выше 20°. Сегодня ASHRAE заявляет, что ИТ-оборудование может работать при температурах до 27 градусов. У Amadeus есть желание перевести режим  охлаждения своего оборудование на  более высокие температуре и таким образом сэкономить на стоимости электроэнергии, однако все это осложняется заложенной в прошлом инфраструктурой. Оригинальные мэйнфреймы Amadeus требовали около 50 квадратных метров для размещения (по сравнению с 10 квадратными метрами сегодня). По мере того, как новые, более компактные модели заменяли устаревшие, Amadeus начал размещать оборудование не в задней части зала, а в передней, но не так, как это соответствовало концепции холодно и горячего коридора, которая стала стандартом энергосбережения десять лет спустя. Перемещение некоторого оборудования сегодня потребует времени, которое компания просто не может себе позволить.

Те площадки в ЦОД, где реализация принципа  холодного/горячего коридора не возможна, создают «климатическое короткое замыкание» — горячий воздух из одного оборудования попадает в область с холодным воздухом другого. Для решения этого вопроса были созданы простые подвижные стены, которые отделяют зоны с теплым и холодным воздухом. Каждый градус, на который Amadeus может поднять температуру в серверном зале, экономит около 10.000 евро в год.

Холодный воздух подается в ЦОД через систему фальшполов высотой 80 см. Так же в подфальшпольном пространстве размещается СКС. В прошлом Amadeus просверливал дырки в плитах для подключения оборудования. Но этого создало две проблемы. Первая – это потеря драгоценного холодного воздуха, подкачиваемого из-под фальшпола. Вторая — дырки могли ослабить нагрузочную способности плит. Когда новое оборудование транспортировалось по фальшполу, существовал риск того, что некоторое оборудование  весом более тонны — могло провалиться. С тех пор в Amadeus изобрели «систему тетрис”, состоящую из металлических крышек, что позволило снизить до минимума потерю холодного воздуха, при этом способна выдерживать экстремальный вес и позволяет подавать кабели в стойку. Благодаря данному решению система кондиционирования работает более эффективно, что позволяет экономить около 40.000 евро на электропитании в год.

Стены ЦОД толщиной один метр, двери сертифицированны по T90 (способные противостоять пожару с температурой до 1000 градусов в течение 90 минут). Здание также способно поглотить взрыв.
Система нумерации рядов реализована на синей полоске.

Технический коридор между серверным залом  и техническими помещениям. В системе газового пожаротушения используется углекислый газ, смертельно опасный для человека. Это еще одна причина, почему в компании Amadeus невероятно строго относятся к правилам доступа в помещения. Кабели, которые выходят за пределы серверных залов оборудованных системами газового пожаротушения, покрыты белой пастой, которая защищает их от воспламенения.

Одно из трех технических помещений ЦОД. Здесь установлена серия холодильных машин со схемой  резервирования N+1. Эти холодильные машины забирают отработанную  нагретую воду, охлаждают и возвращают обратно. Amadeus также использует систему фрикулинга около 200 дней в году. В те дни, когда температура наружного воздуха ниже 12 градусов (и нет слишком большой влажности), теплый воздух из серверных залов  поднимается  на крышу здания, там он рассеивается на большой площади как туман, охлаждается наружным воздухом и возвращается в  систему кондиционирования  без использования чиллерных установок.

ИБП также реализованы по схеме N +1. Все ИТ-оборудования подключается через два PDU, которые подключены на две разные шины электропитания.

В ЦОД Amadeus установлено в общей сложности 12 дизель-генераторов — каждый из которых представляет собой 12-цилиндровый дизель, прикреплённый к генератору с мощностью до 1.2МВ. Таким образом, если понадобится, то две из этих установок смогут обеспечить работу всего ЦОД. Для выхода на заданную мощность дизелю требуется около 8-10 секунд. В резервуарах находиться 200 тыс. литров дизельного топлива,  достаточного для трех дней работы. Резервуары  могут пополняться даже во время работы  ДГУ.

по материалам: itnews.com.au