Подготовка ЦОД к землетрясению: опыт японских, тайваньских и американских инженеров

В период с января по апрель 2024 года в Восточной Азии произошло 3 землетрясения магнитудой 7,6 и 7,2 по шкале Рихтера. Ущерб составил миллиарды долларов. Сотни людей погибли. Несмотря на масштабные разрушения в Японии и на Тайване, где произошли землетрясения, в обеих странах практически не пострадали фабрики по производству микросхем.

Несмотря на расположение в районах с высокой сейсмической активностью, такие фабрики построены с достаточной структурной прочностью, чтобы выдержать даже самые серьезные стихийные бедствия. Проектировщики и строители местных ЦОД сегодня активно используют эти наработки. Своим опытом поделились японские инженеры одного из крупнейших в мире колокейшн-провайдеров Colt Data Center Services (Colt DCS), а также их коллеги из тайваньских и американских компаний.

Представленная ниже информация будет полезна даже при проектировании ЦОД на территории России, где хватает сейсмоопасных зон, включая Кавказ, Поволжье, Алтай, Западную и Восточную Сибирь, а также Камчатку.

Проектирование отказоустойчивых дата-центров

Некоторые методы проектирования и строительства ЦОД считаются стандартными. Но в разных регионах, как правило, применяются разные подходы к повышению сейсмической стойкости. В Японии, где расположены дата-центры Colt, предпочтительным методом является виброизоляция фундамента. Почему? Из-за интенсивности энергии, генерируемой линиями разломов, на которых расположена страна.

Эта технология, впервые использованная Colt DCS в 2011 году, подразумевает размещение гибких опор или прокладок из слоев резины и свинца между фундаментом здания и возвышающейся над ним конструкцией. В случае землетрясения виброизоляция фундамента поглотит большую часть удара и, следовательно, уменьшит колебания и тряску содержимого дата-центра.

Все дата-центры Colt DCS в Японии и за ее пределами (при расположении в сейсмоопасной зоне) теперь обязательно проектируются с виброизоляцией фундамента. Хотя эта технология широко используется в Японии, в США и ряде других стран Запада она скорее в новинку. Для сравнения: в Европе, где сейсмическая активность встречается гораздо реже, поставщики дата-центров предпочитают так называемые силовые плиты.

Когда Colt DCS проектирует макет ЦОД, инженеры компании размещают наиболее важные компоненты, включая машзалы, помещения с электрическим оборудованием и другие вспомогательные помещения, необходимые для обеспечения непрерывности бизнеса, поверх виброизоляционного фундамента. Другие элементы, включая генераторы, которые сами по себе часто проектируются с расчетом на землетрясения, могут быть размещены непосредственно на земле.

Важно убедиться, что над серверами не подвешено ничего тяжелого на случай возможного смещения при землетрясении, что может повредить ценное IT-оборудование.

Еще один прием в арсенале компании Colt DCS — использование демпферов. Речь о гидравлических устройствах, которые рассеивают кинетическую энергию сейсмических событий и смягчают удары при соприкосновении отдельных конструкционных элементов здания.

Установив свинцовые демпферы в своем первом японском ЦОД в Индзае, компания пошла еще дальше при проектировании более свежего дата-центра в Кейханне. Колокейшн-провайдер использовал там комбинацию масляных демпферов, изготовленных из натуральной слоистой резины, и системы маятников с узлом трения / фрикционных маятников (разновидность механизма виброизоляции фундамента, который позволяет осуществлять амортизацию как в вертикальной, так и в горизонтальной плоскости).

Причина совмещения фрикционных маятников с масляными демпферами, проста. С помощью последних можно контролировать частоту гармонических пульсаций здания в зависимости от вязкости масла, тогда как фрикционный маятник отвечает за их гашение.

В результате использования технологии виброизоляции фундамента японский дата-центр Colt сдвинулся всего на 10 см, когда в марте 2011 года в Тохоку произошло землетрясение магнитудой 9,1 (см. фото выше).

Схожие технологии использует конкурирующий азиатский поставщик услуг ЦОД корпорация NTT в своей серверной ферме Tokyo 6 Data Center, которая располагается в столице Японии, а также в других ЦОД (см. видео ниже). По оценкам компании, сейсмоизоляция здания позволяет выдерживать землетрясения большой силы, снижая механическое воздействие на 80% и минимизируя возможное повреждение клиентского оборудования.

В защите от землетрясений нуждаются не только японские ЦОД

Эти и другие технологии также часто применяются для обеспечения конструкционной целостности дата-центров на западном побережье Америки и в Восточной Азии, где большая часть территории покрыта линиями сейсмических разломов. Как следствие, риск землетрясений весьма значителен.

По словам экспертов инженерно-консалтинговой фирмы Arup, сейсмическая активность — одно из самых сложных природных явлений в контексте обеспечения защиты. Поэтому в компании предпочитают использовать такие термины как «устойчивость» или «укрепление», а не «защита», когда обсуждают методы строительства ЦОД в сейсмоопасных районах.

Некоторые из этих методов описаны на официальном сайте производителя микросхем TSMC. И многие из них чипмейкер называет новаторскими. После землетрясения магнитудой 7,3 в Чи-Чи на Тайване в 1999 году компания реализовала ряд планов по управлению сейсмической защитой, которые превосходят требования тайваньского правительства.

К ним относятся установка сейсмостойких анкеров на все оборудование и сооружения, обустройство плавающих свай на новых фабриках для снижения амплитуды сейсмических колебаний на 25% и формирование команды из 180 специалистов по защите от землетрясений. В результате после последней серии землетрясений компания TSMC не сообщила о серьезных повреждениях оборудования ни на одном из своих объектов.

Компания Arup из Калифорнии, использует наработки TSMC и других партнеров, помогая клиентам строить новые и модернизировать старые ЦОД с акцентом на максимизацию сейсмостойкости. Как отмечают в компании, некоторые поставщики услуг ЦОД ошибочно считают, что дата-центр, построенный в соответствии с местными строительными нормами, автоматически получит надлежащий уровень сейсмической устойчивости. Однако это не так: строительные нормы часто предназначены только для защиты жизней обитателей здания.

Чтобы оказать дополнительную помощь менее опытным клиентам, Arup также помогла разработать руководящие принципы для проектировщиков REDi (Resilience-based Engineering Design Initiative). Помимо предоставления заинтересованным сторонам рекомендаций, эта система предполагает сертификацию проектов с присвоением рейтинга «Серебро», «Золото» и «Платина».

Проверка стоек на прочность

Конечно, при строительстве ЦОД в сейсмоопасной зоне важно использовать системы виброизоляции фундамента и современные демпферы, а также убедиться, что над серверами не подвешены тяжелые трубы. Но как узнать, достаточно ли этого для защиты дата-центра в случае землетрясения?

Когда в апреле 2024 года, как правило, сейсмически стабильный Нью-Йорк застало врасплох землетрясение магнитудой 4,8, инженер IBM П. Дж. Каталано пошутил в сети X (ранее Twitter): «Рад сообщить, что все 200 мэйнфреймов в Покипси, штат Нью-Йорк, успешно прошли это БЕСПЛАТНОЕ испытание на сейсмостойкость!»

После землетрясения Каталано объяснил, что для обеспечения сохранности мэйнфреймов в случае катастрофы был разработан многоэтапный подход к тестированию, которому подвергается все оборудование перед установкой. Все начинается с компьютерного моделирования, чтобы оценить, какие материалы нуждаются в усилении жесткости, и нужно ли перераспределение веса. Вторая фаза – прототипирование. Инженеры тестируют реальные материалы в реальном мире.

После завершения этих этапов IBM проводит испытания на вибростенде и эксплуатационные вибрационные испытания. Эксплуатационные вибрационные испытания должны гарантировать, что стойка и ее компоненты продолжат функционировать в экстремальных условиях. Например, при запуске высокоскоростной железнодорожной линии или оживленного шоссе в непосредственной близости от дата-центра.

Также есть испытание на транспортировку. В ходе него IBM имитирует размещение своих стоек в кузове 18-колесного грузовика, перемещающегося по шоссе со скоростью около 100 километров в час. Как отмечает Каталано, «если стойка не сможет с этим справиться, то землетрясение ей точно не по силам».

Наконец, наступает черед испытаний на землетрясение, в ходе которых IBM испытывает ребро жесткости и комплект для сейсмозащиты. Такие комплекты компания продает в качестве опции клиентам, работающим в районах со значительной сейсмической активностью. IBM также стремится получить сертификацию в независимых лабораториях, чтобы повысить свой авторитет и доказать клиентам, что система работает так, как надо.

Изменение климата — новый рубеж устойчивости

Сейсмическая активность остается одним из основных бедствий, от которых организации хотят защитить IT-инфраструктуру. Но есть и другие источники риска. Например, экстремальные погодные условия, все чаще возникающие в результате изменения климата. Они влекут за собой целый ряд новых проблем с устойчивостью.

Эти проблемы актуальны для многих поставщиков услуг ЦОД в регионах, где обеспечение сейсмостойкости не ставят в число главных задач при строительстве серверных ферм. Например, для Великобритании. Когда летом 2022 года страну поразила рекордная «волна тепла», Google, Oracle и лондонский фонд Guy’s and St Thomas’ NHS Foundation Trust сообщили о перебоях в работе дата-центров, поскольку температура поднялась до рекордных 40 °C (104 °F).

Есть еще наводнения, который также провоцируются изменением климата. Это наиболее интуитивно понятная разновидность стихийного бедствия, от которого нужно защищаться. Достаточно просто поднять фундамент, установить отстойники и ливневые дренажи.

Поскольку многие дата-центры построены из сборных железобетонных конструкций и имеют очень мало отверстий, они довольно устойчивы к большинству сильных ветров. Однако даже это часто не гарантирует полную защиту от торнадо. Такие климатические явления сегодня не редкость даже в Подмосковье, где строится большое число российских ЦОД. Согласно актуальным подсчетам метеорологов, в целом в России происходит около 3 сотен смерчей в год, включая до полусотни сильных.

Учитывая вышесказанное, проектировщикам, операторам и строителям ЦОД сегодня нужно быть готовыми ко всему. Если не к землетрясениям, то к экстремальной жаре и провоцируемым ею наводнениям, а также смерчам. Благо, мирового опыта, позволяющего подготовиться, хватает.