Что делать после того, как вы уже построили крупный и мощный коммерческий дата-центр, который пользуется повышенным спросом со стороны корпоративных клиентов? Если вы колокейшн-провайдер Switch (эта компания предоставляет помещения в машзалах своих серверных ферм для совместного размещения клиентского серверного оборудования), ответ очевиден: прямо по соседству со “старым” ЦОД можно построить новый.

В конце 2008 года инженеры Switch ввели в эксплуатацию дата-центр SuperNAP площадью 40 тыс. квадратных метров. Этот ЦОД расположен в Лас-Вегасе, штат Невада (США) (отправиться в фотоэкскурсию по нему вы можете после перехода по этой ссылке). Внутри него размещаются серверы и систем хранения многих ведущих мировых технологических компаний, включая оборудование более чем 40 провайдеров платформ для облачных вычислений.

Но спрос на площади в машзалах этого ЦОД оказался насколько высоким, что уже через несколько лет после его запуска специалисты Switch принялись за строительство нового дата-центра в “городе греха”, который получил название SuperNAP 8. Он может похвастать множеством нововведений в области охлаждения и высоким уровнем надежности. Совсем недавно SuperNAP 8 стал первым многопользовательским дата-центром в США, которому удалось пройти сертификацию на соответствие стандартам Uptime Institute с присвоением уровня надежности Tier IV.

Элементы системы охлаждения, расположенные за пределами внутренних помещений дата-центра SuperNAP 8 в Лас-Вегасе. Эти 1000-тонные (около 3.5 МВт) блоки кондиционирования воздуха способны переключаться между несколькими режимами охлаждения. Кроме того, они снабжены маховиковыми ИБП для обеспечения непрерывной работы системы охлаждения ЦОД в течение длительного времени в случае перебоев в подаче электроэнергии. (Фото: Switch)

По словам основателя и генерального директора Switch Роба Роя, SuperNAP 8 является кульминацией работы инженеров компании, направленной на переосмысление концепции дата-центра. Уникальный проект SuperNAP 8 позволяет этому ЦОД эффективно работать в любых климатических условиях, и колокейшн-провайдер намерен воспользоваться данным проектом для ускорения экспансии в других регионах мира. К слову, положение американского колокейшн-провайдера на рынка уже сейчас можно назвать довольно крепким: в настоящее время отдельные клиентские зоны в дата-центрах Switch арендуют более 1000 компаний, дата-центры колокейшн провайдера облаживают 315 сотрудников, а в новых проектах по расширению инфраструктуры ЦОД участвуют более 1000 строителей.

Первый коммерческий ЦОД в США с сертификатом Tier IV

Результаты усилий инженеров Switch произвели огромное впечатление на специалистов организации Uptime Institute, которые оценивают надежность дата-центров по всему миру в рамках своей программы сертификации Tier. Примечательно, что до недавнего времени в США было только четыре введенных в эксплуатацию ЦОД, которые удостоились самого высокого рейтинга Tier IV, причем все эти дата-центры корпоративные, и принадлежат они поставщикам финансовых услуг. Но коммерческому дата-центру SuperNAP 8 удалось разнообразить список лучших серверных ферм американского государства. Представители Uptime Institute отметили, что этот ЦОД “может похвастать рядом хорошо спланированных и инновационных технологических решений, повышающих надежность физической инфраструктуры”.

ЦОД SuperNAP 8 площадью в 30 тыс. квадратных метров находится всего в паре минут ходьбы от первого дата-центра Switch SuperNAP в Лас-Вегасе, который теперь известен как SuperNAP 7. SuperNAP 8 был построен с использованием быстровозводимых модульных компонентов, разработкой и производством которых также занимаются специалисты компании Switch. Основным структурным элементом является модельная конструкция MacroMOD, вмещающая в себя два машзала. Всего в ЦОД четыре машзала, что дает некоторое представление о размерах модуля MacroMOD.

Ряды монтажных стоек с высокой плотностью размещения СХД, серверного и сетевого оборудования. Внутри стоек на фото размещены системы хранения данных производства компании Teradata. К стойкам примыкают разработанные специалистами Switch системы изоляции воздуховодов Т-SCIF. (Фото: Switch)

Так чем же новый ЦОД отличается от SuperNAP 7? На самом деле в плане начинки новый дата-центр не сильно отличается от своего предшественника, следовательно, и среднегодовой коэффициент эффективности потребления энергии (Power Usage Efficiency; PUE) у него примерно такой же – 1.18 единицы (для справки: среднегодовой коэффициент PUE по всем дата-центрам Google составляет 1.12).

Подобный уровень энергоэффективности является необычно высоким для многопользовательских ЦОД, операторы которых зачастую имеют меньше возможностей для увеличения температуры воздуха на входе в серверную стойку, чем их коллеги из корпоративных дата-центров. Так, инженеры Switch поддерживают внутри машзалов обоих дата-центров SuperNAP в Лас-Вегасе температуру в 69 градусов по Фаренгейту (20.5 градусов по Цельсию) при 40-процентной влажности, тогда как в машзалах гипермасштабных ЦОД Google и Facebook температура доходит до 80 градусов по Фаренгейту (27 градусов по Цельсию).

Силовая линия внутри комплекса SuperNAP в Лас-Вегасе. Мощность SuperNAP 7 в настоящее время составляет 100 мегаватт, в то время как арендаторам отдельных клиентских зон внутри SuperNAP 8 предлагается в общей сложности 50 мегаватт. (Фото: Switch)

Существенное различие между SuperNAP 7 и SuperNAP 8 кроется в принципах организации инфраструктуры. В дата-центре, который был создан с использованием “старого” проекта, по центру здания проходит мощная силовая линия, которая разветвляется на множество отдельных каналов, используемых для запитки оборудования внутри помещений с элементами вспомогательной инфраструктуры и машзалов, равномерно распределенных вокруг центральной части ЦОД. В случае SuperNAP 8 силовая линия проходит вдоль здания, разделяя его на машзалы с одной стороны и помещения со вспомогательным оборудованием (в данном случае речь о щитовых помещениях) – с другой.

Машзалы, на долю которых приходится большая часть внутреннего пространства ЦОД, отделены стеной от размещенных за пределами дата-центра блоков кондиционирования воздуха, выстроившихся вряд вдоль здания. Тогда как вдоль противоположной стены выстроились дизельные электрогенераторы. На схеме ниже эта концепция представлено более наглядно.

На схеме представлено попечение сечение ЦОД SuperNAP 8 (слева направо): ДГУ, щитовые помещения, силовая линия, машзалы и блоки кондиционирования воздуха. Подобное разделение энергетического оборудования от серверов и охлаждающих устройств обеспечивает дополнительную надежность. (Фото: Switch)

При создании SuperNAP 8 инженеры Switch увеличили мощность своих универсальных установок кондиционирования воздуха, холодопроизводительность каждой из которые теперь составляет 1000 тонн (около 3.5 МВт), тогда как в SuperNAP 7 установлены их 600-тонные аналоги (2.1 МВт). Блоки стали немного уже, что позволило разместить их с одной стороны здания, но верхние воздуховоды в SuperNAP 8 были расширены, чтобы увеличить интенсивность перемещения через них потоков воздуха в CFM (кубические футы в минуту), расширению подверглись и “холодные” / “горячие” коридоры, входящие в состав продвинутой системы изоляции воздуховодов Switch.

Охлаждающие блоки, которые размещены вне здания, являются необычайно универсальными, поддерживая шесть различных режимов охлаждения. Программное обеспечение, которое управляет системой, выбирает наиболее эффективный метод охлаждения на основе результата анализа наружной температуры и ряда других параметров. Поверх новых блоков кондиционирования воздуха в SuperNAP 8 расположены воздухозаборники с характерной конструкцией – отражение амбиций Switch касательно экспансии на новые рынки. Эти конструкционные элементы будут защищать блоки кондиционирования воздуха от накопления льда и снега в более холодном климате, а также позволят Switch использовать отработанный воздух из “горячих” коридоров ЦОД, чтобы растопить снег.

Маховиковые ИБП увеличивают надежность системы охлаждения ЦОД

Еще одним нововведением, применявшимся при создании SuperNAP 8, является система источников бесперебойного питания (ИБП) Rotofly, которая использует вращающиеся маховики весом в 900 килограммов (2000 фунтов), чтобы продлить время работы каждого блока кондиционирования воздуха в случае отключения подачи электричества из центральной электросети.

Улучшения системы охлаждения произошли и во внутренней части дата-центра. Речь о стальном каркасе под названием Black Iron Forest (Железный лес). Сталь в данном случае играет сразу две роли: обеспечивает физическую поддержку для системы изоляции воздуховодов Switch (известна как T-SCIF) и помогает охлаждать дата-центр, выступая в качестве теплоаккумулятора (Thermal Storage), охлаждая воздух вокруг себя и помогая охладить машзал, что смягчает негативные последствия при аварийном отключении основной системы охлаждения.

Тот самый “Железная лес”, формируемый столбами из утолщенной стали, которая поддерживает систему изоляции воздуховодов Switch, а также выступает в качестве системы хранения тепловой энергии. Подобный подход помогает дольше сохранять приемлемую температуру внутри машзалов в случае аварийного отключения подачи электроэнергии. (Фото: Switch)

“Когда в помещении постоянно поддерживается температура в 20 градусов по Цельсию, температура железа, из которого составит Black Iron Forest, также достигает 20 градусов по Цельсию и сохраняется на этом уровне в течение длительного периода времени даже в случае отключения электроснабжения”, сказал Рой. “Это что-то вроде отопительных радиаторов, только наоборот. Железные балки тяжелее, чем они должны быть для поддержания конструкционной целостности здания. Мы сделали это специально, чтобы они могли дольше сохранять нужную нам температуру”.

Крыша является еще одним козырем нового ЦОД. В SuperNAP 8 используется система двойной кровли SwitchSHIELD, которая может защитить дата-центр от ветра со скоростью до 90 м / с. Два слоя кровли разделены воздушным карманом высотой в три метра. Они крепятся к бетону и стальным конструкционным элементам ЦОД. Это позволяет Switch заменять или ремонтировать один из уровней двойной кровли без потери надежного механизма защиты от непогоды для серверов, размещенных в машзале.

Двойная кровля SwitchSHIELD обеспечивает два уровня защиты и способна выдерживать воздействие ветра со скоростью до 90 метров в секунду. Два слоя кровли разделены воздушным карманом высотой в 3 метра. (Фото: Switch)

Технология SwitchSHIELD также создавалась с прицелом на экспансию на другие рынки. В Лас-Вегасе торнадо можно назвать чрезвычайно редким явлением, при этом за всю историю метеонаблюдений в регионе никогда не фиксировалась скорость ветра, которая требовала бы подгибного уровня защиты. Но двойная кровля пригодится колокейшн-провайдеру при выходе на рынки регионов, подверженных ураганам и торнадо.

Switch не планирует замедляться

“Роб Рой установил новую планку производительности и стандартов качества в нашей отрасли”, сказала исполнительный вице-президент Switch по вопросам совместного размещения клиентского серверного оборудования Мисси Янг. “Под его руководством Switch SuperNAP продолжит менять индустрию ЦОД и мир высоких технологий, позволяя крупным корпорациям эксплуатировать свое серверное оборудование, не страшась потери отказоустойчивости и используя самые инновационные разработки. Ни один из наших ЦОД еще ни разу не уходил в офлайн. И мы не планируем замедлять работу над улучшением своей инфраструктуры. Но нашей главной задачей остается обеспечение достаточно высокой скорости возведения зданий ЦОД, чтобы удовлетворить спрос со стороны текущих и потенциальных клиентов. Добиться этого позволяет модульный подход “.

Компания и самом деле не собирается останавливаться: недалеко от SuperNAP 8 строительные отряды начинают работу по возведению дата-центра SuperNAP 9, который будет самым крупным проектом в истории Switch: площадь объекта превысит 60 тыс. квадратных метров. Как ожидается, строительные работы будут завершены в первой половине 2015 года.