При создании дата-центра для высокопроизводительных вычислений MGHPCC (Massachusetts Green High Performance Computing Center) в городе Холиок, штат Массачусетс (США), строители, проектировщики и инженеры внедрили множество передовых технологий, которые делают данную серверную ферму одной из самых энергоэффективных в мире. Проект финансировался из казны штата Массачусетс. В его реализации участвовали представители частного сектора (в том числе и сетевой гигант Cisco Systems), а также пять крупнейших университетов американского штата: Бостонского университета, Гарварда, Массачусетского технологического института, Северо-Восточный университета и Университета штата Массачусетс.

Для эксплуатации ЦОД необходимо постоянное присутствие на его территории всего 10 человек, которые отвечают преимущественно за вспомогательную инфраструктуру, тогда как управление всеми IT-системами ведется удаленно.

Вход

Несмотря на достаточно высокий уровень автоматизации, данный ЦОД не обделен вниманием людей: MGHPCC посещают сторонние специалисты, чтобы перенять опыт. Предусмотрительные проектировщики снабдили здание двумя входами, которые ведут в общий коридор, разделяющий машзалы.

На фото выше представлен процесс монтажа фальшпола на первом этаже около входа.

Помещение с электроэнергетическим оборудованием

Помещение с электроэнергетическим оборудованием, которое достаточно сильно нагревается, сообщается с пятью распределительными шкафами, которые преобразуют напряжение подводимого на механическое оборудование и вычислительную технику тока до нужного уровня. По словам исполнительного директора MGHPCC Джона Гудхью, каждый распределительный шкаф весит от 100 до 150 килограммов, поэтому их монтаж проводился с помощью крана.

Серверы в ЦОД работают при повышенном напряжении, что позволяет уменьшить потери от преобразований.

Вместо того чтобы участвовать в системе реагирования на спрос, которую используют местные компании из сферы электроснабжения, или использовать дополнительные дизельные электрогенераторы (ДГУ) для поддержки IT-инфраструктуры в часы пиковой нагрузки на центральную электросеть, специалисты MGHPCC по мере необходимости понижают интенсивность вычислительной работы в часы пик. Все благодаря тому, что в ЦОД не запускаются критически важные приложения – только ПО для технических расчетов, анализа больших данных, моделирования физических процессов и так далее.

В здании используются кабель-каналы, потому что такой вариант прокладки кабелей является относительно дешевым, при этом его использование не приводит к формированию “горячих точек” как в случае кабельных бухт. Кабели проложены в трех метрах над уровнем пола, поэтому для получения к ним доступа нужна лестница. Операторы многих корпоративных серверных ферм также использую такой подход, так как он обеспечивает приемлемый уровень гибкости без непомерных расходов.

Помещение с ИБП

Помещение с источниками бесперебойного питания в здании MGHPCC наполнено рядами шкафов с маховиковыми ИБП. Несмотря на то, что покупка маховиковых источников бесперебойного питания предполагает более высокие первоначальные затраты, чем приобретение стандартных аналогов на базе аккумуляторных батарей, такие устройства, в конечном итоге, позволяет операторам ЦОД экономить большие деньги, потому что имеют более длительный срок службы. По словам Гудхью, операторам дата-центров, использующим маховиковые ИБП, можно забыть о замене отказавших или теряющих емкость батарей.

В дата-центре MGHPCC к ИБП подключено только 20% нагрузки со стороны IT-инфраструктуры и вспомогательного оборудования. Гудхью отметил, что подобное приобретение является крайне выгодным в плане техобслуживания: по сравнению с ЦОД, где используются не маховиковые ИБП, а аналоги на базе батарей, экономия составляет 500%.

Машзалы

В машзалах MGHPCC поддерживается температура в 27 градусов по Цельсию (80,5 градусов по Фаренгейту), при этом там также используется система герметизации “горячего” коридора. Нагретый воздух отдаляется всего примерно на метр от монтажной стороны серверных стоек, прежде чем он снова охлаждается. И все это без применения системы охлаждения на базе фальшпола.

Используя ровный пол, а не приподнятый фальшпол, специалистам MGHPCC удалось сэкономить около $ 1 млн. на стоимости строительства и устранить риск появления всевозможной живности под стойками. Отсутствие фальшпола упрощает очистку машзалов, перемещение и установку оборудования.

Используемая в дата-центре автоматическая спринклерная противопожарная система является “сухой”. Трубопроводы в ней заполнены сжатым азотом. Когда датчики обнаруживают задымление, открывается спринклерная головка, после чего давление в трубе падает, и вода начинает поступать с напорной стороны. Жидкость проходит через трубы, которые предварительно подверглись комплексному осмотру на предмет трещин с использованием рентгена. Столь строгие меры предосторожности были предприняты для предотвращения протечек.

Но заполненные сжатым азотом спринклерные системы подходят далеко не каждому дата-центру: в некоторых случаях целесообразнее использовать аналоги, которые постоянно заполнены водой.

Помещение с чиллерами в подвале

В MGHPCC используются чиллеры для охлаждения базовой нагрузки и небольшие компрессоры, которые позволяют добиться прецизионного охлаждения для повышения энергоэффективности ЦОД.

Поскольку дата-центр находится в Новой Англии, для которой характерен холодный климат, компрессоры для охлаждения серверов используются только на протяжении 30% дней в году. Как известно, компрессоры являются довольно энергозатратными, поэтому операторы ЦОД периодически заменяют их наружным воздухом, то есть используют фрикулинг.

“Мы используем климатические особенности региона, чтобы поддерживать температурный режим серверов на нужном уровне восемь с половиной месяцев в году “, сказал Гудхью.