Как строят гипермасштабный ЦОД внутри десятиэтажки в центре Ванкувера: фотоотчет

Формат «высотного» ЦОД долго считался экзотикой. Классическая модель — одно- или двухэтажная постройка в промышленной зоне с большой площадью и простыми горизонтальными магистралями. Но если требуется разместить серверную ферму в центре мегаполиса с дефицитной и дорогой землей, логика меняется. В таких условиях вертикальный формат становится не архитектурным изыском, а инфраструктурной необходимостью.

В этом контексте показателен проект в центре канадского Ванкувера, предполагающий обустройство ЦОД внутри 10-этажного здания с подключенной мощностью в 39 МВт и перспективой роста до 100 МВт. Он интересен как этажностью, так и масштабом энергетических амбиций – речь о полноценном гипермасштабном ЦОД в плотной городской среде. Более того, площадка будет связана с инфраструктурой центрального теплоснабжения, допуская использование генерируемого серверами тепла в соседних постройках.

Кто стоит за проектом и где ведется строительство?

ЦОД финансирует канадский инвестфонд недвижимости Allied Properties REIT, также выступающий владельцем участка. Генподрядчик – компания Westbank Corp. Энергоснабжением займется BC Hydro. Партнеры планируют продажу контрольной доли стороннему оператору ЦОД с сохранением миноритарного участия. Формат REIT + девелопер + профильный оператор — типичная модель для городских инфраструктурных проектов.

Стройплощадка находится в центральной части Ванкувера на улице Вест Джорджия, 150. Рядом с ЦОД размещается популярный стадион BC Place. Поблизости также расположены элементы городской инфраструктуры теплоснабжения.

Перепрофилирование площадки

Изначально на рассматриваемом участке в центре Ванкувера должен был появиться крупный офисный проект, а не центр обработки данных. Площадка рассматривалась как часть многофункциональной городской застройки, дополняющей стадион BC Place.

В частности, изначальная концепция включала высотное офисное здание (в более ранних вариантах обсуждалась значительно большая этажность, чем текущие 10 этажей), коммерческие помещения, подземную часть с инфраструктурой и парковкой, а также модернизацию/интеграцию существующего теплоузла.

То есть изначально речь шла о коммерческой недвижимости офисного типа, соответствующей статусу центральной деловой зоны мегаполиса. Смена концепции связана с падением офисного рынка Ванкувера после пандемии: фиксируется рост пустующих площадей и снижение спроса на новые офисы. Одновременно спрос на вычислительную инфраструктуру в регионе резко вырос. В результате проект был переориентирован, при этом часть подземной инфраструктуры, связанной с теплоснабжением, сохранила актуальность.

Смена назначения с офиса на ЦОД означает пересчёт нагрузок на перекрытия, изменение схем вентиляции и охлаждения, переработку электрической архитектуры, увеличение доли инженерных помещений и усиление требований к пожарной безопасности. Рассмотрим изменения в деталях.

Электроснабжение: высота повышает цену ошибки

Чем выше дата-центр, тем более сложной становится энергетическая архитектура. В горизонтальном ЦОД магистрали короткие, электрораспределительные устройства размещаются компактно, а контроль общих точек отказа относительно прост. В многоэтажном здании электропитание организовано с применением множества вертикальных систем, где каждая шахта — это потенциальная точка отказа. Проект канадцев – не исключение.

В сообщениях партнеров фигурирует подземная линия электроснабжения от подстанции Murrin к площадке. В перспективе именно она будет обслуживать ЦОД в 100 МВт. Это означает, что проект изначально должен предусматривать:

• резерв по сечению магистралей;
• место под дополнительные распределительные устройства;
• расчёт токов короткого замыкания с учётом будущего роста;
• достаточную пропускную способность вводов.

Также отмечается использование «двух независимых линий электропитания», при обустройстве которых будет организовано физическое разнесение шахт. Также предусмотрены промежуточные распределительные уровни. Информация о конкретной технической реализации пока отсутствует. Это может быть техэтаж через каждые 2–3 уровня или распределительные узлы на каждом этаже.

Такое решение сокращает длину вторичных линий, уменьшает потери и повышает гибкость компоновки машзалов. Но одновременно оно усложняет координацию автоматических выключателей, расчёты по короткому замыканию и требования к противопожарной защите помещений.

Охлаждение: гидравлика против высоты

Если электроснабжение в высотке — это вопрос корректной прокладки трасс, то охлаждение — вопрос физики. Высота здания напрямую увеличивает статическое давление в системе жидкостного охлаждения. Без зонирования по уровням это приводит к:

• перегрузке нижних участков трубопроводов;
• повышенному риску разгерметизации;
• нестабильной работе насосных групп.

Практически во всех многоэтажных ЦОД система охлаждения делится на зоны давления.
Это означает использование промежуточных теплообменных узлов, разделение контуров и использование независимых насосных групп. Такой подход увеличивает стоимость проекта, но снижает аварийные риски.

В горизонтальном дата-центре утечка ограничена одним помещением. В высотном — стояк может проходить через несколько уровней. Поэтому обязательны:

• отсечные клапаны на каждом уровне;
• датчики утечки по зонам;
• продуманная система дренажа;
• доступ к узлам без демонтажа конструкций.

Увеличение плотности оборудования, связанное с вычислениями для нейросетей, усиливает требования к охлаждению: возрастает тепловая нагрузка на этаж, увеличивается объём теплоносителя, растут требования к насосным группам и усиливается нагрузка на вертикальные магистрали. В многоэтажке это особенно критично, поскольку любое увеличение нагрузки отражается на всей гидравлической системе.

Рекуперация тепловой энергии

Тандем дата-центра и городской системы теплоснабжения — инженерно-оправданная идея, но только при наличии конкретных условий. Для её реализации необходимы:

• потребитель тепла с круглогодичной нагрузкой;
• совпадение температурных режимов;
• узел подключения к магистрали;
• договорная модель передачи тепла.

Поскольку новый ЦОД расположится в центре города с большим числом потребителей тепла, а также рядом с действующим теплоузлом, появляется возможность интеграции. Но рекуперация тепла, возникающего в многоэтажном здании, усложняется высотой: при проектировании вертикальных стояков канадским инженерам придется учитывать не только охлаждение серверов, но и передачу излишков тепловой энергии во внешнюю сеть.

Компоновка здания

В горизонтальном дата-центре доля инженерных помещений в общей площади относительно предсказуема. В многоэтажном здании все сложнее. В его случае ужесточаются требования к делению на зоны в противопожарных целях, а также увеличиваются многие показатели, включая:

• количество вертикальных шахт;
• площадь техэтажей;
• протяжённость магистралей.

Кроме того, возникает необходимость усиления перекрытий, пересмотра нагрузок на конструкции и увеличения высоты технических помещений. При обустройстве высотного ЦОД нужно учитывать жёсткие требования к логистике. Например, грузовые лифты должны выдерживать вес трансформаторов, модулей бесперебойного питания, насосных агрегатов, а также иметь достаточные габариты.

Замена крупного оборудования в многоэтажке может стать сложной инженерной операцией, требующей временного демонтажа элементов фасада или перекрытий, если это не предусмотрено заранее. Эксплуатационная модель должна закладываться на стадии концепции, иначе ЦОД будет чересчур сложным в обслуживании с технологической точки зрения.

Практические выводы для проектировщиков, строителей и операторов ЦОД

Опыт канадских инженеров показывает, что для строительства многоэтажной серверной фермы недостаточно экстраполировать проект обычного ЦОД «в высоту». На примере ванкуверского проекта с подключенной мощностью 39 МВт и потенциалом роста до 100 МВт видно, что нужны более продуманные энергетические и гидравлические системы, а также транспортировочные решения. В условиях плотной городской застройки ошибки в компоновке шахт, техэтажей и стояков масштабируются по всей высоте здания.

Вертикальный формат вполне оправдан при дефиците земли и близости городской энергосистемы, упрощающей рекуперацию тепла. Но для его реализации требуются запас по сечениям магистралей, строгий контроль точек отказа и инженерная дисциплина на всех стадиях — от концепции до эксплуатации. Чем выше ЦОД и плотнее нагрузка, тем значительнее цена просчёта.