Как строятся модульные дата-центры: фотоэкскурсия по нидерландской фабрике CAS

Дата-центры стали одним из инфраструктурных столпов нашей цивилизации еще в начале XXI века – на фоне бурного развития интернета. Однако сегодня, когда на первый план выходит искусственный интеллект (ИИ), меняется не только их масштаб, но и сама логика развертывания IT-оборудования.

ИИ-задачи требуют как можно больше мощностей, развертывать которые нужно в максимально сжатые сроки. Поэтому вместо длительного строительства стандартных «бетонных коробок» всё чаще используется промышленный подход. Речь о заводском производстве модульных систем ЦОД на базе транспортных контейнеров.

Один из наиболее показательных примеров — фабрика Contour Advanced Systems (CAS) в Арссевелде (Нидерланды). Там создаются передовые инфраструктурные решения для ИИ-задач, научных и оборонных проектов.

Фабрика в неожиданном месте

Нидерланды известны высокой плотностью размещения дата-центров. Страна входит в число европейских и мировых лидеров по этому показателю. Особенно выделяется ее столица. Но производственная площадка Contour Advanced Systems расположена вдали от классических кластеров ЦОД, сосредоточенных вокруг Амстердама. Она находится в небольшом населённом пункте на востоке Нидерландов.

С первого взгляда сложно предположить, что именно там формируется база европейской ИИ-инфраструктуры. Но именно такие площадки становятся новыми индустриальными центрами цифровой экономики.

Интегратор инженерных систем, сделавший ставку на полный цикл

Contour — это не просто производитель контейнеров, а системный интегратор. Компания объединяет:

• механическую конструкцию;
• электрические системы;
• охлаждение;
• вычислительную инфраструктуру.

Работа ведется в сотрудничестве с Hewlett Packard Enterprise (HPE). Последняя поставляет серверы, системы хранения данных и сетевые решения. Contour проектирует, собирает и тестирует всю физическую инфраструктуру ЦОД. Фактически речь идёт о промышленной кооперации, в ходе которой создаётся готовый продукт «под ключ».

Скорость как ключевое преимущество

Главная ценность модульного подхода — скорость. В классической модели дата-центр строится годами. Здесь процесс выглядит иначе:

• проектирование модульного инфраструктурного решения, параллельно которому стартует подготовка площадки заказчика;
• сборка спроектированного продукта на заводе;
• тестирование до отправки;
• транспортировка и ввод в эксплуатацию.

Один модуль может быть полностью изготовлен и протестирован за 6–7 недель, а полный цикл реализации проекта занимает 3–5 месяцев – в зависимости от сложности.

Специфика производственного процесса

В производственном цехе площадью около 16 000 м² одновременно находятся десятки модулей на разных стадиях готовности: одни только поступили в работу и проходят стадию разводки кабелей, другие – практически завершены.

В производстве задействовано 45 специалистов, а ещё около 24 инженера трудятся в проектном отделе, разрабатывая каждый модуль под конкретные задачи заказчика. Здесь нет массового производства в классическом понимании. Это инженерный процесс, где сочетаются повторяемость решений и высокая степень кастомизации.

Не транспортный-контейнер, а специализированная конструкция

Внешне модуль напоминает обычный мультимодальный транспортный контейнер, но пусть это не вводит вас в заблуждение. Вендор не покупает бывшие в употребление ISO-контейнеры для последующего переоборудования, как поступают многие конкурирующие компании, – конструкция создаётся «с нуля». Стальные несущие балки, усиленные полы, теплоизоляционные панели – все эти и многие другие конструкционные элементы объединяются непосредственно на заводе.

Причина — экстремальные нагрузки. Современные стойки с IT-оборудованием могут весить до 3 тонн, что требует принципиально иной инженерии. Поэтому Contour не строит «башни» на площадках заказчиков, устанавливая один контейнер на другой. Вместо этого компания формирует горизонтальные кластеры — своего рода «деревни» из модулей.

Электроснабжение: мегаватты IT-нагрузки в одном модуле

Один модуль способен обеспечивать функционирование IT-нагрузки мощностью до 1,6 МВт. Для этого используются шинопроводные системы, высоконадежные распределительные устройства и встроенные источники бесперебойного питания. Это позволяет разместить в одном контейнере вычислительные мощности, сопоставимые по производительности с целым машзалом традиционного ЦОД.

Охлаждение как основной приоритет и главная инженерная задача

Современные вычислительные системы, используемые для обслуживания искусственного интеллекта, выделяют огромное количество тепла. Именно поэтому система охлаждения становится ключевым элементом инфраструктуры ЦОД. Вендор предлагает заказчикам две технологии и их комбинацию:

• Воздушное охлаждение. При реализации воздушного охлаждения в модуле используются теплообменники, расположенные в верхней части. Каждый из них способен удалять около 50 кВт тепла. В сумме система охлаждения, состоящая из нескольких теплообменников, может обеспечивать до 600 кВт охлаждения за счёт циркуляции воздуха. Система работает не постоянно «на максимум», а адаптивно:
  • учитывает температуру;
  • регулирует давление;
  • управляет скоростью вращения крыльчатки вентиляторов.
• Жидкостное охлаждение. Для современных ИИ-задач воздуха уже недостаточно. Поэтому всё чаще используется жидкость. С ее помощью тепло удаляется непосредственно от самых горячих компонентов IT-оборудования. Система работает тише. При ее использовании повышается эффективность и долговечность инфраструктуры.
• Комбинация технологий. В ряде случаев применяется гибрид: около трети тепловой нагрузки удаляется с использованием воздуха, еще две трети — через жидкость.

Инженерия с детализацией до уровня самых базовых деталей

Проектирование — отдельный этап, который занимает 3–6 недель. На этом этапе анализируются требования клиента, выбирается базовая конфигурация (например, DC8 или DC16), создаются чертежи и схемы. Разрабатывается всё:

• схемы распределения энергии;
• мануалы по прокладке кабелей;
• инструкции по монтажу IT-оборудования;
• конфигурация трубопроводов.

Даже такие детали, как ориентация труб, анализируются и оптимизируются в максимальной степени. Такой подход дает результаты. Например, переход от вертикальной прокладки к горизонтальной позволил увеличить гибкость конфигурации.

Контроль качества и заводские испытания

Перед отправкой готового решения на площадку заказчика каждый модуль проходит полный цикл тестирования, включающего:

• работу под максимальной нагрузкой;
• проверку всех систем;
• моделирование аварий.

Это принципиально отличает модульный подход от классического строительства «бетонных коробок», где часть проблем выявляется уже после запуска дата-центра.

Логистика и ввод в эксплуатацию

После тестирования модуль доставляется на площадку клиента. Когда продукт оказывается на месте, остаётся:

• установить его на заранее подготовленное основание;
• подключить к сетям электропитания и передачи данных;
• запустить систему охлаждения.

Весь процесс ввода модульного ЦОД в эксплуатацию после доставки на клиентскую площадку, как правило, занимает несколько дней.

Масштабирование вычислительной инфраструктуры по принципу конструктора

Hewlett Packard Enterprise и Contour Advanced Systems сравнивают подход к масштабированию вычислительной инфраструктуры, состоящей из модулей последней, со сборкой датского конструктора Lego.

Модули добавляются по мере роста нагрузки и объединяются в кластеры, гибко формируя ИИ-инфраструктуру. Это позволяет масштабировать вычислительные мощности без строительства новых зданий.

Выводы

В условиях роста ИИ-сектора выигрывают те, кто способен быстрее развернуть вычислительные мощности. Поэтому фабрики по производству модульных ЦОД вроде площадки Contour Advanced Systems становятся стратегическими объектами как и сами дата-центры.

Это происходит по мере смещения акцентов со строительства «бетонных коробок» к промышленному производству, от уникальных проектов к стандартизированным решениям, от долгих циклов к быстрой масштабируемой инфраструктуре. Фабрика в Арссевелде — это не просто производственная площадка. Это модель будущего всей отрасли, в котором дата-центры больше не строят — их производят.