Ошибки при термических испытаниях ЦОД и советы по их устранению

Некорректная настройка системы охлаждения при создании нового дата-центра или обновлении уже существующего объекта означает выброшенные на ветер деньги. При этом во многих случаях у проектировщиков и строителей ЦОД попросту нет возможности настроить инфраструктуру корректно, так как они зачастую не имеют ни малейшего представления о том, какой будет реальная тепловая нагрузка. В результате специалистам приходится ограничиваться базовым тестированием, которое не позволяет устранить все недочеты, за что в конечном итоге расплачиваются их клиенты. Так каким образом можно повысить эффективность тестирования тепловой нагрузки и уменьшить затраты на охлаждение? Своими мыслями по этому поводу согласился поделиться директор компании Mafi Mushkila Дэйв Вулфенден.

Тесты должны быть основаны на реальных ситуациях

Одной из самых важных задач при тестировании является обеспечения соответствия между используемой методикой и тем, как именно объект тестирования в конечном итоге будет использоваться. Не важно, что это за объект: автомобиль, стиральная машина, портативный компьютер или дата-центр. Если тесты оторваны от реальности, то они принесут больше вреда, чем пользы: время и деньги будут потрачены впустую, при этом успешное прохождение таких тестов создаст ложное впечатление того, что объект действительно эффективен / надежен / безопасен и так далее, тогда как в реальности все может оказаться не настолько радужным.

В случае оценки способности охладительной инфраструктуры дата-центра справляться с теми или иными тепловыми нагрузками одним из самых распространенных способов тестирования является размещение внутри ЦОД источника тепла. Это вполне рациональный подход – при условии, что все максимально соответствует реальности. Например, установка в машзале источника тепла на 20 кВт, 40 кВт, 60 кВт и выше является хорошим способом узнать, что система охлаждения действительно может справиться с такой нагрузкой. Однако если в помещении нет никакого оборудования, кроме источника тепла, подобное испытание позволит всего-навсего убедиться в том, что система охлаждения способна справляться с «горячими» точками, а не с потоками нагретого воздуха, идущими со стороны наполненных серверами монтажных стоек.

Одним из самых сложных моментов при подобном тестировании является получение от конечных пользователей возводимого или обновляемого ЦОД более-менее точных данных по ожидаемой тепловой нагрузке. Многие из них охотно делятся с подрядчиками расчетными цифрами, но зачастую эти данные далеки от реальности и представляют собой скорее грубые наметки. В некоторых случаях корпоративные клиенты приравнивают данные о инфраструктуре будущего ЦОД к коммерческой тайне и не хотят, чтобы соответствующая информация попала в распоряжение конкурентов через подрядчиков: проектировщиков или строителей ЦОД.

Не будем забывать и о том, что проекты по созданию ЦОД «с нуля» характеризуются относительно высокой продолжительностью, ввиду чего по завершению такого проекта заказчика может принять решения о размещении внутри серверной фермы аппаратного обеспечения, значительно отличающееся от того, которое первоначально планировалось установить в машзале. Все это значительно усложняет тестирование.

Как сделать тестирование более эффективным?

Есть ряд советов, следуя которым можно сделать тестирование более эффективным – причем вне зависимости от типа тестируемого объекта (вновь построенный ЦОД или обновленный объект). Ключом к успеху является корректное размещение эмуляторов инфраструктуры и нагрузки в машзале и их настройка с прицелом на максимальное соответствие реальности.

Десять советов специалистам, отвечающим за тестирование тепловой нагрузки, выглядят следующим образом:

1. Помните, что при тестировании вам в обязательном порядке понадобятся передвижные монтажные стойки и кабельные лотки. Частично заклейте лотки келейкой лентой, чтобы смоделировать размещение в них кабелей.

2. Убедитесь, что в монтажных стойках правильно расставлены панели-заглушки, чтобы предотвратить смешивание потоков холодного и горячего воздуха. Расположите стойки внутри машзала в согласно предложенной конечными пользователями (операторами / владельцем ЦОД) конфигурации.

3. Помните, что не все элементы инфраструктуры ЦОД будет монтироваться в стойки, поэтому добавьте в дополнительные компоненты, чтобы смоделировать, к примеру, систему ИБП.

4. Убедитесь, что созданная вами модель учитывает размещение приточных и вытяжных вентиляционных каналов, а также помехи на пути потоков воздуха.

5. Разместите по несколько датчиков в каждой стойке и каждом ряду, чтобы получить детализированную тепловую карту, охватывающую горизонтальную и вертикальную (от фальшпола до потолка) плоскости.

6. Используйте по несколько имитаторов тепловой нагрузки (нагревателей) из расчета на стойку и размещайте их там, где будет формироваться излишнее тепло от IT-нагрузки. Например, если в верхней части стойки будет установлено несколько коммутаторов, поместите туда же имитатор тепловой нагрузки. Если в нижней части стойки будет установлено множество блейд-серверов, которые генерируют большое количество тепла, разместить в нижнюю часть стойки имитатор тепловой нагрузки соответствующей мощности.

7. При проведении теста не ограничивайтесь одной конкретной тепловой нагрузкой. Изменяйте настройки эмуляторов внутри всей стоек в течение дня, чтобы максимально приблизить смоделированную среду к реальной IT-нагрузке. Сосредоточьтесь на оценке эффективности системы охлаждения при нетипичных ситуациях вроде кратковременных пиковых нагрузок.

8. Помните, что срок службы среднестатистического дата-центра составляет около 25 лет. Обновление находящегося внутри него аппаратного обеспечения происходит каждые 3-5 лет, при этом мощность IT-оборудования после каждого обновления, как правило, возрастает. Но не стоит заглядывать слишком далеко вперед во избежание ненужных растрат. Тестируйте и настраивайте систему с прицелом на текущий цикл обновления IT-инфраструктуры.

9. Привлеките к тестированию специалистов в области вычислительной гидродинамики (CFD), которые смогут оценить флуктуации потоков воздуха при изменении тепловой нагрузки. Это позволяет быстро определить участки, в которых могут формироваться «горячие точки» и оптимизировать план размещения оборудования, генерирующего значительное количество тепловой энергии.

10. Создайте набор базовых показателей для различных типов нагрузки. Эти данные могут быть использованы для сравнения с текущими показаниями с датчиков после сдачи дата-центра в эксплуатацию. Сравнение реальных данных по тепловой нагрузке с заложенными в проект является хорошим инструментом для выявления проблем в будущем и минимизации риска нецелесообразного использования электроэнергии.

Использование услуг сторонних компаний при тестировании

Этот список советов является далеко не исчерпывающим. Но в конечном итоге все будет зависеть от бюджета и имеющегося в наличие оборудования. При этом в большинстве случаев к тестированию можно и нужно привлекать специализированые сторонние компании, в распоряжении которых уже имеется все необходимое оборудование для придания тестированию реалистичности.

Опытные специалисты в области тестирования ЦОД перед вводом в эксплуатацию смогут дать полезные советы, дополняющие приведенный выше список, а также помогут создать механизмы сравнения полученных при тестировании цифр с реальными данными, периодически получаемыми с помощью датчиков. Периодическое сравнение этих цифр имеет важное значение с точки зрения минимизации эксплуатационных затрат в будущем, а также с точки зрения выявления не связанных с IT-инфраструктурой проблем.