Софтверный гигант Microsoft не первый год занимается проектированием, строительством и эксплуатацией наиболее продвинутых дата-центров в мире. Инженеры американской корпорации занимаются этим вот уже более двух десятилетий. Благодаря накопленному опыту им удалось воплотить в реальность ряд инновационных идей, направленных на повышение энергоэффективности инфраструктуры ЦОД на всех уровнях. При этом софтверный гигант с готовностью делиться своими наработками со сторонними компаниями, участвуя в инициативе Open Compute Project (OCP).
В ходе выставки-конференции Open Compute Summit 2015 корпорация Microsoft представила вниманию участников мероприятия инновационную концепцию развертывания в ЦОД распределенной системы источников бесперебойного питания (ИБП), получившую название Local Energy Storage (LES).
Концепция LES предполагает встраивание в серверы комбинации источников питания и аккумуляторных батарей. Дополнительный блок полностью совместимым с серверными шасси, создаваемым по спецификациям Open CloudServer (OCS) v2 (спецификации доступны участникам инициативы OCP).
Новые системы LES механически взаимозаменяемы со стандартными блоками питания, которые были представлены во время презентации серверных шасси OCS v2 на мероприятии OCP EU Summit 2014, состоявшемся в прошлом году в Париже.
Благодаря концепции LES операторы ЦОД могут выбрать, электроэнергетические системы какого типа стоит использовать при развертывания конкретных моделей серверов. Делая выбор в пользу гибридных систем LES или стандартных блоков питания, они могут руководствоваться рядом факторов, включая топологию существующего дата-центра и требования в адрес системы резервного электропитания.
Проблемы, с которыми сталкиваются операторы ЦОД при развертывании стандартных ИБП
Работая над новой концепцией, инженеры Microsoft стремились найти универсальное решение для целого ряда проблем, с которыми операторы ЦОД сталкиваются при развертывании стандартных источников бесперебойного питания.
В обычных серверных фермах системы ИБП размещаются внутри отдельных достаточно больших помещений. Как правило, они состоят из большого массива свинцово-кислотных аккумуляторных батарей, соединенных вместе для обеспечения временного резервного электропитания для всей IT-нагрузки ЦОД, а также инфраструктуры охлаждения в случае перебоев в подаче электроэнергии через центральную сеть (до включения дизель-генераторных установок). Представленное выше изображение показывает традиционную компоновку такого типа с дублированными ИБП. Использование подобной компоновки несколько снижает эффективность ЦОД по рядку причин:
• Площадь помещения для системы ИБП составляет в среднем примерно 25 процентов от общей полезной ЦОД (для типичного дата-центра мощностью в 25 МВт и площадью в 150 000 квадратных футов (13 935 квадратных метров)) . Если предположить, что стоимость возведения ЦОД составляет около $ 220 / квадратный фут (или $ 2444 за один квадратный метр), строительство помещения для ИБП обойдется в $ 31 млн., существенно увеличивая совокупный размер капитальных вложений в дата-центр.
• Прежде чем поступить на IT-оборудование, электричество с ИБП подвергается нескольким этапам преобразования, что ведет к снижению КПД системы резервного электропитания и существенному увеличению коэффициента эффективности использования электроэнергии (PUE). В некоторых случаях PUE увеличивается по данной причине на 17 процентов.
• Обычные системы ИБП дата-центра имеют высокую область отказов (читай: часто выходят из строя), что негативно влияет на уровень доступности всей подключенной к ним нагрузки (IT-нагрузка ЦОД, а также инфраструктура охлаждения). В случае сбоев в работе ИБП могут наблюдаться неожиданные отключения серверных систем, что мешает владельцу ЦОД выполнять свои обязательства в рамках соглашений об уровне обслуживания клиентов. Для снижения этого риска проектировщики ЦОД добавляют резервные системы ИБП, что влечет за собой необходимость развертывания дополнительной электрораспределительной инфраструктуры. В результате возникает весьма сложное решение для обеспечения резервного электропитания, что увеличивает как капитальные затраты, так и эксплуатационные расходы.
Используя свой опыт в области развертывания и управления инфраструктурой дата-центров (включая механические системы и инфраструктуру охлаждения), инженеры софтверного гиганта пришли к выводу, что при возведении новых ЦОД стоит применять концепцию адиабатического охлаждения. Эта концепция позволяет добиться значительной экономии при возведении и эксплуатации ЦОД, а также упростить процедуры технического обслуживания. На изображении ниже показан модифицированный дата-центр с системой адиабатического охлаждения. Тем не менее, в этом ЦОД все еще используется громоздкая система резервного электропитания с двойным резервированием ИБП.
Специалисты Microsoft продолжили развивать свои идеи и улучшать инфраструктуру дата-центров софтверного гиганта с целью повышения ее эффективности. После улучшения инфраструктуры охлаждения их стали интересовать новые способы оптимизации системы распределения электроэнергии. Начали инженеры с устранения изъянов традиционной топологии ИБП, о которых говорилось выше.
В результате продолжительных исследований рэдмондовцам удалось добиться радикального упрощения топологии системы распределения электроэнергии. Ключевым элементом данной инициативы стало полное устранение стандартной системы ИБП и перемещение соответствующих функциональных элементов (читай: аккумуляторов) непосредственно в монтажные стойки с IT-нагрузкой. Предварительные расчеты показывали, что подобных ход позволил бы добиться не только сокращения затрат, но и обеспечить необходимую простоту эксплуатации. Кроме того, появилась возможность добиться более тесной интеграции систем управления аккумуляторными батареями с системами управления IT-нагрузкой и инфраструктурой ЦОД. В результате появилась концепция LES, более подробное описание которой присутствует в следующем разделе.
Ключевые технологические инновации в LES
Все современные блоки питания (PSU) для серверов комплектуются блоками активной коррекцией коэффициента мощности (Active Power Factor Correction; Active PFC), емкостными накопителями энергии, а также изолированным выходным каскадом DC/DC-преобразователя. Выходной каскад DC/DC-преобразователя использует энергию из емкостных накопителей и поддерживает соответствующие допуски выходного напряжения по профилям нагрузки машины. Топология LES предполагает изменение конструкции блока питания и контуров управления (обеспечивая максимальной эффективное использование той части проверенных временем элементов, которые остаются нетронутыми), добавляя такие компоненты как аккумуляторы, контроллер управления батареями, слаботочное изолированное зарядное устройство и слаботочный изолированный выход на 380 вольт постоянного тока (VDC).
Благодаря индустрии ручных силовых инструментов и электромобилей в последние годы на рынке появились дешевые, высокоэффективные и высококачественные литий-ионные (Li-Ion) аккумуляторные ячейки. Подобные ячейки используются в аккумуляторной батарее LES. Благодаря этому при формировании оптовых заказов на комплектующие можно использовать эффект от масштаба и оптимизировать цепочки поставок.
Инновационная концепция LES предполагает объединение стандартных устройств хранения энергии (аккумуляторных батарей) и хорошо себя зарекомендовавших компонентов PSU в одном корпусе, чтобы максимизировать эффективность передачи электроэнергии и минимизировать уровень капитальных и эксплуатационных расходов. Концепция LES предполагает размещение батарей в той секции блока питания, где традиционно размещаются емкостные накопители энергии.
Преимущества концепции LES для дата-центров
Простота конструкции LES в сочетании со структурой затрат на создание этой системы и моделью технического обслуживания обеспечивает значительные преимущества для развертывания соответствующих систем в дата-центрах всех форм и размеров. Система позволяет добиться следующих результатов:
• Практические 5-картное снижение стоимости по сравнению с традиционными системами ИБП, которое достигается благодаря крайнему упрощению топологии системы энергоснабжения дата- центра и приобретению систем аккумулирования энергии в больших объемах на рынке неспециализированных товаров (то есть на рынке аккумуляторных батарей для силовых инструментов, электрокаров и так далее).
• Перемещение механизма хранения энергии непосредственно внутрь сервера устраняет значительные потери в результате многоэтапных преобразований тока, связанных с эксплуатацией традиционных систем ИБП. Использование топологии LES и литий-ионных аккумуляторов предполагает всего лишь 2-процентные потери, что выгодно отличает их по сравнению с обычными централизованными системами ИБП. Конечным результатом является снижение коэффициента PUE дата-центра вплоть до 15 процентов.
• Благодаря устранению необходимости размещения системы ИБП в специальном помещении площадь ЦОД может быть уменьшена на 25 процентов, что обернется соответствующим уменьшением уровня капвложений.
• Значительно упрощается эксплуатационная модель (если сравнивать со стандартными свинцово-кислотных аккумуляторными батареями в традиционных системах ИБП) . Системы LES допускают возможность горячей замены функциональных блоков. При этом отсутствуют какие-либо риски, связанных с воздействием высокого напряжения или химических веществ. Использование распределенной системы резервного электроснабжения на базе множества батарей в малых силовых блоках позволяет минимизировать риск единовременно выхода из строя всей системы и устранить единую точку отказа.
• Путем локальной интеграции устройств хранения энергии специалисты Microsoft смогли объединить их с системой обнаружения сбоев и контроля, добавившись существенного снижения задержек по сравнению с обычной централизованной системой ИБП. Система LES при тесной интеграции с системой управления IT-инфраструктурой (OCS Chassis Manager) позволяет формировать новые эксплуатационные сценарии для повышения эффективности использования ресурсов (вроде временного отключения отдельных машин).
