Параллельные конфигурации источников бесперебойного питания (ИБП) уже более 35 лет используются в отрасли для защиты критической нагрузки. Применяются они и для обеспечения отказоустойчивой работы критических приложений дата-центра. Но какую схему резервирования выбрать при строительстве коммерческого дата-центра в условиях, когда, с одной стороны, бюджет ограничен, а с другой – защита клиентского оборудования и приложений является приоритетом номер один?
N+1: ПУСТЬ ОН В СВЯЗКЕ С ТОБОЙ ОДНОЙ…
В настоящее время наиболее широко распространены параллельные системы с резервированием N+1 (см. рис 1). При отказе одного источника система будет оставаться работоспособной за счет того, что нагрузку на себя берет резервный ИБП. Параллельная система теоретически может быть собрана из любого количества источников – главное, чтобы их общая мощность обеспечивала номинал мощности, которую потребляет нагрузка, плюс один резервный источник. У параллельной системы, спроектированной более дробно, превышение суммарной мощности над номиналом будет меньше. Например, если нагрузка составляет 400 кВА, то можно взять три ИБП по 200 кВА (200+200+200). Превышение мощности такой системы над мощностью нагрузки составит 200 кВА (50% по отношению к нагрузке). А вот если взять менее мощные ИБП, например, 4 ИБП по 100 кВА, то еще одна идентичная система в резерве даст перебор мощности всего на 100 кВА (25%).
Казалось бы, дробная схема более экономична… Но на практике, с учетом кабелей, ПНР, инсталляции, монтажа и даже просто стоимости ИБП, эти выгоды становятся неочевидны, да и места дробная система занимает больше… Поэтому при всем том, что на первый взгляд заманчиво предпочесть большую дробность, схема N+1 обычно сводятся к 2+1, 3+1 – и крайне редко к 4+1.
В дата-центрах с критической нагрузкой схему N+1 применяют крайне редко, да и то из-за ограниченности бюджета. Слабое место этой схемы – единая точка отказа: шина, по которой обеспечивается связь ИБП и нагрузки. При необходимости проведения регламентных работ (например, когда нужно затянуть болты на шине) нагрузку придется отключить от группы ИБП. Самой эффективной стратегией в этом случае будет подключить нагрузку ко второму фидеру от города.
2N – ДВОЙНАЯ БРОНЯ
Идеология стандарта TIA 942 для дата-центров требует, чтобы система продолжала оставаться работоспособной, даже если любой из ее элементов вышел из строя. Учитывая, что почти вся современная нагрузка имеет два независимых блока питания, совершенно естественно напрашивается иная схема подключения – «2N». Каждый из входов (блоков питания сервера) питается от отдельной группы ИБП (См. Рис. 2). В настоящее время обозначилось стремление производителей оборудования увеличить количество блоков питания до трех и выше. Так что если через пять лет будет широко практиковаться три или четыре блока питания, схема резервирования может соответственно измениться с 2N до 3N или даже 4N.
Сравнение показывает, что количество устройств во второй схеме больше, и соответственно она дороже. Но с точки зрения надежности выход из строя любого источника или всей группы не приводит к потере нагрузки, которая плавно уходит на резервный ввод.
3/2 N – ЗВЕЗДНОЕ РЕШЕНИЕ
Искусство проектирования систем защиты электропитания позволяет максимально сохранить надежность системы, но при этом существенно снизить капитальные затраты. Таким решением является схема, приведенная на Рисунке 3. Конечно, эта схема не является инновационным открытием. В мире DRUPS – дизельных роторных ИБП-систем – эта схема называется IP-Star.
На рисунке 4 эта же схема представлена в виде звезды. Ее применение в новом дата-центре компании DataPro в Твери позволяет сохранить уровень надежности практически тот же, что и в схеме 2N, но при этом существенно снизить капитальные затраты.
В новом дата-центре будут введены в строй три серверных зала. Общая мощность потребления нагрузки каждого помещения составляет 400 кВА. Каждая нагрузка в такой схеме подключена к двум активным входам. Каждая группа ИБП включает три источника мощностью 200 кВА каждый – два основных и один резервный. Общая установленная мощность при этом составляет 1800 кВА. Из схемы видно, что при отказе одного из источников с высокой вероятностью нагрузка не теряется. И даже если произойдет авария на централизованной шине одной из групп ИБП, нагрузку подхватит соседняя группа ИБП от другого ввода. Очевидно, что если бы в ЦОДе было не три, а четыре зала, то схема называлась бы не 3/2 N, а 4/3 N.
В нормальном рабочем режиме каждая из нагрузок защищена источниками бесперебойного питания с обоих вводов. При пропадании одного из лучей работоспособность сохраняется. Количество ИБП в этой схеме меньше, в сравнении со схемой 2N (3x200x4)=2400) система дешевле – преимущества третьей схемы (3x200x3=1800 кВА) очевидны.
В целом в третьей схеме все достоинства схемы 2N сохраняются. При этом ИБП загружены на 2/3 от номинала, а не на 50% как в схеме 2N. Поэтому и КПД выше – соответственно счета за электричество меньше. Правда, у качественных источников КПД в зависимости от степени загруженности деградирует не очень сильно. Но в целом и по капитальным затратам, и по операционным расходам схема 3 получается дешевле, чем схема 2N, хотя и несколько дороже, чем N+1. И это при практически том же уровне надежности как у 2N.
В дата-центре компании DataPro в Твери схема резервирования 3/2 N впервые перемена в России и сертифицирована Uptime Institute.
Коротко о главном:
- Дата-центр DataPro в Твери
- Общая площадь ЦОД 2650 м.кв.
- Максимальная мощность 4,5 МВт
- 4 машинных зала с возможностью размещения до 100 стоек в каждом
- Проектная мощность ИТ-оборудования от 3 кВт до 20 кВт на стойку
- Сертификация на соответствие Tier III Uptime Institute Design и Facility*
- Ввод в эксплуатацию в октябре 2013 г.
Комментарий экспертов:
Сергей Ермаков — технический директор компании Inelt.
Проблемы, которые возникают во второй схеме подключения, в основном лежат в плоскости взаимодействия со службами ИТ. На деле при эксплуатации подобных систем отсутствие одного ввода для эксплуатационной команды ИТ-подразделения означает тревогу (alarm): сигнал поступает от системы мониторинга и фиксируется в журнале событий. И не важно, что переключение было предусмотрено схемным решением и при этом процесс не остановился – для ИТ это уже повод писать рапорты о том, что энергетики не обеспечили один из вводов, и начать внутренне расследование.
Именно поэтому там, где требуется высоконадежное решение, предусматривают резервные ИБП на два плеча, но тогда схема из 2N грозит трансформироваться в 2(N+1), что соответствует Tier 4 и еще более удорожает решение. Есть и промежуточные решения – N+ (N+1), когда резервируется только одна из ветвей. Компромисс в том, что в этом случае сокращается количество сигналов тревоги, но они не ликвидируются вообще.
Чтобы сократить длительности алармов, можно ввести большое количество кросс-сочленений, которые в ручном, автоматическом или полуавтоматическом режиме в случае аварии позволят запустить резервный ИБП. Но традиционно к взаимным перехлестным соединениям специалисты относятся настороженно, потому что при эксплуатации таких систем высока вероятность ошибки по неосторожности. С этим тоже можно бороться, но в целом все ухищрения лишь усложняют схему, что, в конечном счете, снижает общий уровень надежности.
Юрий Копылов — технический директор компании Eaton
В настоящее время в дата-центрах стоит актуальная задача – резервирование питания виртуализованных серверов в среде облачных вычислений. В зависимости от производителя эта проблема уже решается средствами ИБП и соответствующего программного обеспечения и систем мониторинга, которые позволяют не дожидаться, когда полностью исчезнет питание на вводе, а перенести критически важные приложения на другие виртуальные серверы, функционирующие в другой зоне. Такие решения уже предложены компанией Eaton: ИБП и система виртуализации уже научились перемещать наиболее критичные приложения на те виртуальные серверы, где проблемы питания физической ИТ-инфраструктуры отсутствуют.
Интересные решения могут получиться, если в любой из рассмотренных схем применить современные «модульные» ИБП, где каждый из ИБП не является единым устройством на 200 кВА (как в примерах), а сам состоит из интеллектуальных модулей, работающих в параллельном режиме. Они не только обеспечивают внутреннее резервирование и некоторую избыточность самого ИБП, повышая его надежность, но и в связке с другими ИБП параллельной системы образуют некую «матричную структуру», автоматически перераспределяющую общую нагрузку среди работающих модулей.
