Идея APC: один ЦОД – один ряд

9 февраля 2011

Интересному подходу к построению современных и высокоэффективных ЦОД можно поучиться у компании APC. Его суть заключается в сближении ИТ-оборудования с инженерной инфраструктурой, заключения и того и другого в стандартные шкафы и их построения в единый ряд.

От чего уходим…

Архитектурное проектирование любого ЦОД начинается с выбора помещения под машинный зал, отдельного помещения под энергетическое оборудования, ещё одного – под щитовое. В отдельных комнатах желательно поселить насосную станцию системы холодоснабжения и баллоны пожаротушения. Такому подходу нас учит американский стандарт EIA/TIA-942.

Каждое при этом помещение имеет своё назначение и свои конструктивные особенности: высоту фальшпола, ширину проходов и дверей, по возможности – несущую способность перекрытий и т.д.

Однако, кабельные трассы при такой планировке оказываются чересчур длинными, потери в них – достаточно высокими, стоимость их – значительной, а надежность – пониженной.

Ещё более существенным недостатком является неэффективность ЦОД при его недозагрузке. Рассчитанным на полную электрическую нагрузку системам энергоснабжения и кондиционирования приходится адаптироваться под работу с недогрузкой, что далеко не всегда эффективно. В частности, КПД ИБП значительно снижается при его загрузке ниже 60%. Мощная система кондиционирования также не способна плавно и точно поддержать заданные параметры при низкой тепловой нагрузке.

Как результат, из общего энергопотребления ЦОД доля инженерного оборудования может достигать 70%, а полезная мощность (мощность ИТ) – снизиться до 30%.

…и к чему приходим

Стремление сократить накладные расходы ведет к размещению инженерного оборудования непосредственно возле вычислительного. Внешне данная архитектура представлена на рис.1.

Рис.1. Инженерная и ИТ-инфраструктура в одном ряду

Особенности полученной архитектуры:

  • Применение внутрирядных кондиционеров позволяет значительно сократить длину контура, по которому циркулирует воздух в ЦОД (в среднем, с 15-25м до 5-7м). Благодаря этому становится возможным использовать менее мощные вентиляторы, понизить долю смешения холодного и горячего потоков, повысить эффективность теплосъема и всей системы в целом.

Особо следует отметить, что с помощью внутрирядных кондиционеров проще бороться с «горячими» точками. Плавное регулирование вентиляторов позволяет выдавать ровно столько холода, сколько необходимо на данном участке ЦОД.

В целом, применение внутрирядной системы кондиционирования позволяет повысить её эффективность до 10% при высокой загрузке и до 30% при низкой.

  • Использование ИБП, встроенных в 19» шкаф. Отныне источник чистого электропитания находится в шаге от потребителя! Немаловажно то, что ИБП – модульный. При введении в строй нового ИТ-оборудования и при росте мощности ЦОД достаточно добавить дополнительный модуль ИБП. В то же время при частичной загрузке ЦОД отключение лишних модулей ИБП будет произведено автоматически, ведь оптимальной нагрузкой для силовых модулей ИБП является 80-90% (при этом наблюдается максимальных КПД) и модульный ИБП будет стремиться поддерживать именно её.
  • Батареям уже не требуется проектировать стеллаж с таким их размещением на нем, чтобы было удобно соединять перемычки. В схеме APC аккумуляторные батареи также размещаются в 19″-шкафу, а их установка и извлечение характеризуются минимальной трудоемкостью и влиянием на систему в целом.
  • Ещё одна важнейшая особенность новой архитектуры: возможность управлять этим определенным участком ЦОД комплексно (т.е. всеми сисетмами одновременно), но независимо от других аналогичных. Тем самым достигается выработка индивидуальных рабочих режимов, характеризующихся наивысшим КПД, в каждом таком ряду.

Как заявляют в APC, новая архитектура позволяет повысить эффективность ЦОД в среднем на 15%. При этом использование модульного (масштабируемого) оборудования дает дополнительный положительный эффект при пониженной загрузке ЦОД: ещё около 6-9% (см. рис.2)

Рис.2. Рост эффективности ЦОД при различной его загрузке в зависимости от применяемой архитектуры.

Заключение

То, что всем кажется привычным, видимо, постепенно уходит в прошлое. Модульность проникает не только в конструктивы (использование шкафов стандартной ширины, ИТ-оборудования – строго кратной юнитам высоты и т.д), но и сами ЦОД становятся модульными. Один ряд – это как один отдельный ЦОД – он практически самодостаточен.

Очевидным подобием данной системы являются МЦОД – мобильные ЦОД или контейнерные ЦОД. В них также на несколько стоек приходится своя система энергоснабжения и кондиционирования. И некоторые западные ЦОД уже строятся модульными – из нескольких таких контейнеров.

 

 

 

Автор: Хомутский Юрий

Всего комментариев: 20

  • Сергей
    Автор: Сергей Добавлено 9 февраля, 2011 в 18:32

    Это концепция с мегабородой, ее APC уже лет 10 продвигает. Чегой-то активировались снова?
    А как быть, если какой-нибудь сторедж надо поставить? Низкий, глубокий, на 25 квт и не 19″?

    Ответить
  • Skip
    Автор: Skip Добавлено 9 февраля, 2011 в 21:23

    Очередное откровение от Юрия. Фокусы с разоблачением. Вспоминаем когда APC начал делать Инфрастракчу, с покупкой Шелтеров, кондиционерциков и расслабляемся. Глубоко дышим, вспоминаем о недавней покупке Юнифлаера… и наступает прозрение с нирваной. Вот оно — РЕШЕНИЕ! Правда недешево и обязательно берите что есть.

    Ответить
  • Сергей
    Автор: Сергей Добавлено 10 февраля, 2011 в 10:51

    Не дай бог какой-нибудь очередной вице-президент по развитию в АРС купит вдруг завод по производству мобильных генераторов, бензопил и лодочных моторов. Покупка будет немедленно интегрирована в концепцию Инфрастракчи. Не боится перебоев с электропитанием, плавает против течения, и с легкостью перепиливает плывущие навстречу бревна….

    Ответить
  • _он_
    Автор: _он_ Добавлено 10 февраля, 2011 в 16:36

    жаль на сайте при открытии статьи не играет музыка из передачи «Криминальная Россия» 🙂

    Юрий, а про МЦОД — предлагаю в статье ссылку прикрепить, ведь на эту тему статьи были, если кому интересно, нажмёт.

    p.s. отсутствует красивая картинка еще про стоимость данного решения 🙂

    Ответить
  • ync
    Автор: ync Добавлено 11 февраля, 2011 в 07:53

    Здорово вы этих буржуев — АРС…
    Вы знаете что они на R&D тратят больше всех в отрасли? И ИБП делают сами… и кондиционеры…
    Вообще если следовать вашей логике (покупать плохо, надо всё придумывать с нуля и самостоятельно), то RCGroup — вообще отстой — слизали идею рядных кондиционеров. А все остальные компании сперли технологию у Вильяма Карриера. Покупайте только Carrier — остальные вообще ничего сами в своей жизни не сделали.
    В общем, высокий ценник — ещё не повод стебать решение или даже целую компанию 🙂
    К тому же есть разные ЦОД. Если для сети коммерческих можно потратить один раз 30 млн и пол-года на проектные работы, а потом проект тиражировать на 10 объектов, то на рынке корпоративных ЦОД, где каждый проект уникален, показывать такие деньги и время — это просто убийственно для бизнеса. АРСшники предлагают именно типовое решение на уровне ряда. Мне порой полезно бывает, вот, например, сейчас, когда от старта проекта до ввода в эксплуатацию есть всего 4 месяца. 2 из которых — поставка оборудования.
    Кстати на форуме помнится просил помощи в выборе решения по кондиционированию для плотной среды в плотной компоновке. Все мне предлагали «гробы» Uniflair или что-то подобное, которое ну никак не влезало в комнату. Мне такой «тупой» и однотипный подход к любому проекту не импонирует, ну никак… Хочется многообразия вариантов

    Ответить
  • AK
    Автор: AK Добавлено 11 февраля, 2011 в 10:25

    Не стоит забывать что к этим маленьким и чудесным рядным кондиционерам от АРС может понадобиться еще и «гробик» CDU.
    И наверно Шнайдер просто так купил Юнифлеер,деньги некуда было девать….
    Ведь и так все прекрасно-есть рядные кондиционеры от АРС 😉
    Только почему то к своим чудесным кондиционерам они чиллеры закладывали в проектах что то типа Liebert-Hiross и даже,извиняюсь, BLUE BOX …

    Ответить
  • Юрий
    Автор: Юрий Добавлено 12 февраля, 2011 в 15:57

    «Откровение от Юрия» :))))
    Нет, я здесь разоблачать ничего не пытался. Классическим планировкам ЦОД ещё жить и жить, тем более в России. Но идеи современных западных инженеров всё-таки надо знать!
    Да, это решение дорогое, но его модульность — большой плюс! В Европе принято повышать энергоэффективность проектов и модульность дает именно такие возможности.

    Ответить
  • Skip
    Автор: Skip Добавлено 12 февраля, 2011 в 18:45

    Юрий, Вы все посты внимательно читали? Вы может объясните в чем новизна то? передовой западной мысли? Что такое классические планировки и чем они отличаются от модульных решений? Я еще в 2004 году реализовывал модульные решения аля Инфрастракча на компонентах разных производителей, за исключением рядников. Ну сейчас рядники делают все подряд. Ничего уникального не было ни тогда, ни сейчас, а по цене был выигрыш в 1,5 раза. И нечего людям голову забивать лозунгами про передовые технологии. Кстати, правда и то, что за пределами модуля APC заканчивается. Одного соска на коллекторе (который CDU) и всё — хочешь второй бери, хочешь сам вари, хочешь у Штульца заказывай.

    Ответить
  • ync
    Автор: ync Добавлено 14 февраля, 2011 в 10:46

    to АК:
    дык к любому кондиционеру на воде понадобится как минимум чиллер. Ну теперь у них есть Uniflair и «свои» чиллеры. Я кстати и пытался донести мысль, что покупать технологии вместе с компанией — это абсолютно нормально. А CDU можно и самому сварить, или не сварить…
    А вообще, неужели это такая трудная мысль: решения infrastruxure, rimatrix и т.п. позволяют реально сократить затраты на проектные работы для нетиповых ЦОДов. Знаете сколько стоит распланировать и просчитать инженерку от шкафа до чиллера на АРС? 0 рублей, 0 копеек. И занимает это 3 дня. Через пол-года ещё и чиллеры за тебя будут считать.
    Я реально в одно лицо могу спроектировать ЦОД на 30-50 шкафов за 2 недели. Правда ценник решения будет не очень… Зато быстро и с правильным результатом.
    По аналогии — 10 лет назад позволить купить себе машину могли единицы студентов. И немного обидно, что сейчас, когда приезжаю в alma mater по делам, мне авто негде поставить 🙂 Просто всё становится проще, в том числе и ЦОДы «делать». И никуда от этого не денешься.
    Так что предлагаю не разводить очередной хохлосрач и принять ситуацию как есть:-)

    Ответить
  • AK
    Автор: AK Добавлено 14 февраля, 2011 в 12:41

    то ync
    Не надо меня агитировать за советскую власть 🙂
    Я как бэ в теме по АРС.
    И считали мне они не один проект.
    Да,посчитают за три дня,если до этого я напишу грамотное и подробное ТЗ.
    А если нет -то так посчитают что мало не покажется 😉
    Кто там считает то последние время ?Вы видели лично тех инженеров ?
    Я лично общался.Люди линейку больших MGE (теперь АРС) толком не знают,а туда же-в конфигураторы 😀
    И шаг влево или вправо от стандартной конфигурации влечет за собой увлеченную переписку уже с иностраными спецами по скрипту.Это я из личного опыта ,если что.

    На уровне «проекта» от АРС (где кабели подводят к ИБП кто то другой и чиллеры стоят где то там ) на один ряд я сделаю аналогичный проект за те же три дня. Ну может только не подсчитаю длину UTP для подключения мониторинга 😉
    Нет там передовых решений впереди планеты всей,там есть прекрасный маркетинг 😉
    А в части чиллеров -как люди которые только купили Юнифлеер могут учить строить системы охлаждения ЦОДов тот же ,например, Liebert ? риторический вопрос ))

    Мы это уже проходили с дельта-преобразованием.Которое лучше всех ))Остальный производители ИБП вообще ничего не смыслили в правильных ИБП ))

    А, были еще и топливные ячейки )))

    Никакого срача вроде,конструктивный диалог.Ну,я надеюсь ))

    Ответить
  • Юрий
    Автор: Юрий Добавлено 16 февраля, 2011 в 00:47

    Skip, а вот и ваша неправда.
    Я готов преклониться перед вашими передовыми идеями 2004 года, абсолютно серьезно говорю.
    Но то, что весь ЦОД в одном ряду — это, как минимум, непривычно! Нет, ну ЦОД в 20-40кВт какой-нить фирмы может и умещается в ряд, ибо нет смысла плодить помещения, но речь идет о больших ЦОД!
    Берем TIA-942, читаем стр.31, п.5.3.4.2: ИБП выше 100кВА — в отдельное помещение, аккумуляторы — вместе с ИБП.
    Берем стандарты МТС, Билайн, Мегафон: машинный зал отдельно, ИБП отдельно, щиты отдельно.
    Ни один большой ЦОД даже не предполагает возможности совмещения помещений! А тут на тебе — ИБП встроен в 19″-стойку, аккумуляторы — там же. Это принципиально новая архитектура! Точно также, как модульно-каркасное построение зданий вновинку после панельного или кирпичного.
    Про CDU я и не отрицаю недостатка. Более того, я ни разу не говорю, что ЦОД в ряд от АРС — панацея. Я — инженер, а не рекламщик.

    Ответить
  • Юрий
    Автор: Юрий Добавлено 16 февраля, 2011 в 00:51

    ync, АК:
    А вы действительно каждый по-своему правы.
    Такие «модульные» ЦОДы отупляют проектировщиков, но удешевляют проект.
    Кстати, про ИБП с дельта-преобразованием текст готовится..:)
    А топливные ячейки, думаю, ещё не обрели себя, но должны бы, должны.
    АРС действительно больше других любит учить «что такое хорошо и что такое плохо» 🙂

    Ответить
  • ync
    Автор: ync Добавлено 16 февраля, 2011 в 10:12

    Я не против чтобы кто-нибудь другой поучил, дак ведь никто не хочет…
    У меня, например, есть рук-во по проектированию XD систем Liebert — это же ад кромешный. Кто его писал?! Поэтому к Liebert у меня отношение прохладное. А для high density систем работают только Knuerr/Liebert, да АРС. А системы высокой плотности в стандартном помещении офисного типа — это уже реалии современных корпоративных ЦОДов.
    А топливные ячейки АРС ставили в юса. Там они кстати много чего делали, о чем здесь пока и не слышали.

    Ответить
  • AK
    Автор: AK Добавлено 16 февраля, 2011 в 10:26

    Открываем спеку на какую-нибудь PX 96 kW от АРС, смотрим габариты и вес ,прикидываем нагрузку на перекрытие и радуемся удешевлению проекта 😉 Это если их в общем зале размещать,ага.
    Это я тоже проходил,в одном из проектов дешевле оказалось взять не АРС и сделать отдельную эл.щитовую ,чем выполнять мероприятия по усилению перекрытий.Намного дешевле.
    К вопросу об удешевлении проекта…

    Ответить
  • AK
    Автор: AK Добавлено 16 февраля, 2011 в 10:30

    то ync
    У Conteg-а тоже появились решения для high density . Смотрятся красиво,как в работе-не знаю 🙂

    Ответить
  • ync
    Автор: ync Добавлено 16 февраля, 2011 в 14:19

    Недавно ставили в здании 19 века PX 128 кВт 30 минут автономной работы. Построили фальшпол за 80 т.р. И спокойно себе стоит.
    Но чаще всего вопрос не в обустраивать/не обустраивать, а в том есть ли место под аккумуляторную в принципе. Естественно что когда есть куда поставить ИБП с АКБ в подвале, туда и ставят. Я думаю что нет таких яростных фанов концепции, которые плюют на наличие нормальных помещений, лишь бы как на картинке строить.
    Да и сами АРС называют это ISX тип С. И говорят, что им всё-равно какой ИБП и куда поставите. Но лучше чтобы это был MGE или PX 🙂
    По поводу Conteg… У Estap (которые принадлежат Legrand) тоже есть… Опять возвращаемся к вопросу об опыте производства. Только на этот раз у АРС его побольше.

    Ответить
  • Skip
    Автор: Skip Добавлено 16 февраля, 2011 в 20:51

    Фраза о том, что модульные ЦОДы удешевляют проект очень странна. Разработку проектной документации да, но чтобы проект?!
    Теперь про питание в стойке, что такого уникального, для кого она принципиально новая эта архитектура? Берем например у Итона PowerBlade UPS, набираем до 60 кВА на шкаф. есть и шины и распределители. Хорошее решение — хорошее, масштабируемое под конкретную нагрузку и т.д. — одно плохо цена со стоечными решениями ну никакого сравнения не выдерживает. Рэков замкнутого цикла — как грязи. Что в этом нового?
    Далее, объясните — ну делаете Вы ЦОД на один ряд, а дальше то что? как этот ряд масштабировать на большой ЦОД? Рядами? В чем разница? Это всегда было слабым местом Инфрастракче — инфраструктура за пределами Инфрастракчи, да простят меня за тавтологию.
    TIA-942 для Вас Библия? Зря. Да и большая тройка операторов НИР не заказывала, свои требования скомпилировали из доступных доков. Решение работает, в бюджет укладывается — имеет право на реализацию.
    Это неправда?
    При этом я не имею ничего против идеи, что к какому-то сроку не будет такой специальности ЦОДостроитель, будут покупать стандартные блоки и ставить, даже интегрированные сразу в ИТ-оборудование.

    Ответить
  • Skip
    Автор: Skip Добавлено 16 февраля, 2011 в 21:02

    Забыл сказать, что я транформировал идею уже на полностью замкнутый цикл охлаждения шкафа и размещение внутри еще и АУГПТ. А в Вашем описании открытый цикл, значит по любому организовывать коридоры, стенки для отдельных модулей будете ставить? я с любопытством посмотрю на удельную площадь на рэк при такой компоновке.

    Ответить
  • Юрий
    Автор: Юрий Добавлено 16 февраля, 2011 в 23:06

    Я прошу прощения за неточность формулировки. Конечно, имелись ввиду проектные работы, а не проект.
    Skip, цикл открытый — полностью согласен и все вытекающие недостатки. Но до закрытых циклом мы ещё немного не дожили: ИТшники не любят усложненного доступа к серверам.
    По др.позициям можно дискуссировать долго, но, я думаю, третьим лицам уже достаточно комментариев для формирования своего мнения:)

    Ответить
  • ync
    Автор: ync Добавлено 17 февраля, 2011 в 14:10

    Дак никто не говорит про новизну решения в масшатбе вселенной. Просто для кого-то это интересно и ново, А для кого-то нет…
    А замкнутый цикл на шкаф на чьем оборудовании реализовывали?

    Ответить

Оставить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *