Добавить в избранное
Новости ЦОД и Дата-Центров
Все, что Вам нужно знать о ЦОД

Идея APC: один ЦОД – один ряд

Интересному подходу к построению современных и высокоэффективных ЦОД можно поучиться у компании APC. Его суть заключается в сближении ИТ-оборудования с инженерной инфраструктурой, заключения и того и другого в стандартные шкафы и их построения в единый ряд.

От чего уходим…

Архитектурное проектирование любого ЦОД начинается с выбора помещения под машинный зал, отдельного помещения под энергетическое оборудования, ещё одного – под щитовое. В отдельных комнатах желательно поселить насосную станцию системы холодоснабжения и баллоны пожаротушения. Такому подходу нас учит американский стандарт EIA/TIA-942.

Каждое при этом помещение имеет своё назначение и свои конструктивные особенности: высоту фальшпола, ширину проходов и дверей, по возможности – несущую способность перекрытий и т.д.

Однако, кабельные трассы при такой планировке оказываются чересчур длинными, потери в них – достаточно высокими, стоимость их – значительной, а надежность – пониженной.

Ещё более существенным недостатком является неэффективность ЦОД при его недозагрузке. Рассчитанным на полную электрическую нагрузку системам энергоснабжения и кондиционирования приходится адаптироваться под работу с недогрузкой, что далеко не всегда эффективно. В частности, КПД ИБП значительно снижается при его загрузке ниже 60%. Мощная система кондиционирования также не способна плавно и точно поддержать заданные параметры при низкой тепловой нагрузке.

Как результат, из общего энергопотребления ЦОД доля инженерного оборудования может достигать 70%, а полезная мощность (мощность ИТ) – снизиться до 30%.

…и к чему приходим

Стремление сократить накладные расходы ведет к размещению инженерного оборудования непосредственно возле вычислительного. Внешне данная архитектура представлена на рис.1.

Рис.1. Инженерная и ИТ-инфраструктура в одном ряду

Особенности полученной архитектуры:

  • Применение внутрирядных кондиционеров позволяет значительно сократить длину контура, по которому циркулирует воздух в ЦОД (в среднем, с 15-25м до 5-7м). Благодаря этому становится возможным использовать менее мощные вентиляторы, понизить долю смешения холодного и горячего потоков, повысить эффективность теплосъема и всей системы в целом.

Особо следует отметить, что с помощью внутрирядных кондиционеров проще бороться с «горячими» точками. Плавное регулирование вентиляторов позволяет выдавать ровно столько холода, сколько необходимо на данном участке ЦОД.

В целом, применение внутрирядной системы кондиционирования позволяет повысить её эффективность до 10% при высокой загрузке и до 30% при низкой.

  • Использование ИБП, встроенных в 19» шкаф. Отныне источник чистого электропитания находится в шаге от потребителя! Немаловажно то, что ИБП – модульный. При введении в строй нового ИТ-оборудования и при росте мощности ЦОД достаточно добавить дополнительный модуль ИБП. В то же время при частичной загрузке ЦОД отключение лишних модулей ИБП будет произведено автоматически, ведь оптимальной нагрузкой для силовых модулей ИБП является 80-90% (при этом наблюдается максимальных КПД) и модульный ИБП будет стремиться поддерживать именно её.
  • Батареям уже не требуется проектировать стеллаж с таким их размещением на нем, чтобы было удобно соединять перемычки. В схеме APC аккумуляторные батареи также размещаются в 19″-шкафу, а их установка и извлечение характеризуются минимальной трудоемкостью и влиянием на систему в целом.
  • Ещё одна важнейшая особенность новой архитектуры: возможность управлять этим определенным участком ЦОД комплексно (т.е. всеми сисетмами одновременно), но независимо от других аналогичных. Тем самым достигается выработка индивидуальных рабочих режимов, характеризующихся наивысшим КПД, в каждом таком ряду.

Как заявляют в APC, новая архитектура позволяет повысить эффективность ЦОД в среднем на 15%. При этом использование модульного (масштабируемого) оборудования дает дополнительный положительный эффект при пониженной загрузке ЦОД: ещё около 6-9% (см. рис.2)

Рис.2. Рост эффективности ЦОД при различной его загрузке в зависимости от применяемой архитектуры.

Заключение

То, что всем кажется привычным, видимо, постепенно уходит в прошлое. Модульность проникает не только в конструктивы (использование шкафов стандартной ширины, ИТ-оборудования – строго кратной юнитам высоты и т.д), но и сами ЦОД становятся модульными. Один ряд – это как один отдельный ЦОД – он практически самодостаточен.

Очевидным подобием данной системы являются МЦОД – мобильные ЦОД или контейнерные ЦОД. В них также на несколько стоек приходится своя система энергоснабжения и кондиционирования. И некоторые западные ЦОД уже строятся модульными – из нескольких таких контейнеров.

 

 

 

Автор: Хомутский Юрий



Тэги: , ,
|
Источник:
|
RSS 2.1
|
|
  • Сергей 09.02.2011
    Это концепция с мегабородой, ее APC уже лет 10 продвигает. Чегой-то активировались снова?
    А как быть, если какой-нибудь сторедж надо поставить? Низкий, глубокий, на 25 квт и не 19"?
    Ответить
  • Skip 09.02.2011
    Очередное откровение от Юрия. Фокусы с разоблачением. Вспоминаем когда APC начал делать Инфрастракчу, с покупкой Шелтеров, кондиционерциков и расслабляемся. Глубоко дышим, вспоминаем о недавней покупке Юнифлаера... и наступает прозрение с нирваной. Вот оно - РЕШЕНИЕ! Правда недешево и обязательно берите что есть.
    Ответить
  • Сергей 10.02.2011
    Не дай бог какой-нибудь очередной вице-президент по развитию в АРС купит вдруг завод по производству мобильных генераторов, бензопил и лодочных моторов. Покупка будет немедленно интегрирована в концепцию Инфрастракчи. Не боится перебоев с электропитанием, плавает против течения, и с легкостью перепиливает плывущие навстречу бревна....
    Ответить
  • _он_ 10.02.2011
    жаль на сайте при открытии статьи не играет музыка из передачи "Криминальная Россия" :)

    Юрий, а про МЦОД - предлагаю в статье ссылку прикрепить, ведь на эту тему статьи были, если кому интересно, нажмёт.

    p.s. отсутствует красивая картинка еще про стоимость данного решения :)
    Ответить
  • ync 11.02.2011
    Здорово вы этих буржуев - АРС...
    Вы знаете что они на R&D тратят больше всех в отрасли? И ИБП делают сами... и кондиционеры...
    Вообще если следовать вашей логике (покупать плохо, надо всё придумывать с нуля и самостоятельно), то RCGroup - вообще отстой - слизали идею рядных кондиционеров. А все остальные компании сперли технологию у Вильяма Карриера. Покупайте только Carrier - остальные вообще ничего сами в своей жизни не сделали.
    В общем, высокий ценник - ещё не повод стебать решение или даже целую компанию :-)
    К тому же есть разные ЦОД. Если для сети коммерческих можно потратить один раз 30 млн и пол-года на проектные работы, а потом проект тиражировать на 10 объектов, то на рынке корпоративных ЦОД, где каждый проект уникален, показывать такие деньги и время - это просто убийственно для бизнеса. АРСшники предлагают именно типовое решение на уровне ряда. Мне порой полезно бывает, вот, например, сейчас, когда от старта проекта до ввода в эксплуатацию есть всего 4 месяца. 2 из которых - поставка оборудования.
    Кстати на форуме помнится просил помощи в выборе решения по кондиционированию для плотной среды в плотной компоновке. Все мне предлагали "гробы" Uniflair или что-то подобное, которое ну никак не влезало в комнату. Мне такой "тупой" и однотипный подход к любому проекту не импонирует, ну никак... Хочется многообразия вариантов
    Ответить
  • AK 11.02.2011
    Не стоит забывать что к этим маленьким и чудесным рядным кондиционерам от АРС может понадобиться еще и "гробик" CDU.
    И наверно Шнайдер просто так купил Юнифлеер,деньги некуда было девать....
    Ведь и так все прекрасно-есть рядные кондиционеры от АРС ;)
    Только почему то к своим чудесным кондиционерам они чиллеры закладывали в проектах что то типа Liebert-Hiross и даже,извиняюсь, BLUE BOX ...
    Ответить
  • Юрий 12.02.2011
    "Откровение от Юрия" :))))
    Нет, я здесь разоблачать ничего не пытался. Классическим планировкам ЦОД ещё жить и жить, тем более в России. Но идеи современных западных инженеров всё-таки надо знать!
    Да, это решение дорогое, но его модульность - большой плюс! В Европе принято повышать энергоэффективность проектов и модульность дает именно такие возможности.
    Ответить
  • Skip 12.02.2011
    Юрий, Вы все посты внимательно читали? Вы может объясните в чем новизна то? передовой западной мысли? Что такое классические планировки и чем они отличаются от модульных решений? Я еще в 2004 году реализовывал модульные решения аля Инфрастракча на компонентах разных производителей, за исключением рядников. Ну сейчас рядники делают все подряд. Ничего уникального не было ни тогда, ни сейчас, а по цене был выигрыш в 1,5 раза. И нечего людям голову забивать лозунгами про передовые технологии. Кстати, правда и то, что за пределами модуля APC заканчивается. Одного соска на коллекторе (который CDU) и всё - хочешь второй бери, хочешь сам вари, хочешь у Штульца заказывай.
    Ответить
  • ync 14.02.2011
    to АК:
    дык к любому кондиционеру на воде понадобится как минимум чиллер. Ну теперь у них есть Uniflair и "свои" чиллеры. Я кстати и пытался донести мысль, что покупать технологии вместе с компанией - это абсолютно нормально. А CDU можно и самому сварить, или не сварить...
    А вообще, неужели это такая трудная мысль: решения infrastruxure, rimatrix и т.п. позволяют реально сократить затраты на проектные работы для нетиповых ЦОДов. Знаете сколько стоит распланировать и просчитать инженерку от шкафа до чиллера на АРС? 0 рублей, 0 копеек. И занимает это 3 дня. Через пол-года ещё и чиллеры за тебя будут считать.
    Я реально в одно лицо могу спроектировать ЦОД на 30-50 шкафов за 2 недели. Правда ценник решения будет не очень... Зато быстро и с правильным результатом.
    По аналогии - 10 лет назад позволить купить себе машину могли единицы студентов. И немного обидно, что сейчас, когда приезжаю в alma mater по делам, мне авто негде поставить :-) Просто всё становится проще, в том числе и ЦОДы "делать". И никуда от этого не денешься.
    Так что предлагаю не разводить очередной хохлосрач и принять ситуацию как есть:-)
    Ответить
  • AK 14.02.2011
    то ync
    Не надо меня агитировать за советскую власть :)
    Я как бэ в теме по АРС.
    И считали мне они не один проект.
    Да,посчитают за три дня,если до этого я напишу грамотное и подробное ТЗ.
    А если нет -то так посчитают что мало не покажется ;)
    Кто там считает то последние время ?Вы видели лично тех инженеров ?
    Я лично общался.Люди линейку больших MGE (теперь АРС) толком не знают,а туда же-в конфигураторы :D
    И шаг влево или вправо от стандартной конфигурации влечет за собой увлеченную переписку уже с иностраными спецами по скрипту.Это я из личного опыта ,если что.

    На уровне "проекта" от АРС (где кабели подводят к ИБП кто то другой и чиллеры стоят где то там ) на один ряд я сделаю аналогичный проект за те же три дня. Ну может только не подсчитаю длину UTP для подключения мониторинга ;)
    Нет там передовых решений впереди планеты всей,там есть прекрасный маркетинг ;)
    А в части чиллеров -как люди которые только купили Юнифлеер могут учить строить системы охлаждения ЦОДов тот же ,например, Liebert ? риторический вопрос ))

    Мы это уже проходили с дельта-преобразованием.Которое лучше всех ))Остальный производители ИБП вообще ничего не смыслили в правильных ИБП ))

    А, были еще и топливные ячейки )))

    Никакого срача вроде,конструктивный диалог.Ну,я надеюсь ))
    Ответить
  • Юрий 16.02.2011
    Skip, а вот и ваша неправда.
    Я готов преклониться перед вашими передовыми идеями 2004 года, абсолютно серьезно говорю.
    Но то, что весь ЦОД в одном ряду - это, как минимум, непривычно! Нет, ну ЦОД в 20-40кВт какой-нить фирмы может и умещается в ряд, ибо нет смысла плодить помещения, но речь идет о больших ЦОД!
    Берем TIA-942, читаем стр.31, п.5.3.4.2: ИБП выше 100кВА - в отдельное помещение, аккумуляторы - вместе с ИБП.
    Берем стандарты МТС, Билайн, Мегафон: машинный зал отдельно, ИБП отдельно, щиты отдельно.
    Ни один большой ЦОД даже не предполагает возможности совмещения помещений! А тут на тебе - ИБП встроен в 19"-стойку, аккумуляторы - там же. Это принципиально новая архитектура! Точно также, как модульно-каркасное построение зданий вновинку после панельного или кирпичного.
    Про CDU я и не отрицаю недостатка. Более того, я ни разу не говорю, что ЦОД в ряд от АРС - панацея. Я - инженер, а не рекламщик.
    Ответить
  • Юрий 16.02.2011
    ync, АК:
    А вы действительно каждый по-своему правы.
    Такие "модульные" ЦОДы отупляют проектировщиков, но удешевляют проект.
    Кстати, про ИБП с дельта-преобразованием текст готовится..:)
    А топливные ячейки, думаю, ещё не обрели себя, но должны бы, должны.
    АРС действительно больше других любит учить "что такое хорошо и что такое плохо" :)
    Ответить
  • ync 16.02.2011
    Я не против чтобы кто-нибудь другой поучил, дак ведь никто не хочет...
    У меня, например, есть рук-во по проектированию XD систем Liebert - это же ад кромешный. Кто его писал?! Поэтому к Liebert у меня отношение прохладное. А для high density систем работают только Knuerr/Liebert, да АРС. А системы высокой плотности в стандартном помещении офисного типа - это уже реалии современных корпоративных ЦОДов.
    А топливные ячейки АРС ставили в юса. Там они кстати много чего делали, о чем здесь пока и не слышали.
    Ответить
  • AK 16.02.2011
    Открываем спеку на какую-нибудь PX 96 kW от АРС, смотрим габариты и вес ,прикидываем нагрузку на перекрытие и радуемся удешевлению проекта ;) Это если их в общем зале размещать,ага.
    Это я тоже проходил,в одном из проектов дешевле оказалось взять не АРС и сделать отдельную эл.щитовую ,чем выполнять мероприятия по усилению перекрытий.Намного дешевле.
    К вопросу об удешевлении проекта...
    Ответить
  • AK 16.02.2011
    то ync
    У Conteg-а тоже появились решения для high density . Смотрятся красиво,как в работе-не знаю :)
    Ответить
  • ync 16.02.2011
    Недавно ставили в здании 19 века PX 128 кВт 30 минут автономной работы. Построили фальшпол за 80 т.р. И спокойно себе стоит.
    Но чаще всего вопрос не в обустраивать/не обустраивать, а в том есть ли место под аккумуляторную в принципе. Естественно что когда есть куда поставить ИБП с АКБ в подвале, туда и ставят. Я думаю что нет таких яростных фанов концепции, которые плюют на наличие нормальных помещений, лишь бы как на картинке строить.
    Да и сами АРС называют это ISX тип С. И говорят, что им всё-равно какой ИБП и куда поставите. Но лучше чтобы это был MGE или PX :-)
    По поводу Conteg... У Estap (которые принадлежат Legrand) тоже есть... Опять возвращаемся к вопросу об опыте производства. Только на этот раз у АРС его побольше.
    Ответить
  • Skip 16.02.2011
    Фраза о том, что модульные ЦОДы удешевляют проект очень странна. Разработку проектной документации да, но чтобы проект?!
    Теперь про питание в стойке, что такого уникального, для кого она принципиально новая эта архитектура? Берем например у Итона PowerBlade UPS, набираем до 60 кВА на шкаф. есть и шины и распределители. Хорошее решение - хорошее, масштабируемое под конкретную нагрузку и т.д. - одно плохо цена со стоечными решениями ну никакого сравнения не выдерживает. Рэков замкнутого цикла - как грязи. Что в этом нового?
    Далее, объясните - ну делаете Вы ЦОД на один ряд, а дальше то что? как этот ряд масштабировать на большой ЦОД? Рядами? В чем разница? Это всегда было слабым местом Инфрастракче - инфраструктура за пределами Инфрастракчи, да простят меня за тавтологию.
    TIA-942 для Вас Библия? Зря. Да и большая тройка операторов НИР не заказывала, свои требования скомпилировали из доступных доков. Решение работает, в бюджет укладывается - имеет право на реализацию.
    Это неправда?
    При этом я не имею ничего против идеи, что к какому-то сроку не будет такой специальности ЦОДостроитель, будут покупать стандартные блоки и ставить, даже интегрированные сразу в ИТ-оборудование.
    Ответить
  • Skip 16.02.2011
    Забыл сказать, что я транформировал идею уже на полностью замкнутый цикл охлаждения шкафа и размещение внутри еще и АУГПТ. А в Вашем описании открытый цикл, значит по любому организовывать коридоры, стенки для отдельных модулей будете ставить? я с любопытством посмотрю на удельную площадь на рэк при такой компоновке.
    Ответить
  • Юрий 16.02.2011
    Я прошу прощения за неточность формулировки. Конечно, имелись ввиду проектные работы, а не проект.
    Skip, цикл открытый - полностью согласен и все вытекающие недостатки. Но до закрытых циклом мы ещё немного не дожили: ИТшники не любят усложненного доступа к серверам.
    По др.позициям можно дискуссировать долго, но, я думаю, третьим лицам уже достаточно комментариев для формирования своего мнения:)
    Ответить
  • ync 17.02.2011
    Дак никто не говорит про новизну решения в масшатбе вселенной. Просто для кого-то это интересно и ново, А для кого-то нет...
    А замкнутый цикл на шкаф на чьем оборудовании реализовывали?
    Ответить
ОСТАВИТЬ ОТЗЫВ



Партнеры