Добавить в избранное
Новости ЦОД и Дата-Центров
Все, что Вам нужно знать о ЦОД

Чистая правда про ЦОД

Тема Центров Обработки Данных (ЦОД) набрала и продолжает набирать популярность в России. Её успех подкрепляется не только нехваткой вычислительных мощностей, их разрозненностью и низкой эргономичностью, но и огромными инвестициями в проекты ЦОД вследствие высокой стоимости вычислительного оборудования. Ещё дороже стоят данные, обрабатываемые ЦОД. Именно поэтому стоимость оборудования инженерной инфраструктуры, обеспечивающей работу ЦОД, также высока, но всегда ли это оправдано?

Действительно, баснословная стоимость вычислительных ресурсов подразумевает высокую надежность обслуживающих систем. Результатом являются требования по наличию резервирования и аварийных источников питания (аккумуляторные батареи и дизель-генераторная установка), обеспечение «чистого» бесперебойного и фильтрованного питания, кондиционирование прецизионного класса и т.д.

Попробуем разоблачить некоторые из этих пунктов.

Прецизионное кондиционирование

Кому нужно прецизионное кондиционирование в ЦОД? Ответ очевиден – производителям прецизионного оборудования. Для них это реализация товара, прибыль, дорогие контракты и т.п.

Но рассмотрим ситуацию с точки зрения ЦОД.

  1. В ЦОД применение прецизионной климатической техники диктуется высокими требованиями по микроклимату машинного зала ИТ-оборудованием. Слово «прецизионный» подразумевает более высокую точность поддержания, например, температуры – не ±5С, а, допустим, ±1С. При этом сложность заключается в высокой тепловой нагрузке машинных залов – до 1кВт/кв.м и выше.

    Но так ли высоки требования по температуре самого ИТ-оборудования? Американская ассоциация ASHRAE, «лозунгами» которой пользуются при построении ЦОД во всем мире, не только не сужает диапазон температур, а наоборот – расширяет его! Более того, этот диапазон был далеко не узким: 20-25С. В 2008 году его расширили до 18-27С. По сути это «плюс-минус километр» и такую, если так можно выразиться, «точность» температуры может поддержать даже бытовая сплит-система. А если взять техническую документацию, например, на блейд-сервера, то там указан ещё более широкий диапазон входящего воздуха: 10-30С. Почему тогда продвигается именно прецизионная техника? Правильно – это выгодно её производителям.

  2. Дальше – больше.

  3. Ещё одно требование, предъявляемое к прецизионному климатическому оборудованию – долговечность. В рекламных проспектах можно увидеть цифры порядка 10-15 лет круглогодичной круглосуточной работы. В то же время ресурс компрессоров и вентиляторов составляет около 60 000 часов, а в году 8760 часов. На сколько лет их хватит? На срок менее 7 лет. Неужели заявленные 10-15 лет подразумевают как минимум однократную замену комплектующих по истечению их срока службы? Но тогда бы долговечность была бы бесконечной – надо лишь в том же корпусе периодически заменять все элементы. В итоге и здесь «прецизионность» ничего не дает.
  4. Продолжим тему – сделаем главный удар!

  5. Из науки о холодильной технике известно, что получение низких температур тем дороже, чем ниже получаемая температура. Т.е. поддержание более высокой температуры в ЦОД с точки зрения экономии электроэнергии выгоднее. Почему тогда допустимый диапазон лежит в пределах 18-27С? Почему бы его не поднять до 30-37С?

    Ответ на этот вопрос кроется уже в ИТ-оборудовании. Если силы науки с разработки новых технологий в области прецизионного кондиционирования бросить на разработку ИТ-оборудования, адекватно работающего при более высоких температурах, то кондиционеры вообще не понадобятся – достаточно будет охлаждения наружным воздухом! Почему же не разрабатываются такие серверы? Правильно – это выгодно производителям кондиционеров.

    Вполне возможно, что вы опровергнете мои слова тем, что практически все чиллеры, установленные в ЦОД, поддерживают функцию фрикулинга (охлаждение теплоносителя наружным воздухом в холодное время года без использования компрессора). Ещё более новыми являются разработки систем охлаждения наружным воздухом, напрямую не связанных с кондиционерами (FFC от компании Аякс, фрикулинг-бокс от компании ВентСпецСтрой и др.).

    Но ведь это – лишь «мнимые» достижения! То, что и без того очевидно – поднять рабочую температуру серверов и охладить их «улицей» — хитрой цепочкой преподносится достижениями техники. Рабочую температуру повышать не хотят, а встроенные в стены вентиляторы возносят до небес под грифом «новые технологии». Почему? Правильно – это выгодно производителям.

  6. Наконец, ещё одна великая загадка кондиционирования ЦОД, на этот раз упирающаяся в серверное оборудование.

    Задавали ли вы вопрос, почему ИТ-оборудоваие выделяет так много тепла и почему его расчетное тепловыделение равно потребляемой энергии? Неужели их КПД равно нулю – всё уходит в тепло? Действительно, это именно так! КПД вычислительного оборудования составляет сотые доли процента. Главной причиной тому являются потери энергии при передаче сигналов в микросхемах.

    Но и эта проблема решаема. Ответ лежит в применении высокотемпературной сверхпроводимости – явления понижения сопротивления проводников при нормальных температурах. Если эта технологий пройдет в жизнь, КПД ИТ-оборудования резко возрастет, а потребность в кондиционировании снизится в разы. Почему же не развивается высокотемпературная сверхпроводимость?

  7. Правильно – это выгодно производителям кондиционеров.

Бесперебойное электропитание

Ещё один интересный казус лежит в области бесперебойного электропитания ЦОД.

Все рекомендации и нормативные документы предписывают запитывать активные мощности ЦОД «чистым» питанием, лишенным скачков напряжения, непостоянной частоты, помех, а также обеспечивающим некоторую аккумуляцию энергии на случай пропадания внешней электросети. Этим занимаются ИБП.

На «очистку» переменного тока ИБП тратят некоторую часть энергии – около 6%. Соответственно, КПД ИБП составляет 94%.

И тут у каждого производителя под своим названием появляется «новая технология, позволяющая повысить КПД ИБП до 99%». В чем же заключается эта технология?

Всё очень просто: критически важная нагрузка подключается напрямую к электросети, пока её параметры соответствуют требованиям, а на время перебоев и помех подключается линия двойного преобразования. В итоге то, от чего ушли 10 лет назад – от «грязного» питания серверов – снова вернулось к нам уже в качестве «новых технологий».

Выводы

Разобравшись в ситуации, складывается мнение, что новые технологии инженерии ЦОД возвращают нас в прошлый век по качеству обеспечения работы серверного оборудования, но требуя за них на порядок увеличенные финансовые затраты, а некоторые ИТ-направления не развиваются ввиду последующего краха коллег из соседнего направления:

  • Отказ от охлаждения наружным воздухом ввиду его загрязненности после десятилетнего бума прецизионного кондиционирования «оживает» через использование свободного охлаждения с фильтрами, класс очистки которых не выше EU2-EU4.
  • Отказ от «грязного» питания ИТ-оборудования спустя десятилетие преобразился в ИБП с суперэкономной технологией, подающей «грязное» питание напрямую в ЦОД.
  • Климатическая техника в ЦОД по-прежнему потребляет до половины мощности ИТ-оборудования ЦОД ввиду нежелания разработок высокотемпературных серверов.
  • Сервера выделяют столько же тепла, сколько потребляют энергии из электросети, явно позиционируя себя как устройства с катастрофически низким КПД без какого-либо прогресса в обозримом будущем.

 

 

 

Автор: Хомутский Юрий



|
Источник:
|
RSS 2.1
|
|
  • ync 28.12.2010
    В ITSM тоже есть товарищ, который завется IT-скептиком :-) Он компроментирует стандарты, которые сам же помогал писать.
    У любой технологии есть недостатки. Мириться с ними или нет - выбор каждого.
    Лично для мне глаза не раскрыли :-)
    Ответить
  • Skip 29.12.2010
    Прям заговор какой то... Адиозная статья, высосанная из пальца... Верхом является популистский вопрос: "Почему же не развивается высокотемпературная сверхпроводимость?". Напоминает... "когда космические корабли бороздят просторы..."
    Ответить
  • ync 29.12.2010
    Ага, точно, очередная теория заговора корпораций против потребителей и непризнанных гениев от науки, которым жмут бабло и оставляют подыхать с голоду.
    зы. седня ж не 1 апреля????
    Ответить
  • grey72 06.01.2011
    Сервера выделяют столько же тепла, сколько потребляют энергии из электросети, явно позиционируя себя как устройства с катастрофически низким КПД без какого-либо прогресса в обозримом будущем.
    =======
    Ну до чего ж безграмотно! Автор, наверное, полагает, что сервера должны производить и механическую работу, например, бегать по помещению :) Если, кстати, сервера будут ТОЛЬКО бегать, то их КПД (согласно автору) будет 100% :)
    Ответить
  • Maksim 11.01.2011
    Слишком много в статье неточностей, недоговорок, как-бы недостаточное знание темы. Хотя автор явно не дилетант, но таковых рассчитано. Это что, провокация?
    Ответить
  • Юрий 14.01.2011
    Господа, если не трудно, вы выразите более конкретные возражения по-пунктно вместо общих фраз, мол, провокация и заговор.
    Вы не согласны с тем, что ЦОДовый диапазон 18-27С шире, чем офисный 18-24?
    Вы не согласны с тем, что если речь идет о 18-27, то прецизионность тут и рядом не стоит?
    Вы не согласны с тем, что поднятие рабочих температур в ЦОД навсегда решит проблему охлаждения?
    И Вы согласны с тем, что технология ИБП, подающая грязное питание на стойки - это реальный прогресс науки?

    grey72, КПД - это отношение полезной работы к затраченной. Если полезная работа серверов будет заключаться в беге, то вы правы - их КПД будет 100%.
    Однако полезная работа серверов - вычислять. При этом выделяемое ими тепло - это потери. Причем потери равны энергопотреблению. Вывод очевиден: КПД почти 0%.

    Maksim, если можно, конкретнее. Где неточности?
    Ответить
  • grey72 15.01.2011
    Вы не согласны с тем, что поднятие рабочих температур в ЦОД навсегда решит проблему охлаждения?
    ===== На сегодняшний день это навсегда решит проблему жестких дисков - они загнутся. И потом - я использую режим контуров 20/25, при этом в залах поддерживается +24-25. А поднять тмепературу воды никто не может из производителей чиллеров. У меня первичный контур - на 18/23, это сейчас технологический предел. Или вы видели контуры с еще большей температурой? Нет, даже 18/23 не видели. Ну, и о чем речь?

    Однако полезная работа серверов – вычислять. При этом выделяемое ими тепло – это потери. Причем потери равны энергопотреблению. Вывод очевиден: КПД почти 0%.

    ===== Юрий, понятие КПД нельзя так вольно траковать. Вы сами, например, копая канаву, выделяете тепло и производите механичесую работу. Стало быть, КПД больше 0%. Но, вот если эта канава не нужна никому, Вы предлагаете считать КПД равным 0. Это неверно. А сервера - обеспечивая p-n переходы, они затрачивают очень немного энергии, и попутно теряют много энергии в виде тепловыделения, но другого способа пока нет. И заканов физики других тоже нет.
    Ответить
  • grey72 15.01.2011
    Да, прошу не рассказывать про Kyoto или использование ambient air. Это все применяется, только особой (прорывной) экономии нет как нет. При том, что я использую режим 18/23, частотники, и окно фригулинга - до +15, получается, что это - ТО ЖЕ САМОЕ, что и kyoto - бенчмарки могу прислать, если нужно. Причем живые - поставить запись метрик на живом ДЦ, хоть прямо сейчас.
    Ответить
  • grey72 15.01.2011
    Для понимания - дополню свой пост: НЕТ сейчас возможонсти обеспечения p-n переходов с меньшими энергозатратами. И не будет никогда - нужно менять кремний. Никто не знает, на что его менять. На германий - немного лучше, но жуть как дорого.
    И, кстати, температуру в ДЦ выможете поднимать, пёс с ними, с дисками - используем SSD, но - не бесконечно. Вы же понимаете, до каких пределов поднимется температура в зале? Вы туду просто не войдете. Так что охлаждение нужно, а вот прецизионность - действительно, не нужна (только для батарей, но я их не применяю :) ). относительно грязного питания - этой технологии 100 лет в обед. Основная сложность - момент переключения на ИБП: пока никто не может его осуществить за приемлемый интервал времени.
    Ответить
  • grey72 15.01.2011
    Юрий, еще подробнее:
    Тепловой пробой — это пробой, развитие которого обусловлено выделением в выпрямляющем электрическом переходе тепла вследствие прохождения тока через переход. При подаче обратного напряжения практически всё оно падает на p-n-переходе, через который идёт, хотя и небольшой, обратный ток. Выделяющаяся мощность вызывает разогрев p-n-перехода и прилегающих к нему областей полупроводника. При недостаточном теплоотводе эта мощность вызывает дальнейшее увеличение тока, что приводит к пробою. Тепловой пробой, в отличие от предыдущих, необратим
    Ответить
  • grey72 15.01.2011
    А насчет свехпроводимости, вы знаете, очень много требуется времени и денег на разработку, сейчас этот процесс в начале пути. Интерметаллиды с нужными свойствами получили только в начале 2001 года. Если вы имеете какое-то отношение к науке, то вы должны понимать, сколько ДЕСЯТИЛЕТИЙ необходимо для разработок, и сколько МИЛЛИАРДОВ долларов. Увы, это пока не прикладная наука. а чистая.
    Ответить
  • Юрий 15.01.2011
    grey72, я рад - спасибо за содержательные ответы!
    И ещё я рад тому, что вы признали почти все мои пункты, кроме КПД:
    - сверхпроводимость понизит энергопотребление и тепловую нагрузку ЦОД
    - технология грязного питания - ей "100 лет в обед", но сегодня производители фальшиво позиционируют её как "новую технологию, обеспечивающую КПД ИБП 99%"
    - прецизионность не нужна.
    Про поднятие температуры вы немного не поняли меня: если появятся сервера с высокой раб.температурой (эдак 40-45С), то кондиционирование не будет нужно вообще!!! Не нужны изобретения чиллеров с высокой температурой испарителя! Достаточно охлаждения наружным воздухом и только! Статья кондиционирования просто исчезнет из смет.
    Ответить
  • Юрий 15.01.2011
    А про КПД - отдельно.
    Уловил вашу мысль. Вы хотите сказать, что тепло, выделяемое серверами, является полезной мощностью, т.к. именно благодаря нему осуществляется p-n переходы и производятся вычисления.
    Тогда получается, что технология p-n переходов имеет КПД, близкий к 0! :) Переходы на совершение вычисления требуют, к примеру, 1кДж энергии и потом 0.9999999кДж тепла выделяется на нем при прохождении через него тока.
    Итог: это просто несовершенство технологии.
    Точно также двигатели используют лишь 30-35% от энергии сгорания топлива, остальное выкидывают, а первые паровозы так вообще на уровне КПД 5% работали.
    Ответить
  • Maksim 17.01.2011
    Юрий, пишу по пунктам.
    1. «Прецизионность» для поддержания параметров в машинном зале действительно требуется очень редко. Само же название «прецизионный кондиционер» скорее подразумевает точность контроля рабочих параметров кондиционера и соответствующее управление работой кондиционера, что сказывается на его надежности. Это то же, что и прецизионное изготовление деталей двигателя автомобиля слабо влияет на точность поддержания скорости.
    2. Откуда данные? Возможно, они взяты из разных источников и применительно к разному оборудованию, собраны в одну кучу. Хотя 10-15 лет - это конечно же рекламный ход, оборудование устареет морально или перестанет соответствовать новым требованиям гораздо быстрее.(так что о возврате в прошлый век говорить рановато)
    3. Вопрос о повышении рабочих температур серверов открыт и обсуждается. А если сравнить стоимость сервера и кондиционера для его охлаждения, то не похоже, что производителей серверов хоть как то касаются интересы производителей кондиционеров.
    По п. 4: grey72 сказал достаточно, но главное: В каких единицах надо считать полезную работу серверов, что бы посчитать их КПД по отношению к потребляемой энергии???
    Ответить
  • Юрий 17.01.2011
    Maksim, ну с первыми тремя пунктами дискуссировать вроде не о чем, а про КПД - тепло, выделяемое серверами всё-таки штука вредная (ну, явно его нельзя назвать полезной работой), поэтому:
    КПД = (Потр.мощн. - выдел.тепло) / Потр. мощн.
    Ответить
  • grey72 17.01.2011
    А про КПД – отдельно.
    =======
    Да, это действительно так, но тут уж ничего не поделаешь. Впрочем, так же обстоят дела и в атомной энергетике...
    Ответить
  • Lollipop 18.01.2011
    Так эту тему можно продолжить. Запросто можно отказаться от использования фальшпола. Хоть затраты на него не сравнимы со стоимостью кондиционеров, но тоже экономия.
    Ответить
  • author 18.01.2011
    От фальшпола на западе уже многие отказываются, а экономия очень даже приличная
    Ответить
  • Юрий 18.01.2011
    В том-то и дело, что на западе экономят всё и везде. Свет в домах, порошок при стирке, упаковочный материал, дабы экологию не портить и т.д.
    Пусть кондиционеры на порядок дешевле сервеорв, всё равно экономия! Пусть фальшполы ещё дешевле кондиционеров - и то плюс!
    А у нас зато есть ЦОДы, где кондиционеры оснащают суперзимними комплектами, дабы они и зимой пахали, а фрикулинг ставят в резерв :/
    Ответить
  • Юрий 06.02.2011
    Вспоминая тему КПД серверов пришла на ум аналогия про лампы накаливания.
    Несмотря на то, что технология получения света в лампе накаливания требует её нагрева до 3000С и при этом 95% энергии уходит в тепло, а только 5% - в свет, всё равно открыто говорят, что КПД ламп = 5%!
    Никто не говорит, что КПД ламп=100%, ибо выделяемое тепло - это необходимый эффект для получения света! Всем понятно, что полезно используется (а полезное в данном случае - это свет) только 5% мощности и КПД=5%.
    Поэтому и КПД серверов = 0.0001%, ибо на движение электронов в микросхемах тратится именно столько от потребляемой энергии. :)
    Ответить
  • Юрий 06.02.2011
    И только это движение электронов может считаться полезной работой в ЦОД.
    Тепловые пробои - это лишь несовершенство технологии, а этим нельзя прикрываться перед строгостью математических формул.
    Ответить
  • chm 07.02.2011
    КПД может как-то от вычислительной мощи высчитывать?

    потратил сервер 1 квт - насчитал 10Гб данный, а другой потратил 1квт и насчитал 20Гб. КПД второго в 2 раза лучше :)


    А в России все сервера на север нужно отправить - там вместо охлаждения ещё и подогрев потребуется...
    Ответить
ОСТАВИТЬ ОТЗЫВ



События и мероприятия
    нет событий, чтобы показывать
Партнеры