Чистая правда про ЦОД
Тема Центров Обработки Данных (ЦОД) набрала и продолжает набирать популярность в России. Её успех подкрепляется не только нехваткой вычислительных мощностей, их разрозненностью и низкой эргономичностью, но и огромными инвестициями в проекты ЦОД вследствие высокой стоимости вычислительного оборудования. Ещё дороже стоят данные, обрабатываемые ЦОД. Именно поэтому стоимость оборудования инженерной инфраструктуры, обеспечивающей работу ЦОД, также высока, но всегда ли это оправдано?
Действительно, баснословная стоимость вычислительных ресурсов подразумевает высокую надежность обслуживающих систем. Результатом являются требования по наличию резервирования и аварийных источников питания (аккумуляторные батареи и дизель-генераторная установка), обеспечение «чистого» бесперебойного и фильтрованного питания, кондиционирование прецизионного класса и т.д.
Попробуем разоблачить некоторые из этих пунктов.
Прецизионное кондиционирование
Кому нужно прецизионное кондиционирование в ЦОД? Ответ очевиден – производителям прецизионного оборудования. Для них это реализация товара, прибыль, дорогие контракты и т.п.
Но рассмотрим ситуацию с точки зрения ЦОД.
- В ЦОД применение прецизионной климатической техники диктуется высокими требованиями по микроклимату машинного зала ИТ-оборудованием. Слово «прецизионный» подразумевает более высокую точность поддержания, например, температуры – не ±5С, а, допустим, ±1С. При этом сложность заключается в высокой тепловой нагрузке машинных залов – до 1кВт/кв.м и выше.
Но так ли высоки требования по температуре самого ИТ-оборудования? Американская ассоциация ASHRAE, «лозунгами» которой пользуются при построении ЦОД во всем мире, не только не сужает диапазон температур, а наоборот – расширяет его! Более того, этот диапазон был далеко не узким: 20-25С. В 2008 году его расширили до 18-27С. По сути это «плюс-минус километр» и такую, если так можно выразиться, «точность» температуры может поддержать даже бытовая сплит-система. А если взять техническую документацию, например, на блейд-сервера, то там указан ещё более широкий диапазон входящего воздуха: 10-30С. Почему тогда продвигается именно прецизионная техника? Правильно – это выгодно её производителям.
- Ещё одно требование, предъявляемое к прецизионному климатическому оборудованию – долговечность. В рекламных проспектах можно увидеть цифры порядка 10-15 лет круглогодичной круглосуточной работы. В то же время ресурс компрессоров и вентиляторов составляет около 60 000 часов, а в году 8760 часов. На сколько лет их хватит? На срок менее 7 лет. Неужели заявленные 10-15 лет подразумевают как минимум однократную замену комплектующих по истечению их срока службы? Но тогда бы долговечность была бы бесконечной – надо лишь в том же корпусе периодически заменять все элементы. В итоге и здесь «прецизионность» ничего не дает.
- Из науки о холодильной технике известно, что получение низких температур тем дороже, чем ниже получаемая температура. Т.е. поддержание более высокой температуры в ЦОД с точки зрения экономии электроэнергии выгоднее. Почему тогда допустимый диапазон лежит в пределах 18-27С? Почему бы его не поднять до 30-37С?
Ответ на этот вопрос кроется уже в ИТ-оборудовании. Если силы науки с разработки новых технологий в области прецизионного кондиционирования бросить на разработку ИТ-оборудования, адекватно работающего при более высоких температурах, то кондиционеры вообще не понадобятся – достаточно будет охлаждения наружным воздухом! Почему же не разрабатываются такие серверы? Правильно – это выгодно производителям кондиционеров.
Вполне возможно, что вы опровергнете мои слова тем, что практически все чиллеры, установленные в ЦОД, поддерживают функцию фрикулинга (охлаждение теплоносителя наружным воздухом в холодное время года без использования компрессора). Ещё более новыми являются разработки систем охлаждения наружным воздухом, напрямую не связанных с кондиционерами (FFC от компании Аякс, фрикулинг-бокс от компании ВентСпецСтрой и др.).
Но ведь это – лишь «мнимые» достижения! То, что и без того очевидно – поднять рабочую температуру серверов и охладить их «улицей» – хитрой цепочкой преподносится достижениями техники. Рабочую температуру повышать не хотят, а встроенные в стены вентиляторы возносят до небес под грифом «новые технологии». Почему? Правильно – это выгодно производителям.
- Наконец, ещё одна великая загадка кондиционирования ЦОД, на этот раз упирающаяся в серверное оборудование.
Задавали ли вы вопрос, почему ИТ-оборудоваие выделяет так много тепла и почему его расчетное тепловыделение равно потребляемой энергии? Неужели их КПД равно нулю – всё уходит в тепло? Действительно, это именно так! КПД вычислительного оборудования составляет сотые доли процента. Главной причиной тому являются потери энергии при передаче сигналов в микросхемах.
Но и эта проблема решаема. Ответ лежит в применении высокотемпературной сверхпроводимости – явления понижения сопротивления проводников при нормальных температурах. Если эта технологий пройдет в жизнь, КПД ИТ-оборудования резко возрастет, а потребность в кондиционировании снизится в разы. Почему же не развивается высокотемпературная сверхпроводимость?
Дальше – больше.
Продолжим тему – сделаем главный удар!
Правильно – это выгодно производителям кондиционеров.
Бесперебойное электропитание
Ещё один интересный казус лежит в области бесперебойного электропитания ЦОД.
Все рекомендации и нормативные документы предписывают запитывать активные мощности ЦОД «чистым» питанием, лишенным скачков напряжения, непостоянной частоты, помех, а также обеспечивающим некоторую аккумуляцию энергии на случай пропадания внешней электросети. Этим занимаются ИБП.
На «очистку» переменного тока ИБП тратят некоторую часть энергии – около 6%. Соответственно, КПД ИБП составляет 94%.
И тут у каждого производителя под своим названием появляется «новая технология, позволяющая повысить КПД ИБП до 99%». В чем же заключается эта технология?
Всё очень просто: критически важная нагрузка подключается напрямую к электросети, пока её параметры соответствуют требованиям, а на время перебоев и помех подключается линия двойного преобразования. В итоге то, от чего ушли 10 лет назад – от «грязного» питания серверов – снова вернулось к нам уже в качестве «новых технологий».
Выводы
Разобравшись в ситуации, складывается мнение, что новые технологии инженерии ЦОД возвращают нас в прошлый век по качеству обеспечения работы серверного оборудования, но требуя за них на порядок увеличенные финансовые затраты, а некоторые ИТ-направления не развиваются ввиду последующего краха коллег из соседнего направления:
- Отказ от охлаждения наружным воздухом ввиду его загрязненности после десятилетнего бума прецизионного кондиционирования «оживает» через использование свободного охлаждения с фильтрами, класс очистки которых не выше EU2-EU4.
- Отказ от «грязного» питания ИТ-оборудования спустя десятилетие преобразился в ИБП с суперэкономной технологией, подающей «грязное» питание напрямую в ЦОД.
- Климатическая техника в ЦОД по-прежнему потребляет до половины мощности ИТ-оборудования ЦОД ввиду нежелания разработок высокотемпературных серверов.
- Сервера выделяют столько же тепла, сколько потребляют энергии из электросети, явно позиционируя себя как устройства с катастрофически низким КПД без какого-либо прогресса в обозримом будущем.
Автор: Хомутский Юрий
-
ync 28.12.2010В ITSM тоже есть товарищ, который завется IT-скептиком :-) Он компроментирует стандарты, которые сам же помогал писать.
У любой технологии есть недостатки. Мириться с ними или нет - выбор каждого.
Лично для мне глаза не раскрыли :-) -
Skip 29.12.2010Прям заговор какой то... Адиозная статья, высосанная из пальца... Верхом является популистский вопрос: "Почему же не развивается высокотемпературная сверхпроводимость?". Напоминает... "когда космические корабли бороздят просторы..."
-
ync 29.12.2010Ага, точно, очередная теория заговора корпораций против потребителей и непризнанных гениев от науки, которым жмут бабло и оставляют подыхать с голоду.
зы. седня ж не 1 апреля???? -
grey72 06.01.2011Сервера выделяют столько же тепла, сколько потребляют энергии из электросети, явно позиционируя себя как устройства с катастрофически низким КПД без какого-либо прогресса в обозримом будущем.
=======
Ну до чего ж безграмотно! Автор, наверное, полагает, что сервера должны производить и механическую работу, например, бегать по помещению :) Если, кстати, сервера будут ТОЛЬКО бегать, то их КПД (согласно автору) будет 100% :) -
Maksim 11.01.2011Слишком много в статье неточностей, недоговорок, как-бы недостаточное знание темы. Хотя автор явно не дилетант, но таковых рассчитано. Это что, провокация?
-
Юрий 14.01.2011Господа, если не трудно, вы выразите более конкретные возражения по-пунктно вместо общих фраз, мол, провокация и заговор.
Вы не согласны с тем, что ЦОДовый диапазон 18-27С шире, чем офисный 18-24?
Вы не согласны с тем, что если речь идет о 18-27, то прецизионность тут и рядом не стоит?
Вы не согласны с тем, что поднятие рабочих температур в ЦОД навсегда решит проблему охлаждения?
И Вы согласны с тем, что технология ИБП, подающая грязное питание на стойки - это реальный прогресс науки?
grey72, КПД - это отношение полезной работы к затраченной. Если полезная работа серверов будет заключаться в беге, то вы правы - их КПД будет 100%.
Однако полезная работа серверов - вычислять. При этом выделяемое ими тепло - это потери. Причем потери равны энергопотреблению. Вывод очевиден: КПД почти 0%.
Maksim, если можно, конкретнее. Где неточности? -
grey72 15.01.2011Вы не согласны с тем, что поднятие рабочих температур в ЦОД навсегда решит проблему охлаждения?
===== На сегодняшний день это навсегда решит проблему жестких дисков - они загнутся. И потом - я использую режим контуров 20/25, при этом в залах поддерживается +24-25. А поднять тмепературу воды никто не может из производителей чиллеров. У меня первичный контур - на 18/23, это сейчас технологический предел. Или вы видели контуры с еще большей температурой? Нет, даже 18/23 не видели. Ну, и о чем речь?
Однако полезная работа серверов – вычислять. При этом выделяемое ими тепло – это потери. Причем потери равны энергопотреблению. Вывод очевиден: КПД почти 0%.
===== Юрий, понятие КПД нельзя так вольно траковать. Вы сами, например, копая канаву, выделяете тепло и производите механичесую работу. Стало быть, КПД больше 0%. Но, вот если эта канава не нужна никому, Вы предлагаете считать КПД равным 0. Это неверно. А сервера - обеспечивая p-n переходы, они затрачивают очень немного энергии, и попутно теряют много энергии в виде тепловыделения, но другого способа пока нет. И заканов физики других тоже нет. -
grey72 15.01.2011Да, прошу не рассказывать про Kyoto или использование ambient air. Это все применяется, только особой (прорывной) экономии нет как нет. При том, что я использую режим 18/23, частотники, и окно фригулинга - до +15, получается, что это - ТО ЖЕ САМОЕ, что и kyoto - бенчмарки могу прислать, если нужно. Причем живые - поставить запись метрик на живом ДЦ, хоть прямо сейчас.
-
grey72 15.01.2011Для понимания - дополню свой пост: НЕТ сейчас возможонсти обеспечения p-n переходов с меньшими энергозатратами. И не будет никогда - нужно менять кремний. Никто не знает, на что его менять. На германий - немного лучше, но жуть как дорого.
И, кстати, температуру в ДЦ выможете поднимать, пёс с ними, с дисками - используем SSD, но - не бесконечно. Вы же понимаете, до каких пределов поднимется температура в зале? Вы туду просто не войдете. Так что охлаждение нужно, а вот прецизионность - действительно, не нужна (только для батарей, но я их не применяю :) ). относительно грязного питания - этой технологии 100 лет в обед. Основная сложность - момент переключения на ИБП: пока никто не может его осуществить за приемлемый интервал времени. -
grey72 15.01.2011Юрий, еще подробнее:
Тепловой пробой — это пробой, развитие которого обусловлено выделением в выпрямляющем электрическом переходе тепла вследствие прохождения тока через переход. При подаче обратного напряжения практически всё оно падает на p-n-переходе, через который идёт, хотя и небольшой, обратный ток. Выделяющаяся мощность вызывает разогрев p-n-перехода и прилегающих к нему областей полупроводника. При недостаточном теплоотводе эта мощность вызывает дальнейшее увеличение тока, что приводит к пробою. Тепловой пробой, в отличие от предыдущих, необратим -
grey72 15.01.2011А насчет свехпроводимости, вы знаете, очень много требуется времени и денег на разработку, сейчас этот процесс в начале пути. Интерметаллиды с нужными свойствами получили только в начале 2001 года. Если вы имеете какое-то отношение к науке, то вы должны понимать, сколько ДЕСЯТИЛЕТИЙ необходимо для разработок, и сколько МИЛЛИАРДОВ долларов. Увы, это пока не прикладная наука. а чистая.
-
Юрий 15.01.2011grey72, я рад - спасибо за содержательные ответы!
И ещё я рад тому, что вы признали почти все мои пункты, кроме КПД:
- сверхпроводимость понизит энергопотребление и тепловую нагрузку ЦОД
- технология грязного питания - ей "100 лет в обед", но сегодня производители фальшиво позиционируют её как "новую технологию, обеспечивающую КПД ИБП 99%"
- прецизионность не нужна.
Про поднятие температуры вы немного не поняли меня: если появятся сервера с высокой раб.температурой (эдак 40-45С), то кондиционирование не будет нужно вообще!!! Не нужны изобретения чиллеров с высокой температурой испарителя! Достаточно охлаждения наружным воздухом и только! Статья кондиционирования просто исчезнет из смет. -
Юрий 15.01.2011А про КПД - отдельно.
Уловил вашу мысль. Вы хотите сказать, что тепло, выделяемое серверами, является полезной мощностью, т.к. именно благодаря нему осуществляется p-n переходы и производятся вычисления.
Тогда получается, что технология p-n переходов имеет КПД, близкий к 0! :) Переходы на совершение вычисления требуют, к примеру, 1кДж энергии и потом 0.9999999кДж тепла выделяется на нем при прохождении через него тока.
Итог: это просто несовершенство технологии.
Точно также двигатели используют лишь 30-35% от энергии сгорания топлива, остальное выкидывают, а первые паровозы так вообще на уровне КПД 5% работали. -
Maksim 17.01.2011Юрий, пишу по пунктам.
1. «Прецизионность» для поддержания параметров в машинном зале действительно требуется очень редко. Само же название «прецизионный кондиционер» скорее подразумевает точность контроля рабочих параметров кондиционера и соответствующее управление работой кондиционера, что сказывается на его надежности. Это то же, что и прецизионное изготовление деталей двигателя автомобиля слабо влияет на точность поддержания скорости.
2. Откуда данные? Возможно, они взяты из разных источников и применительно к разному оборудованию, собраны в одну кучу. Хотя 10-15 лет - это конечно же рекламный ход, оборудование устареет морально или перестанет соответствовать новым требованиям гораздо быстрее.(так что о возврате в прошлый век говорить рановато)
3. Вопрос о повышении рабочих температур серверов открыт и обсуждается. А если сравнить стоимость сервера и кондиционера для его охлаждения, то не похоже, что производителей серверов хоть как то касаются интересы производителей кондиционеров.
По п. 4: grey72 сказал достаточно, но главное: В каких единицах надо считать полезную работу серверов, что бы посчитать их КПД по отношению к потребляемой энергии??? -
Юрий 17.01.2011Maksim, ну с первыми тремя пунктами дискуссировать вроде не о чем, а про КПД - тепло, выделяемое серверами всё-таки штука вредная (ну, явно его нельзя назвать полезной работой), поэтому:
КПД = (Потр.мощн. - выдел.тепло) / Потр. мощн. -
grey72 17.01.2011А про КПД – отдельно.
=======
Да, это действительно так, но тут уж ничего не поделаешь. Впрочем, так же обстоят дела и в атомной энергетике... -
Lollipop 18.01.2011Так эту тему можно продолжить. Запросто можно отказаться от использования фальшпола. Хоть затраты на него не сравнимы со стоимостью кондиционеров, но тоже экономия.
-
author 18.01.2011От фальшпола на западе уже многие отказываются, а экономия очень даже приличная
-
Юрий 18.01.2011В том-то и дело, что на западе экономят всё и везде. Свет в домах, порошок при стирке, упаковочный материал, дабы экологию не портить и т.д.
Пусть кондиционеры на порядок дешевле сервеорв, всё равно экономия! Пусть фальшполы ещё дешевле кондиционеров - и то плюс!
А у нас зато есть ЦОДы, где кондиционеры оснащают суперзимними комплектами, дабы они и зимой пахали, а фрикулинг ставят в резерв :/ -
Юрий 06.02.2011Вспоминая тему КПД серверов пришла на ум аналогия про лампы накаливания.
Несмотря на то, что технология получения света в лампе накаливания требует её нагрева до 3000С и при этом 95% энергии уходит в тепло, а только 5% - в свет, всё равно открыто говорят, что КПД ламп = 5%!
Никто не говорит, что КПД ламп=100%, ибо выделяемое тепло - это необходимый эффект для получения света! Всем понятно, что полезно используется (а полезное в данном случае - это свет) только 5% мощности и КПД=5%.
Поэтому и КПД серверов = 0.0001%, ибо на движение электронов в микросхемах тратится именно столько от потребляемой энергии. :) -
Юрий 06.02.2011И только это движение электронов может считаться полезной работой в ЦОД.
Тепловые пробои - это лишь несовершенство технологии, а этим нельзя прикрываться перед строгостью математических формул. -
chm 07.02.2011КПД может как-то от вычислительной мощи высчитывать?
потратил сервер 1 квт - насчитал 10Гб данный, а другой потратил 1квт и насчитал 20Гб. КПД второго в 2 раза лучше :)
А в России все сервера на север нужно отправить - там вместо охлаждения ещё и подогрев потребуется...
- Alexander: За R718 будущее )
- нет событий, чтобы показывать