Обзор рынка Дата-Центров России.
Над центрами обработки данных во всем мире сгущаются тучи. Эта буря, как и другие, вызвана тепловой энергией, в данном случае – побочным теплом от плотно интегрированных стоек блейд-серверов. Порой на каждый ватт энергии, потребляемой для полезных нужд ИТ, до 2,5 ватт уходит на охлаждение. Совокупный экономический и экологический эффект высокого энергопотребления подогревает интерес к «зеленым», т.е. экологически эффективным ЦОДам.
Электроэнергия уже стала одной из трех главных расходных статей бизнеса, прочно заняв первое место в бюджете тех компаний, чей бизнес строится на ЦОДах, например, eBay и Google. Руководители обеспокоены тем, что затраты на электроэнергию, резко возрастающие по мере увеличения мощности центров обработки данных, могут затормозить текущую деятельность и дальнейшее развитие бизнеса. Тем временем, согласно аналитическому обзору, опубликованному в 2008 г. группой McKinsey & Company, выбросы углекислого газа от выработки электроэнергии для нужд ЦОДов в глобальном масштабе уже эквивалентны выбросам такой страны, как Аргентина – 24-й по величине экономики мира.
Повышение производительности ИТ-систем в пересчете на ватт энергии является ключевым фактором снижения затрат на электроэнергию и нейтрализации экологического ущерба от эксплуатации ЦОДов. Обнадеживает тот факт, что предприятия понимают тесную взаимосвязь эффективности и экологической безопасности ЦОДов: решив одну задачу, можно решить и другую.
«Зеленый» ЦОД: с чего начать
Несмотря на техническую сложность ЦОДов, первые шаги к повышению эффективности энергопотребления и охлаждения достаточно просты, утверждает Дуглас Элджер (Douglas Alger), сотрудник Cisco в должности ИТ-архитектора физической инфраструктуры, автор книги о проектировании экологически эффективных ЦОДов (Grow a Greener Data Center), недавно выпущенной издательством Cisco Press. По его словам, «создание «зеленых» ЦОДов не ограничивается одной лишь экономией энергии, но это самая важная область, особенно, при переоснащении существующих помещений».
«Зачастую все, что необходимо сделать, требует минимальных затрат, а то и вовсе ничего не стоит: достаточно добиться нормальной циркуляции воздуха в центре обработки данных, сделать так, чтобы холодный воздух поступал туда, куда надо, – говорит Элджер. – При этом порой нужно просто убедиться в том, что те или иные вентиляционные проемы открыты либо, наоборот, закрыты». Эффективность охлаждения снижается из-за таких вещей, как переплетения сетевых кабелей, открытые проемы в стойках, утечка воздуха через кабелепроводы в потолке или полу.
К другим мерам повышения экологической эффективности ЦОДов относятся:
• оснащение осветительной системы таймерами и датчиками движения.
• Анализ соотношения производительности серверов к их энергопотреблению серверов.
• Изучение возможности обеспечить «короткий» цикл охлаждения, при котором холодный воздух вырабатывается на минимальном расстоянии от оборудования, выделяющего тепло.
• Применение технологий виртуализации, позволяющих более эффективно и продуктивно использовать аппаратные ресурсы. С сокращением числа систем уменьшается и энергопотребление, и потребность в охлаждении.
• Реализация стратегии управления энергопотреблением ЦОДа, способной сократить затраты на величину до 20 процентов.
Чтобы добиться чего-то большего, необходимы организационные и технологические изменения. Курс на экологическую эффективность как при переоснащении существующих, так и при строительстве новых ЦОДов требует фундаментальной переориентации корпоративного управления. По словам Дина Нельсона (Dean Nelson), старшего руководителя отдела глобальных центров обработки данных компании eBay, для этого необходимы две вещи: «Необходима согласованность действий высшего руководства, начиная с генерального директора, и необходим лидер, наделенный бюджетными и организационными полномочиями, с энтузиазмом относящийся к порученному ему делу и готовый нести ответственность за его результат».
Начинать агитацию за «зеленый» ЦОД лучше всего в кабинете финансового директора, считает Роб Олдрич (Rob Aldrich), старший менеджер и руководитель программы обеспечения эффективности в компании Cisco: «Обратитесь к тому, кто постоянно видит суммы затрат на ИТ и электроэнергию, и согласуйте с ним структуру распределения сэкономленных средств. Проработайте этот вопрос так, чтобы половина экономии пошла в зачет расходов ИТ-отдела, а вторая половина была включена в баланс отдела эксплуатационного сопровождения объектов. Тем самым вы сможете обеспечить стабильное финансирование программы экологической состоятельности».
Технологии повышения эффективности
Чтобы сделать правильный выбор технологий, необходимо иметь четкое представление о трех главных вещах:
• какова изначальная ситуация
• сколько удастся сэкономить
• каковы риски, связанные с осуществлением задуманного.
Уместно начать с простой проверки загруженности имеющихся ресурсов. В США, по утверждению Олдрича, ресурсы серверов используются лишь на 10-20 процентов. Иными словами, говорит он, «80 из 100 серверов в ЦОДе выполняют незначительную полезную работу и зря тратят электроэнергию, создавая лишнюю нагрузку на систему охлаждения».
Корреляция между полезной нагрузкой и потреблением делает виртуализацию ЦОДов важным пунктом любой «зеленой» инициативы, суля очень быструю окупаемость. Плотно интегрированные системы с высокой вычислительной нагрузкой сильно нагреваются в процессе работы, поэтому точные замеры температуры приобретают критически важное значение. Для этого требуется разветвленная сеть датчиков, позволяющих оценить эффективность стратегии охлаждения в масштабе отдельных стоек.
Автоматизированное управление питанием
Определившись с отправной точкой и окупаемостью вашей стратегии, вы сможете извлечь ощутимые преимущества из автоматизации. Все большее число устройств поддерживает автоматизированное управление питанием в том или ином виде. Это позволяет переводить неиспользуемое оборудование в режим низкого энергопотребления и включать их, когда в этом возникнет потребность. ИТ-отдел в этом случае управляет энергоснабжением как услугой, получая более четкое представление об удельном объеме производительной работы на ватт затраченной энергии. Такой подход помогает в коммерческом обосновании экологической инициативы. «Хорошим примером является технология Cisco EnergyWise, доступная во всей линейке продуктов Catalyst, – говорит Олдрич. – Мы встроили эту технологию в операционную систему Cisco IOS, чтобы операторы имели возможность ликвидировать неэффективность с исключительной точностью. В результате сегодня в их руках скальпель, тогда как раньше им приходилось орудовать топором».
В ряде пилотных проектов с применением EnergyWise компания Cisco зафиксировала 20-процентное сокращение энергопотребления. В 2008 г. оплата электроэнергии обошлась Cisco в 135 млн долл., и ожидается, что внедрение EnergyWise в международном масштабе позволит компании в первый же год сэкономить 27 млн долл.
Архитектурные решения для управления энергопотреблением, такие как Cisco EnergyWise, играют ключевую роль в новом подходе к проектированию ЦОДов. В той же мере важна физическая архитектура – план здания и структура сети. «Физическая инфраструктура часто упускается из виду, – сетует Элджер. – Между тем добросовестное проектирование требует комплексного подхода». Из-за отсутствия детализированных показаний температуры сложился стереотип ЦОДов как крупных монолитных объектов, где вычислительные ресурсы будто бы представляют собой однородную массу и каждая стойка получает равную долю электроэнергии и ресурсов системы охлаждения. С точки зрения бизнеса такой подход неверен, заявляет Олдрич: «С какой стати ставить серверы печати на одну доску с намного более критичными серверами приложений?». Гибкость и модульность – как в устройствах, так и в физической организации помещения – позволяют операторам ЦОДов устанавливать приоритет ресурсов питания и охлаждения с точки зрения коммерческой значимости различных устройств и подсистем. «Ваша цель – иметь возможность произвольным образом перенастраивать системы питания и охлаждения для адаптации к последующим поколениям ИТ-оборудования на протяжении расчетного срока службы самого здания», – утверждает Олдрич.
Экологичность 2.0: новая концепция центра обработки данных
Все эксперты, чьи мнения приводятся в данной статье, определяют концепцию «экологичности 2.0» (Green 2.0) по-своему, но все трое сходятся во мнении о том, что эта концепция требует самого пристального внимания ко всем нюансам проектирования ЦОДов. Прежде всего, нужно правильно выбрать площадку для ЦОДа, что, в свою очередь, требует учета множества параметров, начиная от существующей инфраструктуры и кончая такими деталями, как стоимость (и источники) электроэнергии на объекте, его удаленность от мест проживания сотрудников и так далее.
Базовые принципы проектирования устройств также нуждаются в пересмотре. «Нам придется продумать все заново, и это касается всех уровней инфраструктуры, – подчеркивает Дин Нельсон из компании eBay, являющийся также основателем Data Center Pulse – специализированной отраслевой группы, объединяющей более 1.300 глобальных операторов центров обработки данных в 55 регионах. – В частности, ввиду стремительного роста плотности рассеиваемой мощности я считаю неизбежным использование устройств с водяным охлаждением. С моей точки зрения, это полностью перевернет сложишиеся стереотипы ЦОДов и поставщиков оборудования».
Концепция Green 2.0 потребует также интенсивной внутри- и межкорпоративной совместной работы. «Одна из самых больших ошибок, которые подстерегают компании, – это их уверенность в способности решить проблемы проектирования ЦОДа самостоятельно, – предостерегает Нельсон. – Чем больше людей вовлечено в решение той или иной проблемы, тем активнее она обсуждается и тем эффективнее будет решена. Обмен информацией намного выгоднее, чем закрытость во имя достижения конкурентных преимуществ».
Элджер согласен с тем, что совместная работа помогает добиться неожиданных решений, и поражен оригинальностью идей, о которых он узнал, изучая передовой отраслевой опыт: «Например, побочное тепло ЦОДов используется для обогрева самых различных объектов – от складов до оранжерей и даже общественных плавательных бассейнов», как это сделано в пригороде Цюриха – Уйтиконе, где побочное тепло центра обработки данных применяют для подогрева воды в бассейне общего пользования. Есть и другие примеры подобного рода. Так, в Израиле ЦОД компании Intel снабжает теплом все 11-этажное здание, где он расположен, обеспечивая обогрев всех помещений в зимнее время и возможность использовать горячую воду в кухонных и душевых комнатах, за счет чего Intel, по некоторым оценкам, экономит до 235 тысяч долларов в год.
Как бы там ни было, по крайней мере одно обстоятельство сомнений не вызывает: грядущие перемены, какими бы сложными они ни казались, неизбежны. Операторы, замечает Олдрич, всегда ставили во главу угла доступность ЦОДов и стремились избежать рисков, а сегодня, по его словам, «они сталкиваются с новым риском – риском выбыть из гонки с конкурентами на фоне роста затрат на электроэнергию и на соблюдение экологических нормативов. Единственный способ уцелеть в надвигающейся буре – действовать с упреждением».
Наталья Жукова
Источник
Lollipop
февраля 8, 2010 at 16:19
А проводились ли расчеты, касательно того, каковы инвестиции в создание «зеленого» ДЦ и окупятся ли они в Российской действительности?
author
февраля 8, 2010 at 16:51
Расчетов таки еще не видел, но все, что называется Green IT, стоить на порядки дороже!
ОН
февраля 8, 2010 at 22:54
Статья не очень понравилась – одна вода.
Расчёты проводились, но врятли кто-либо разместит (по динамическим ИБП – точно, несколько IT компаний в Москве считали + были выезды за бугор к производителям). В России не принято делиться новыми идеями и разработками, в расчёте на получение собственной выгоды (даже в ЦОДы не все пускают, вероятно стыдно:) ).
Уверен, скоро это изменится.
Про “всё стоит на порядок дороже” – не могу согласиться. В основе своей – дороже, но не на порядок. Не так давно делали расчёты по новой системе пожаротушения, стоимость реализации сопоставима с традиционной (+5-7%).
В тематике “залёных ДЦ” уже появляются надёжные и относительно не дорогие системы, использование которых целесообразно (экономическая составляющая), но author – прав, создание 100% ДЦ “залёных”, на данный момент финансово не оправдано и вероятно используется для решения маркетинговых целей – терпение господа, скоро
ОН
февраля 8, 2010 at 22:56
продолжение:
цены на энергоносители еще поднимут и всем придётся сильно ужаться (экономика должна же быть экономной)
author
февраля 9, 2010 at 11:31
На счет пожаротушения я тоже проводил некоторые расчеты. Сама система газового пожаротушения действительно не превышает 10-15% от стандартной с использованием Хладона 125. На этом приятные новости закончились, если мы хотим использовать экологичный и безопасный газ, как для окружающей среды, так и для человека, например: Novec то стоимость болон почти в два раза выше Хладона.
ОН
февраля 9, 2010 at 14:48
author – а я не балонное решение с газом имел ввиду
p.s. по поводу Noveca – балоны покупаются не сильно часто. + любой руководитель подтвердит “Жизнь человека (сотруников ДЦ включим в этот список
, это самое дорогое)”. К сожалению “человеческий” фактор, при обслуживании ДЦ, убрать практически не реально.
Lollipop
февраля 9, 2010 at 16:27
У Noveca концентрация, необходимаядля тушения ниже. Но стремает то, что технология новя. На русскоязычных сайтах одни хвалебные отклики, нацеленные на продажи сего чуда. Не бывает чоб все так солнечно и радужно было, про что-то умалчивают. Или газ этот перезаправлять часто нужно из-за потери свойств, или обслуживание системы нормально стоит или малоли что ещё. Нужно звонить производителю, узнавать и порыть отзовы на пиндосовских сайтах, там наверняка юзают и знают что и как.
Константин Коваленко
февраля 9, 2010 at 20:53
Пока государство не будет субсидировать данные проекты, движения далее разговоров не будет. Судите сами – зачем заказчику вкладывать дополнительные средства в защиту природы? Это же удар по рентабельности бизнеса, особенно в кризис. Если бы государство наказывало штрафами или давало льготы – тогда другое дело. Достаточно интересно читать восклицания о защите природы – такие “пылкие” речи произносятся обычно для PR. А после этого, за закрытыми дверями, просчитав ТЭО такого “озеленения” приходят к выводу, что это просто экономически не выгодно. Поэтому такие перспективы вряд ли придут в ближайшее время.
author
февраля 10, 2010 at 10:48
Согласен, пока государство не будет стимулировать развивать зеленые технологии в том числе и в ЦОДостроении, а экономический эффект будет значительно ниже, чем от технологий не заботящихся об окружающей среде, то все так и будет буксовать на месте.
grey72
февраля 11, 2010 at 17:39
Lollipop, Novec заменяется раз в 30 лет, а, скажем, HFC-227ea – раз в 3 года. Разница в начальной стоимости – 30% в пользу 227.
Но не скажу 
Примерно так…
OH, на западе тоже не принято делиться идеями. И с какой стати, скажем, мне, раскрывать know how, с помощью которого я выбиваю конкурентов со свистом по OPEXу на крупных ДЦ (от 2МВА, а другими мы и не занимаемся)? Например, проблема, возникающая на больших ДЦ, скажем, 10МВА, с резервированием ИБП на низком напряжении как решается? Кто-то знает? Нет? Ну и до свидания, обращайтесь ко мне – я знаю
ОН
февраля 12, 2010 at 10:58
grey72 – большинство из новых технологий всем (имеются ввиду люди занимающиеся любимым делом – дата-центрами не один год) известны. Я уверен, наладить работу по обмену опытом – полезная инициатива. Иначе в России так и будут самые слабые ДЦ и конкурировать с мировым рынком коммерческих ДЦ мы не сможем, а я считаю, что нужно. Про делиться на западе идеями – почему нет? ДЦ там условно “открыты” т.е. есть фото на сайтах, приглашают на экскурсии и т.д. Конечно, детально посмотреть проектную документацию просто так не дадут, но и прятать свой объект как у нас многие делают не станут. Когда большинство Российских ДЦ даже фото в инет не выкладывают, те кто выкладывают в большинстве своём позорятся (коллеги, но не правильно тупо …. строить) и только некоторые действительно гордятся своими творением.
grey72 – а какое решение по пожаротушению Вы поставили в своём ДЦ (или уже поставили) и почему?
grey72
февраля 12, 2010 at 17:15
ОН – дело вот в чем: применение тех или иных решений основывается у меня ТОЛЬКО на экономических соображениях. Другими словами, я строю не ДЦ, а ПРЕДПРИЯТИЕ, со всеми бизнес-процессами, со штатным расписанием, перечнем услуг и рекомендованными прайсами, сервисными делами. Такого подхода в России нет (я строю не в России): есть желание попилить, куда уж при этом задумываться об OPEX’ах! А конечный инвестор, видя, что ДЦ, построенный таким образом, себя не окупает, идею хоронит. Вот и выходит, что российские строители ДЦ сами дискредитируют идею ДЦ. Сами себе зарезают рынок. Парадоксально, но факт.
По пожарке я ставлю последние 2 года только Novec, поскольку, например, поменять 80 баллонов по 90 литров (это примерно для площади в 2500 кв.м) – это ЗАДАЧА, не хочется этим заниматься раз в 2-3 года, да и дорого: кг Новека стоит 50 ЕВРО, т.е. я 350 000 ЕВРО каждые 2-3 года пускаю по ветру
grey72
февраля 12, 2010 at 17:18
Относительно обмна опытом: а с кем обмениваться? Кто-то строил хотя бы 5 МВА в России? Нет. Да и некогда, у меня сейчас проект на 10 МВА есть и второй еще рождается в муках
grey72
февраля 12, 2010 at 19:01
Про кг Новека это я загнул в спешке: менять-то именно Новек и не нужно – он не разлагается. Тогда посчитаем, например, 227ea, выйдет 100 баллонов на 2500 кв.м и 280000 ЕВРО. Прошу прощения.
ОН
февраля 12, 2010 at 20:45
“Кто-то строил хотя бы 5 МВа в России?”
я построил
А про технологии и Ваши проекты grey72 – если будет желание, интересно пообщаться.
p.s. по вопросу “есть желание попилить, куда уж при этом задумываться об OPEX’ах!” – вспоминается слова из прекрасного фильма “За державу обидно” как бы это смешно в России не звучало
поэтому есть идея построить “правильный” дц.
grey72
февраля 12, 2010 at 20:53
ОН – идея, это еще не все. Нужен рынок и инвестор.
author
февраля 12, 2010 at 21:31
К сожалению, инвесторы не понимаю зачем вкладывать колоссальные деньги, когда можно построить в несколько раз дешевле и быстренько их отбить.
Довольно часто у меня происходят диалоги с представителями компаний, размещающихся в Дата-Центрах России: финансовый сектор, гос. структуры, контентщики, крупные и средние бизнес. Все кричат в один голос: «Почему у нас нет ДЦ, сертифицированных под определенные стандарты?! Нам приходится самим до оборудовать помещения, шкафы и так далее.»
Когда же речь заходит о увеличении стоимости аренды в несколько раз, но предоставления необходимого качества сервиса, все опять в один голос говорят: «Дорого!».
Вот такой парадокс – все хотят дешево и сердито!
Однако супер современный ЦОД построенный по мировым стандартам, с высоко классным сервисом, да еще правильно преподнесенный потенциальным клиентам, однозначно увенчается успехом.
Еще одна немаловажная проблема заключается в том, что заказчики не понимают, что такое ЦОД, а у многих системных-интеграторов в России еще очень мало опыта. Все это приводит к появлению множество ЦОДов, которые еще очень долго будут стоять пустыми.
Распрощаться с 200-300$ мл. пока никто не торопиться, а жаль!
ОН
февраля 13, 2010 at 2:26
200-300млн $ это на какой же ДЦ столько?)
Я думаю зачастую в России высокие цены на услуги ДЦ из-за стремления максимально быстро вернуть вложенные средства (связано с нестабильной ситуацией во всём).
grey72 – про инвестора и рынок – да
Про техн. решения – вероятно скромность взяла верх.
author
февраля 13, 2010 at 11:49
Например:
Cisco потратила порядка $ 80 млн. на модернизацию Дата-Центра до стандарта Tier III (с уровня инфраструктуры энергетики IV) – ДЦ Richardson
Это только модернизация, а нам надо купить землю построить комплекс зданий, привезти оборудование и т.д.
ОН
февраля 15, 2010 at 11:25
не добавляются сообщения…
author
февраля 15, 2010 at 11:33
Добрый день.
У Вас появляется какая-то ошибка при добавлении сообщения?
ОН
февраля 15, 2010 at 11:58
Создание ДЦ в России (например в Москве) обойдётся в сумму меньше 200-300 млн.$, даже с учётом покупки земли и строительства здания, покупки об-ия и пр. сумма не дойдёт до 80 млн.$ (и это будет лучший коммерческий ДЦ в России, например на 10 МВт).
шучу.
ДЦ Richardson – уверен, достойный проект, но информации мало. Вероятно Cisco значительную часть из 80 млн.$ потратила на покупку об-ия компании циско, по GPL
А вообще, при задаче как говорил Grey72 “есть желание попилить” – можно и за 300 млн.$.
Grey72 – а где же посмотреть Ваши творения?
ОН
февраля 15, 2010 at 11:59
ура, заработала отправка ) моя левая почта Вашему сайту претит
VOLK
февраля 16, 2010 at 15:02
“Зеленый ЦЕНТР” – это все правильно и понятно, но:
1. что такое “зеленый” !!! – это экономия электроэнергии;
или охрана окружающей среды.
2. тема правильная и нужна.
3. бюджет 80 300 млн……. суммы не запредельные……
нужны расчеты.
author
февраля 16, 2010 at 15:22
В моем понимание, экономия электроэнергии или ее эффективное использование приводит к снижению загрязнения окружающей среды – это первый этап для России. А вообще зеленый ЦОД, это сооружение, построенное и функционирующее не нарушая экологию нашей планеты.
ОН
февраля 16, 2010 at 15:57
VOLK, мной делались подобные расчёты и создание ДЦ на 10 МВт получается сумма менее 80 млн. $ (можно догнать до этой суммы при покупке помещения и эл-ва у Москвы + осваивание бюджета).
grey72
февраля 24, 2010 at 20:51
OH, посмотреть можно, но это не в России. На 10МВА достаточно 55 лямов. Но это на входе. Так что оценка в 80 близка к истине.
ОН
февраля 25, 2010 at 11:17
grey72 – близка, но не дотягивает, и чем догнать до 80 я написал
+ конечно можно использовать особо “пафосные” примочки и пр.
Про посмотреть – отлично. А где? Предполагаю, что и в инете фотки оценить можно?
А по поводу 10МВт – можно уложиться и в значительно меньшую сумму чем 55 млн. $, при условии аренды помещения (а не выкупа) и наличии в нём эл-ва (конечно расчёт делался с учётом создания коммерческого ДЦ в России, в др. странах вероятно другие подводные камни).
grey72
февраля 25, 2010 at 15:41
ОН – про аренду помещений серьезной речи быть не может, ДЦ это актив очень дорогой, и подвергаться такому риску просто нельзя.
В Инете, вероятно, есть разбросанные фотки, у меня же в архивах только процесс строительства.
Скажем, Tai Po, можно по нему поиском найти: это ДЦ в Гонконге, на довольно традиционных технологиях, Tier-III без сертификации, закончили в 2007 (конец года). Всего поместится 3500 стоек.
author
февраля 25, 2010 at 15:52
grey72 не могли бы Вы мне выслать данные фото?
Процесс строительства ЦОД такого уровня многим было бы интересно посмотреть.
Мы на основе данных фото подготовим материал и опубликовали его тут.
Как Вам такое предложение?
grey72
февраля 25, 2010 at 20:16
author – что касается меня, то пожалуйста. Понятное “но” я должен согласовать с владельцем. Скорее всего разрешение будет.
Но это не самый технологически интересный проект. Я поговорю с ребятами из digital reality trust, можно подыскать что-нибудь из ряда вон. Или сделать подборку SIG Telehousing (новый центр в Нидерландах, полностью арендован Гуглом).
grey72
февраля 25, 2010 at 21:18
SIG Telehousing не против
grey72
февраля 25, 2010 at 21:22
Собственно, SIG’у дела нет, центр-то под Гугл. А у Гугла никто спрашивать не станет, т.е. не владелец. А вообще с доступом с улицы в ДЦ в Европе ой как непросто. А при этом с фотографированием – еще хуже. Security issue, прописанный в data centre policy – т.е. это нарушение со стороны ДЦ сразу всех договоров с клиентами. А вот стройка – да сколько хочешь!
author
февраля 26, 2010 at 1:09
grey72 все, что Вы считаете возможным для размещения в Интернете присылайте на author@telecombloger.ru и мы с удовольствием разместим у нас.
P.S.
Полезной информации никогда не бывает много, а тем более про ЦОДы да еще и в России.
ОН
февраля 26, 2010 at 10:37
во
разговоры дошли до дела 
p.s. автор, готовтесь организовывать форум по тематике “ДЦ в России и в мире”, для посетителей сайта
author
февраля 26, 2010 at 11:07
Без проблем, как только он понадобиться сразу же его организуем!
ync
февраля 26, 2010 at 11:32
По-моему необходимость назрела. Люди лезут в новость чтобы обсудить что угодно только не новость
Кстати кто-нибудь мне объясните пожалуйста чем принципиально строительство ЦОДа 10МВт отличается от 0,5МВт?
grey72
февраля 26, 2010 at 12:02
ync – принципиально – технологиями. Если Вы будуте масштабировать ДЦ с 500КВА на 10МВА, то в эксплуатации ДЦ себя просто не окупит. Ну, и технические проблемы: посчитайте, сколько будет Ампер на общей шине ИБП при мощности 10МВА: 20000 Ампер. Такую технику не выпускают на Low Voltage, а если бы и выпустили, то я близко к ней не стал бы подходить
(2) Вы строите одним залпом 10МВА, но это другой подход, другая техника и проч. и проч. По первому варианту в России еще можно строить, по второму – нет принципиально (тут много “но” – нет опыта, нет эксплуатационщиков, …………).
Так что существует 2 подхода: (1) Вы делаете 20 ДЦ по 500КВА в одном здании, называете это ОБЩИМ ДЦ
grey72
февраля 26, 2010 at 12:03
author – ок, на следующей неделе пришлю.
ОН
февраля 26, 2010 at 12:41
Согласен с grey72
+ мало кто сможет сразу заполнить ДЦ на 10 МВт (та же Синтерра и пр. крупные игроки) – соотв. экономически выгодно по первому пути идти.
По поводу различий, я бы добавил еще и различные техн. решения, т.е. при создании мощного ДЦ целесообразно использовать др. техн. решения, кот. экономически не выгодны при стротельстве ДЦ на 0.5 МВт.
+ в Российских реалях (это не правильно), ДЦ на 0.5 МВт в основном строят забывая об элементарных нормальных условиях труда персонала (долго и упорно перечислять не буду, всё в нормативах есть). При 10МВт – подобные проблемы намного острее чувствуются т.к. приход/выход об-ия совершенно в др. кол-вах. Поэтому в 10МВт – иногда это решают на уровне.
+ важно для кого ДЦ, т.к. 0.5 МВт – может быть для нужд компании, а 10 МВт скорее всего на продажу услуг (разница в реализации и используемых системах может быть весьма значительной).
ОН
февраля 26, 2010 at 12:44
вспоминается рабочее место эксплуатационщика одного из “буржуйских” ДЦ, с панарамными окнами и видом на яблоневый сад
Конечно это просто офис, ДЦ вероятно на нижнем уровне замурованый со всех сторон.
author
февраля 26, 2010 at 12:56
grey72 – отлично ждем
grey72
февраля 26, 2010 at 21:44
ОН – ну, центр на 10МВА тоже строится фазами, так что здесь различий нет.
Про корпоративные центры вообще речи нет – сам подход принципиально иной: коммерческий ДЦ это прежде всего предприятие, приносящее доход. А корпоративной ДЦ – это бэкофис, затратная статья.
grey72
февраля 26, 2010 at 22:07
ОН – еще одна проблема.. Допустим, хочу я поставить чиллеры с Turbocor’ами, экономия будет приличная. Но: как только я называю страну (последний проект – Бахрейн, но это же верно и для России), мне говорят – выписывайте спеца, иначе за работу этой хреновины никто не сможет поручиться. Обучить – не выйдет, это нужен серьезный бэкграунд, безсмазочный компрессор – это космос для Бахрейнов/Россий. И это лишь только один пример. Проектируют сейчас кое-что в Москве, на 10МВА примерно, на современных технологиях, но, увы, уже известно в узком кругу, что дальше проектирования ничего не пойдет. Причем строят на моих же вендорах
Но это случайность 
grey72
февраля 26, 2010 at 22:10
ОН – и проектировщики – это отдельная песня. Здесь их нет, т.е. есть, но связываться… Поэтому проектируют все в Европе по прямым договорам.
Это техническая сторона вопроса, а еще тут такая возня подковерная начинается, как только что-то серьезное замелькает – туши свет. Лишь бы попилить, результат никому не нужен. Хорошо, что еще у меня фирма европейская… Посылать можно грамотно.
ync
февраля 27, 2010 at 9:02
А что вы имеете ввиду под термином low voltage?
У АРС, Chloride есть системы которые вполне себе собираются в параллель до 10 МВА. И ничего в них сверхъестественного нет. Думаю и в России найдется немало людей, для которых не составит проблем спроектировать подобную систему.
В наш век модульности и параллельности нет необходимости городить моноблок 10 МВА. Так что различий в подходе к проектированию и строительству я пока особенных не вижу. Эксплуатация – да, огромная проблема.
Или вы всё-таки ставите ИБП 1 блоком 10 МВА и один чиллер на 10 МВт холода?
ОН
февраля 27, 2010 at 12:29
1) Про турбокор в России – не могу согласиться. Несколько подобных инсталяций работает и всё прекрасно (подразумеваю, что на нескольких объектах подобные машины в России работают).
“Причем строят на моих же вендорах Но это случайность” – не очень понял
1.1) Сомневаюсь, что будут строить коммерческий ДЦ на 0.5 МВт т.к. по экономике не выгодно. Соотв. делаю вывод: на 0.5МВт – корпоротивный ДЦ (или коммерческий гов… ДЦ типа Филанко на Курской), 10МВт – коммерческий – вот и одно из различий.
2) Про проектирование – работал с толковыми людьми в России. Их действительно мало, но есть + конечно контролировать нужно, чтобы не изобразили чего не попадя
Взрыв мозга – вероятно ее хобби.)
А в Европе где заказываете?
Про возьню – согласен на 100% – МРАК!)) – “право первой брачной ночи” и др. народные перлы вспоминаются. Общался как-то с дир. одной ИТ компании, так по телефону на 1-ну мою фразу приходилось 10-15 ее фраз со скоростью работы ручного пулемёта
3) По поводу попелить – уже с Вами обсуждали
Даже сейчас, предлагая реализовать “правильный” ДЦ, инвесторы щуряться и говорят: “Как бы срок акупаемости уменьшить…” А так не хочется очередное го…. строить.
4) ync – дружною толпой пытались донести до Вас, что различия значительные. Вы или не слышите или не хотите слушать. Ок
“По поводу различий, я бы добавил еще и различные техн. решения, т.е. при создании мощного ДЦ целесообразно использовать др. техн. решения, кот. экономически не выгодны при стротельстве ДЦ на 0.5 МВт.” – как пример, можно посмотреть почему ставят чиллера или просто внешние блоки кондеев – в общем это простая экономика, всё нужно просчитать.
grey72
февраля 27, 2010 at 12:39
ОН –
1) “работает” – это замечательно. Вы готовы подписать SLA? Производители не готовы предоставить гарантий работы турбокоров, вот в чем дело. А то, что они работают – конечно
2) Да по всей Европе. Я сам в Европе
А если это кредитная линия, то я не понимаю таких “инвесторов”.
3) А что им срок окупаемости? Они, верно, из мешка деньги достают?
ОН
февраля 27, 2010 at 12:40
кстати: размеры чиллера на 1200-1600 кВт примерно 2.5 на 12 метров, интересно посмотреть на 10 000 кВт чиллер
ync – в соотв. с нормативной док-ей по строительству подобных объектов, предлагаю поставить чиллер(ы) с резервированием N+1.
И просчитать, нужен ли чиллер? (экономически, в зав-ти от целей-задач и размеров проекта)
А про эксплуатацию – если правильно организовать работу всех служб, то я не вижу особой разницы в эксплуатации между 0.5МВт и 10МВт ДЦ. Вы правы – это проблема, но при желании – решаемая.
grey72
февраля 27, 2010 at 12:43
ync – low voltage и есть: 0,4 киловольта. С этим давно не работал, только medium – от 6 до 24 кВ. Соберите мне на общую шину 0.4кВ 10МВА, пожалуйста
Амперы посмотрите (около 20000), и попробуйте найти нужный switchboard. А заодно сечение проводников общей шины проверьте – вам рельсы не хватит. При любой проблеме с таким оборудованием электрик будет ходить под себя и увольняться задним числом 
А по части АРС и прочих, простите, дилетантов-врунов я даже обсуждать не хочу.
ОН
февраля 27, 2010 at 12:48
grey72-
да ладно, это всё эмоции 
1) при резервировании системы холодоснабжения – почему не подписать SLA? )
2) Uptime institute – ? Про место Вашего базирования – помню
3) матом ругаться хочется…. да пипец. Когда им объясняешь, что чудес не бывает и достойный ДЦ не может окупиться за “быстро”, они прячутся под камень со своими $ и всё останавливается. Начинается опять, выманивание пряником и пр.
ОН
февраля 27, 2010 at 12:50
“При любой проблеме с таким оборудованием электрик будет ходить под себя и увольняться задним числом ” –
зачёт!)
grey72
февраля 27, 2010 at 12:52
ОН – это только если абсорбционный..
В эксплуатации проблема только в оборудовании – его никто не знает. Ни DRUPS, ни чиллеров. И с проектированием то же: кто-то сможет запроектировать машзалы так, чтобы гидроконтур выставить в ржим 15/20? Я не видел в России ничего выше 10/15, а в основном – 7/12. Ну ясно, электроэнергию никто не считает, окна фрикулинга, переменный расход гидромодулей, адиабатика.. ага. И кто будет это поддерживать?
grey72
февраля 27, 2010 at 12:54
ОН –
1) потому, что производитель гарантию не дает в России – проверено
2) Uptime в Штатах. Ну, и Лондон.
3) ну, кстати, у меня сейчас по последнему проекту выходит 3-4 года. На это даже с некоторым подозением смотрели инвесторы, но убедить удалось низким PUE
grey72
февраля 27, 2010 at 12:55
А, еще классные токи КЗ будут на 0.4 при 10МВА
Ууу!
ync
февраля 27, 2010 at 13:57
Господа, поверьте, я очень хорошо понимаю технические проблемы при подводе мощности 10 МВт
И проблемы распределения такой мощности тоже понимаю и резервирование на таких мощностях.
У меня ощущение, что вы мне пытаетесь объяснить, будто проектировать электроустановку на 10МВА это удел избранных.
Я вам пытаюсь донести, что по моему мнению, набрать из модулей 10 МВА – это не настолько громадная проблема, как здесь выставляется. Можно подумать что у вас 1 сервер потребляет 10 МВА и для него обязательно необходимо двойное резервирование по питанию и охлаждению.
Вот вы пишете про 6-24 киловольт – это к чему? Вы куда такую напругу подаете? На вход ИБП? Это не есть проблема. Это просто другое техническое решение. На выходе ИБП имеете такую напругу? Тогда я отстал от жизни, потому что не знаю таких ИБП и не понимаю куда такое напряжение потом девать (ну не на вход же сервака?).
А вопрос был такой – в чем ПРИНЦИПИАЛЬНОЕ различие.
Вот 2 моноблочных ИБП по 10МВА с входом 0,4 из секретных разработок NASA работающие в схеме 2N – это да, это принципиальное отличие в подходах.
А ввести в ДЦ 12 кВ, сделать распределение и впихнуть всё на 10 ИБП с преобразованием 12-0,4, которые потом будут питать каждый свой участок – это не есть принципиальное различие в подходах. Это уже давно отработанное решение в обычных офисных зданиях и торговых центрах, просто там ИБП нет, а ввода уже давно на 6 или 10 делают.
grey72 АРС и Chloride вас смешат, а каких вендоров вы предпочитаете, если не секрет?
grey72
февраля 27, 2010 at 14:13
ync – еще раз про нагрузку в 10МВА. Набрать 10МВА можно и из модулец, пожалуйста. Только поймите, модули эти должны оперировать средним напряжением. Вы знаете традиционные (статические) ИБП, работающие на среднем напряжении? CAT делает ОДНУ
модель. И все. На входе и выходе ИБП – среднее напряжение, далее – ТРАНСФОРМАТОРЫ. И не забывайте про power factor, а то будете платить еще и за реактивную мощность.
grey72
февраля 27, 2010 at 14:16
НАБРАТЬ можно хоть 1000ГВА, вот попробуйте ОБЪЕДИНИТЬ на N+1 всё это
Или Вы предлагаете частями объединять? Можно, только дорого, никто Вам не даст столько денег на воздух пускать. И вспомните, на минуту, о стоимости батарей и необходимости их менять. А также поддерживать им температуру, выделить нехилое помещение под них. Ага? А результат мне известен – такие решения проигрывают влёт, без рассмотрения 
grey72
февраля 27, 2010 at 14:25
“Вот 2 моноблочных ИБП по 10МВА с входом 0,4 из секретных разработок NASA работающие в схеме 2N – это да, это принципиальное отличие в подходах.”
Не смешите меня, такое чудо никому задаром не нужно, в нем нет смысла.
ОН
февраля 27, 2010 at 14:50
grey72
2) так где же проекты в Европе заказываете? Какой Вы скромный
3) по проекту у меня аналогично: 3.5 года и 4 года если со страхованием проекта.
Имели дело с динамическими ИБП?
Имели дело с системой снижения кислорода в серверной?
Какие новинки интересные порекомендуете?
ync
февраля 27, 2010 at 14:58
Grey72, я всё понимаю про среднее напряжение, зачем оно и для чего. Про ИБП на средней напруге – я примерно такой ответ и ожидал.
Резюмируя, вы применяете такую схему:
ТП 36/10 —- ИБП 10 —- ТП 10/0,4 —- распределение
Т.е., грубо говоря, вся нагрузка сидит на одном аппарате (возьмем для простоты схему N).
А в чем сложность сегментировать нагрузку (как в ДЦ Richardson Cisco – у них там тоже 10 МВт на входе) и использовать СТАНДАРТНЫЕ решения, коих на рынке море? Правда у них система 2N, которая принципиально проще реализовать на 0,4 чем вашу общую шину (раздельные фидеры вплоть до сервера, никаких общих шин и специфического оборудования).
Вы предлагаете запустить космический корабль, а надо-то всего лишь построить систему электроснабжения. Наверно есть такая страна, в которой ИБП на 10 КВ в супермаркетах продают, но я её не знаю. Поэтому большинство предпочитает строить на стандартных компонентах и сегментировать нагрузку.
Вопрос про батареи не понял. Не обязательно набирать например 500V на DC шине из 1,5V АКБ. Необходимые токи и нарпяжение можно получить и меньшим кол-вом АКБ.
Может быть если вы сообщите какое конкретно оборудование для обеспечение бесперебойного питания вы имеете ввиду, мне будет проще понять вашу мысль
А про секретный ИБП NASA – это было в качестве стеба
grey72
февраля 27, 2010 at 15:00
OH – только динамические и использую. Под снижением кислорода… это мы про пожарку?
Да какие тут новинки
На потоке стоим, не до новинок 
ync
февраля 27, 2010 at 15:02
Вот ОН сказал, я и вспомнил – есть такие штуки на среднее напряжение – динамические ИБП. Вот про применение в России правда ничего не слышал. Было бы действительно интересно ознакомиться с опытом стран развитого капитализма
grey72
февраля 27, 2010 at 15:03
ync – “правда, у них система 2N” – ну Вы же сами себе ответили.. Я для ходовых Tier-III не собираюсь разорять клиента на 2N.
grey72
февраля 27, 2010 at 15:05
Елки-палки, ГОВОРЮ ПРЯМЫМ ТЕКСТОМ – я применяю ТОЛЬКО Hitec Power Protection, http://www.hitecups.com Ничего другого мне не надо задаром
При размере ДЦ от 2МВА ничего лучшего вы не найдете, а я с меньшими ДЦ связываться не буду. Вот и весь сказ 
grey72
февраля 27, 2010 at 15:06
Елки-палки, ГОВОРЮ ПРЯМЫМ ТЕКСТОМ – я применяю ТОЛЬКО Hitec Power Protection. Ничего другого мне не надо задаром При размере ДЦ от 2МВА ничего лучшего вы не найдете, а я с меньшими ДЦ связываться не буду. Вот и весь сказ
grey72
февраля 27, 2010 at 15:07
просто реклама здесь неуместна…
ync
февраля 27, 2010 at 15:11
Да блин какая реклама, просто ответ на вопрос. У меня в башке всё устаканилось, спасибо за терпение
grey72
февраля 27, 2010 at 15:15
you are welcome
ync
февраля 27, 2010 at 15:20
Изучал одно время этот вопрос (щупал No-BREAK KS), да вот вылетело из башки, поскольку с такими мощностями редко сталкиваемся.
Кстати, в чем причина редкого применения динамических ИБП в России? Проблемы с поставкой и эксплуатацией или слишком круто для российских ДЦ?
grey72
февраля 27, 2010 at 15:29
Бельгийцы делают подделки, и были неоднократно судимы (это я про Но-брейк).
В России есть разве облать применения? Да и прочие проблемы. Сейчас один проект делается, но до реализации врядли дойдет.
ync
февраля 27, 2010 at 15:46
Ну они же не только 2 МВт бывают, есть и по 200 КВт. И на 0,4 кВ. Принципиально подобные ИБП менее проблемны для установки – ДГУ один хрен ставят, а тут ещё и накопитель в том же контейнере.
Область применения всё же есть. Купить и поставить проблем нет. Обслуживать наверняка тоже не проблема – в случае чего можно и научить. Остается вариант – производители традиционных ИБП очень здорово повышают лоялность строителей.
ОН
февраля 27, 2010 at 15:56
Про динимические ИБП слышал про возможные проблемы, если не заведётся быстро, 5-7 мин держать ДЦ на “искуственном” питании до выхода на нагрузку основного агрегата, не сможет. Хотя данная проблема так же решается N+1.
grey72
февраля 27, 2010 at 15:58
ОН – заводятся они без нагрузки, которая затем передается плавно. Поэтому раскрутка до 1500 оборотов происходит за полторы секунды. Это я наблюдал лично на заводе, даже осциллограмму прихватил.
ОН
февраля 27, 2010 at 15:58
Кстати, скоро планируется поставка динамических ИБП в Россию. Если получиться, прокачусь посмотреть
grey72
февраля 27, 2010 at 15:59
ync – на 200КВА это из пушки по воробьям. При такой мощности статический ИБП будет не хуже.
ОН
февраля 27, 2010 at 15:59
grey72 – рассматривается вариант, если он вообще не заведётся, а про плавный переход – в курсе.
ОН
февраля 27, 2010 at 16:07
снижение кислорода – да, пожарка. Ставили?
grey72
февраля 27, 2010 at 16:08
ОН – если только топливо.. Но у меня топливо обычно гоняется по контуру постоянно, т.е. оно в подготовленном виде. Ну, и регулярный прожиг. А система запуска дублируется у этих машин. Был один случай, когда в Сан-Франциске не завелись сразу ВСЕ, но то была ошибка в мозгах МТшного дизеля. Ее поправили. Это было в ДЦ 365 Main
grey72
февраля 27, 2010 at 16:18
ОН – СО2 системы я не ставил, объем большой очень. Сейчас в основном Novec1230, ранее был HFC-227ea.
ync
февраля 27, 2010 at 16:24
возможно динамические ИБП малой мощности слишком круты. когда я их смотрел, получить вразумительный ответ по поводу стоимости в России не сумел, так что экономика мне не до конца понятна.
ync
февраля 27, 2010 at 16:37
по запуску ДИПБ – у них же есть функция когда энергия кинетического накопителя применяется для запуска движка.
Вообще с незапуском отдельного ДГУ я встречался только 1 раз. Причина – глюк мозгов. Как и любая сложная система, дизель требует квалифицированного и периодического обслуживания. Там, где это требование соблюдается, проблемы встречаются очень редко, но и они решаются с помощью резервирования.
365 MAIN – серьезное сооружение.
Я так понимаю, что на западе ДИБП – стандарт де-факто для крупных ДЦ?
ync
февраля 27, 2010 at 16:44
Это к вопросу к системам пожаротушения на основе СО2
http://daily.sec.ru/dailypblprnver.cfm?pid=23078
Novec опять впереди всех.
ync
февраля 27, 2010 at 16:48
Раз уж заговорили про ОТВ, возник вопрос. Много времени назад читал про экспериментальное вещество, которое выглядит как вода, на ощупь как вода, а по сути – сухое вещество. Была даже картинка, где телевизор стоял в аквариуме с этим веществом и работал. Название забыл. Не есть ли Novec коммерческая реализация данного подхода? Показатели очень похожи.
Lollipop
февраля 27, 2010 at 17:20
NOVEC и есть сухая вода, в теме про него я ссылку кидал на историю создания
grey72
февраля 27, 2010 at 17:22
ync – ну, стандартом бы я это не назвал. Пока действует патентное право (30 лет) широкого распространения не будет, поскольку производитель один.
Lollipop
февраля 27, 2010 at 17:23
NOVEC – это и есть сухая вода. Более подробно можно посмотреть в теме про Novec, в комментариях приведена ссылка на подробное описание.
grey72
февраля 27, 2010 at 17:30
Главный плюс Новека в том, что его не нужно менять до 30 лет. А остальные газы либо разлагаются и требуют замены, либо хранятся поддавлением и баллоны требуют освидетельствования (с потерей газа). Ну, других плюсов тоже достаточно, конечно. Но этот я считаю главным. Только вот в России им занимается только Пожтехника – совершенно убойная конторка, которая даже посчитать кол-во газа не смогла по запросу.. Хотя там и считать нечего – 1 минут работы. Вот в этом – главный минус этого газа в России.
Lollipop
февраля 27, 2010 at 17:50
А из-за бугра самим ввезти нельзя? Открыть контору по продаже противопожарного оборудования и НОВЕК закупить.
grey72
февраля 27, 2010 at 19:01
Ну, можно, это будет оправдано, если на потоке. А под один проект – дорого
ync
февраля 27, 2010 at 19:52
У 3М есть представительство в России. Не думаю что только “Пожтехника” (действительно мутная контора, такое впечатление что они от МЧС отпочковались) возит. Нашел ещё у одних
. Если будут учиться проектанты, будут ставить, вендор озаботится нормальной логистикой, потому как штука клевая.
grey72
февраля 27, 2010 at 20:12
И 3М, и Тайко Электроникс пытаются впихивать именно Пожтехнику. Причем, когда им об этом говоришь, они реагируют так, что, мол, ну да, у ПТ опыта не было (3 месяца назад
), а теперь все ок, мы, если что, поможем.
)) Они за кого меня держат? Вот именно это я им и ответил, и дело имею только с западными офисами вендоров. Ибо нех.
Как считаете, я в это должен заставить себя поверить?
Может, кто-то и возит, но поддержка вендоров нужна.
ync
февраля 27, 2010 at 22:32
У меня с вендорами таких проблем не возникало никогда. Вендоры обычно однозначно реагируют на подобные заявления относительно дисти. Бывали даже случаи (с тем же тайко) когда один дисти за счет нас пытался сломать поставку другому. Был жестоко покаран вендором.
А вообще российский менталитет и привычки прививаются даже иностранным менеджерам российских представительств и это порой жестко обламывает
grey72
февраля 28, 2010 at 10:57
Да менеджеры-то русские
ОН
марта 1, 2010 at 11:42
grey72 – так где же Вы заказываете проектирование ДЦ в Европе?
И проводят ли сертификацию новых (или не очень новых) ДЦ по TIER? Или какая либо еще сертификация?