Добавить в избранное
Новости ЦОД и Дата-Центров
Все, что Вам нужно знать о ЦОД

Как строился ЦОД «Иртышский» и «Славянский»

15.02.2010
|
author
|
Раздел: Как строятся ЦОД, Новости
|

Предлагаю Вам статью Павла Савранского из ЗАО «СВС-Связь», которую он на прошлой неделе опубликовал на Хабре. В статье Павел рассказывает, как родилась идея строительства ЦОДов «Иртышский» и «Славянский», как проходило строительство, с какими проблемами столкнулись, при реализации ЦОД и что из этого в итоге получилось.

Все началось примерно 2 года назад, сидя в итальянском ресторане за тарелкой пасты 🙂

Идея уже давно металась в стаждущих умах великих гениев, но тут она нашла выход наружу. Чуть позже было таки принято решение о начале строительства сего безобразия. Изначально предполагалось сделать ЦОД «Иртышский», планы были грандиозные, но были и колоссальные технические сложности, посему было принято решение о том. чтобы отложить Иртышский «на сладкое» :), взялись за «Славянский».

Небольшая справка: Долго думали как обозвать данные проект, в итоге пришли к выводу, что в глобале это будет «М77» по принципу М9, М10, М5 (ММТСы), опять таки Стек (М1), а в локале решили что будем различать по географическому признаку 🙂 собственно так и получилось, «Славянский» расположен на Славянском бульваре, а «Иртышский» на Иртышском проезде 🙂

Изначально имели в полном распоряжении отдельно стоящее 2-х этажное здание свободного назначения, выбрали помещения и начали думать, сначала хотели отдать все на аутсорс и пригласить «специалистов» по ЦОДостроению, пригласили одних, потом других, потом третьих, в итоге поняли, что все кто занимается строительством ЦОДов в РФ — это люди «старого» склада ума, не шибко следящие за тенденциями отрасли, зачастую слабо понимающие и разбирающиеся в этом деле, примерно через 10 месяцев раздумий и предпроектных изысканий мы решили создать все своими руками (благо в кармане есть компания оператор связи, строительный холдинг и другие смежные компании) вот так вот мыс тали строителями ЦОДов :). Позже мы познакомились с прекрасной компанией Knuerr (Германия) и главой российского представительства, который и предложил нам то оборудование, в итоге на котором и начали строить и от которого «плясали» все системы.

Хочу отметить, что поскольку строительство начиналось в предверии кризиса, который мы унюхали примерно за 3-4 месяца до начала, было принято решение о поэтапном строительстве и вводе в эксплуатацию, в основу всего ЦОДа лег важнейший принцип step by step (шаг за шагом) это выгодно и экономически и по другим причинам, каждая система должна быть создана таким образом, что при ее поломке или выводе из строя для профилактики это не повлияет на работу всего ЦОД, в этом ключе выбирались вендоры, проектировались системы, закупалось оборудование и т.д.

90% всех примененных технологий являются инновационными не только для России (в принципе отстающей от остального мира) но и для Европы и Америки. Мы создавали то, чего было только на словах или в лампах проекторов передовых разработчиков. Столкнулись с множеством тонкостей, вопросов, недоразумений и прочего. В итоге создали первую очередь ЦОД «Славянский», итак подробнее по каждой части ЦОДа (за основу брал следующий документ: Документ SP–3-0092: (Стандарт TIA-942, редакция 7.0, февраль 2005)):

1. Поскольку расположение ЦОДа, здание и территория были в нашем распоряжении, то мы сразу попали в точку по нелюбимым мною западным стандартам:)

— отдельно стоящее задание;

— первый этаж;

— нагрузка на перекрытия до 2т/м2 (здание монолитное);

— широкие проходы, позволяющие перемещать крупногабаритные предметы;

— высокие потолки (~5м);

— отсутствие колонн и других архитектурных конструкций в машинном зале;

— все стены покрыты спец. красками минимизирующими пылеобразование, в светлых тонах;

— от фальш полов решили отказаться на начальном этапе строительства за их ненадобностью, сделали полы из керамогранита;

— разделили помещения машинного зала от административных и технических помещений, создали гермозону;

— решили использовать диодные светильники (света больше, энергии меньше);

про такую ерунду как сейсмоустойчивость и прочую ерунду писать не буду и так все понятно 🙂

2. Изначально имеем собственную распределительную подстанцию(РТП) на территории с двумя независимыми вводами от города с разных ТЭЦ (1 категория), соот. организовали два кабельных ввода в здание по монолитным бетонным каналам (на всякий случай), добавили в РТП дизель-генератор и снабдили РТП соответствующей автоматикой (АВР и прочее). Опять таки в начальных планах было создание выделенного помещения для энергетических вводов, в последствии отказались от данной схемы (D&G дорого и глупо) и решили размещать силовое оборудование непосредственно в зале в торцах каждого ряда. На каждый силовой шкаф заведены по два независимых ввода от РТП. Сами силовые установки и шкафы автоматики хотели закупать у вендоров, но столкнулись со следующей проблемой: слишком долго ждать… соот. отказоустойчивость всего предприятия становилась под вопрос, т.к. если сломается какая то комплектующая в силовом шкафу то придется ждать очень долго замены (как правило подобные узлы и агрегаты никто не держит на складах, а это колоссальная сложность (если призадуматься). А поскольку в «кармане» есть завод Росатома по производству силовых агрегатов, все делали сами, по собственным проектам, закупали лишь комплектующие ведущих вендоров, которые можно без проблем купить если что и оперативно заменить своими силами.

image

image

3. Отвод тепла в ЦОд это головная боль всех специалистов, занятых в данной области, это предмет для обсуждения на форумах и конференциях, в калуарах и офисах интеграторов 🙂 На сегодняшний день проведено уже куча исследования на данную тематику, кто-то придумал разместить ЦОД на барже, кто-то на северном полюсе и т.д. и т.п., на мой взгляд самая оптимальная схема, это горячие/холодные коридоры, самое простое казалось бы, но все таки мы пошли дальше, благодаря разработчикам Knuerr, придумавшим и создавшим гениальную и простую в своей реализации схему отвода тепла, они скоммутировали шкаф и систему горячих/холодных коридоров одном «ящике» 🙂 в итоге имеем то, что имеем.

На сегодняшний день все проектировщики предлагают стандартную схему отвода тепла, с раздачей холодного воздуха из под фальшпола или еще что-то в этом роде, в итоге максимум 10 кВт тепла отводим от стойки и баста! нам данный вариант не подходил по одной простой причине (D&G :)) в том смысле, что неэффективно использовалось пространство дата центра и его энергетическая мощность (к слову мы имеем 4 мВт мощщей) Как я уже писал выше, познакомились с немецкой компанией Knuerr и их уникальными разработками. В итоге собрали систему отвода тепла на 18 кВт со шкафа (больше по моему мнению уже реально не нужно, во всяком случае ближайшие года 3, через 3 года мы докупаем модули и получаем 20-22 кВт в шкафу).

Соот. система охлаждается водой (внутренний контур), связка зал-чилер, второй контур с хладогентом (связка чилер-внешние блоки), как устроена система я детально расписывать не буду (слишком сложно и долго). Но суть очень проста, реализована система горячих/холодных коридоров внутри герметичных шкафов.

Оборудование защищено от пыли, физ. доступа, влаги и т.д.

Поскольку снизу проходят трубы с хладогентом, то шкафные системы были «подняты» над полом, были сделаны мет. конструкции, которые разделили подшкафное пространство на разные уровни: уровень чистого пола, уровень расположения электротехнических шкафов и ИБП (ИБП выбраны так же модульные и компактные, с расчетом 22 кВт на шкаф, что позволяет плавно наращивать мощность и оперативную замену в случае выхода из строя в отличии от «больших» систем).

image

image

image

Все чилерные и насосные системы расположены под землей (нам повезло и изначально под зданием был запроектирован и построен подземный паркинг на 3 этажа 🙂

image

4. Каналы связи естественно оптоволоконные 🙂

Собственные магистрали до ММТС-9 и ММТС-10 суммарной пропускной способностью 160 и 320 Гб/с соответственно позволяют развернуться 🙂

На сегодняшний день сеть построена на оборудовании Cisco systems но мы склоняемся к тому, чтобы поменять вендора, все таки циски и дорогие очень и качество их работы на больших скоростях чуть отстает от заявленных в брошюрах и на презентациях (не для кого это не секрет). На сегодняшний день мы тестируем оборудование разных производителей, как только остановимся на чем то конкретном, то отдельным постом распишу 🙂

Так же для удобства клиентов сделали ввод в здание ЦОДа на 144 волокна и разместили муфту в коллекторе, соот. любой клиент может дотянутся до нас своим волокном.

5. Кабельные системы расположены под потолком, как и силовые, так и волоконные, хочу отметить, что вся внутренняя сетевая инфраструктура сделано на оптике, так проще, удобнее и легче по массе 🙂 (медь все таки тяжеловато), да и клиенты пошли нынче строптивые, просят широкие каналы, которые давать по меди глупо или невозможно 🙂 Использовали трехмерные лоточные системы (Defem Швеция), оч. удобно и красиво 🙂

image

image

Все это позволило нам разместить на площади 600 м2 небывалые доселе мощности, мы создали машинный зал на 288 шкафов (12096 U). Данная схема отвода тепла позволяет с максимальной эффективностью использовать шкафное пространство и площади дата центра.

Появилась единственная в России площадка которая в состоянии размещать мощное серверное оборудование, все мы с Вами насмотрелись на дата центры в которых стоят «скелеты» с серверами в том смысле, что в шкафу болтается к примеру либо одна циска большая либо десяток, два серверов, все остальное пространство пустует, нет возможности подвести столько энергии и нет возможности отвести столько тепла 🙂 Сейчас такая возможность появилась. Соот. можно воплощать в жизнь проекты, которые до сегодняшнего дня были не рентабельны или просто бессмысленны из за своей мощности. Появилась возможность оптимизировать свои ресурсы. По опыту общения с клиентами скажу, что зачастую люди ищущие размещение 10 стоек, очень удивляются, когда я собираю их оборудование в 5-6 стойках 🙂

источник

  • ОН 15.02.2010
    Интересное решение. Конечно стоимость данных стоек - тема тоже для отдельного форума, курилки и т.д. :)


    p.s. водяные стойки knuerr - внешне симпотичные. Воздушные - страшненькие, с "убогими" сварными швами.
    Ответить
  • ОН 15.02.2010
    Интересно, как господа планирют резервировать внутренние блоки в стойках в случае поломки? Жаль, что про резервирование и техн. хар-ки оборудования (кроме стоек и присловутых 4МВт) вообще никаких данных нет. Написано конечно, степ-бай-степ и т.д., проект интересный, интересно по подробнее.
    "90% всех примененных технологий являются инновационными не только для России (в принципе отстающей от остального мира) но и для Европы и Америки." и где про это? Товарищ Koloban - не стесьняйтесь.
    И кстати, что окна делают в ДЦ?
    Как организована защита от огня, воды и проникновения?
    Стоимость проекта в 60 млн. евро - учитывая, что господа сами всё построили (говоря в начале статьи, что все идиоты кругом, автор в блоке опровергает сам свои же слова "Да и вообще хватит критиковать то уже)))))) это наш первый ЦОД :) " - да никого не интересует какой у Вас, уважаемый, ЦОД, назвался "крутым" - полезай .... :) ), весьма странная.


    p.s. "все кто занимается строительством ЦОДов в РФ — это люди «старого» склада ума, не шибко следящие за тенденциями отрасли" - а с кем общались?

    Послесловие:
    Не поленился заползти на форум, где 'это' - статья, лежит.
    Автор статьи, типа шутит: "А потому и 200 рублей, что нефиг у нас сидеть :)))))))) пришел, сделал что надо и ушел, нечего место занимать и воздух портить :))" данное хамство не приемлемо.
    Хотя отдать должное, автор статьи, иногда пытается проявлять своё воспитание в ответах.

    Региться на Хабре - лень. Но буду очень рад, если автор данной статьи увидит мои вопросы и найдёт время и возможность ответить.
    Ответить
  • ОН 15.02.2010
    Эмоции захлестнули:
    1) трубы с этилен-гликолен на полу в серверной - шедевр_) в случае аварии народ будет прыгать между стойками "закусывая" парами этилен-гликоля + как писал ранее к парам добавим сигаретный дым= ядовитый газ наступательного хар-ра.
    2) Стены, в случае пожара, выделят огромное кол-во воды (читайте нормы пожарной без-ти)
    3) Пожарная сигнализация отсутствует (оповещение тоже не заметил).
    + приточка-вытежка не видна (попадение частиц дыма при попадании в сервера уничтожают данные).
    4) Как обслуживать шкафы планируют? На табуретку залезать?

    ИТОГО: отсутствие элементарных норм и правил. По руководству данной компании плачет МЧС.
    Ответить
  • VOLK 16.02.2010
    Уважаемые строители - самоделкины!
    Я грешним делом думал, что такие в стране перевелись - ан нет.
    Проигногировать всеми требования стандартов и норм, забыть про "Хромую Лошадь" в Перми и сделать как хочется.
    Понятно, что установленные шкафы КНУР - это хорошо, но это не есть мировое отличие данного помещения и грамотно построенных Центров Обработки Данных.
    Необходимо порекомендовать инспектору по эеологии и пожнадзору поинтеревоваться даннми помещениями.
    На месте клиента я не стал бы пользоваться данным с позвонения сказать "супер ЦОД" - пусть пользуются ими сами и привлекают клиентов из Европы, США и Китая.........
    С нетерпением
    Ваш....Volk
    Ответить
  • VOLK 16.02.2010
    Спасибо модератору и владельцу данного сайта за примеры - как не нужно делать .....
    Ответить
  • author 16.02.2010
    Добрый день, VOLK.
    На нашем проекте модерируются только те сообщения, пользователей, которые указывают в контактах эл. адрес еще не находящийся в системе, далее Вы сможете спокойно писать сообщения и они будут опубликованы мгновенно.
    Приносим извинения за доставленные неудобства.
    Ответить
  • Андрей 01.03.2010
    Есть в ЦОДе и плюсы, но говорить о его идеальности рановато:

    - ноу-хау я не увидел - все это и в России давно есть
    - отсутствие фальшпола - вопрос спорный - круто наверно со стремянок монтировать оборудование в шкафы
    - гликоль в помещении плохо конечно но не смертельно
    - пожарные мероприятия само собой

    НО не забывайте самое главное - КТО будет покупать стойки 22 кВт и огда все это хозяйство окупится.... вот вопрос
    Ответить
  • Евгений 01.03.2010
    Последний комент - ни о чём _) т.к. если товарищи и сами как я понял занимаются ИТ, то кого поставить вопрос стоит не остро, а про кривые решения - выше описано.
    Ответить
ОСТАВИТЬ ОТЗЫВ



Последние комментарии