Добавить в избранное
Новости ЦОД и Дата-Центров
Все, что Вам нужно знать о ЦОД

Как ЗАО «Дата-Центр» строил свой ЦОД.

21.12.2009
|
author
|
Раздел: Как строятся ЦОД, Новости
|

В Европе да и в Америки многие интеграторы ведут блоги с описанием всех этапов строительства новых Дата-Центров. Например в одном из моих постов я рассказывал о том, как Digital Realty Trust за 26 недель построила с нуля один из своих Дата-Центров.
Хочу отдать должное Ивану Карпухину, который не побоялся и выложил в интернете фотографии с описанием многих этапов строительства своего Дата-Центра, несмотря на некоторые недочеты, которые присутствуют в строительстве у подавляющего большинства строящихся Дата-Центров в России, он не стал их скрывать, а опубликовал все так как и было. За это ему отдельное спасибо.
Начиная отношения со своими клиента без лукавства и обмана со стороны Дата-Центра, не может не радовать!

Предлагаю Вашему вниманию фотографии с описанием всех этапов строительства ЦОД ЗАО «Дата-Центр» описанных на хабре Иваном Карпухиным:

Как известно, любой стартап начинается с фразы «Как же вы за***ли, лучше сам сделаю лучше».

В 2007 году положение с датацентрами в Москве, да и во всей России было критическим. Попасть туда простому хостеру можно было только по предварительной записи. Драли с него втридорога, сервера частенько перегревали, электричество периодически отсутствовало, и еще, стоило датацентру начать генерировать 2-3 гигабита полосы, как он тут же воображал себя царем горы, пытался барыжить твоим трафиком, а с несогласными боролся методом пускания моего трафика через узкий зашейпенный канал ***телекома зарубеж.

А общение с ночными дежурными датацентра — это отдельная песня. Чаще всего было проще приехать и самому найти вывалившийся патчкорд, чем полночи пытаться добиться от мало вменяемого, ничего не хотящего юноши. И это хорошо, если дежурный был и попасть в датацентр ночью было возможно. Некоторые датацентры работали с 9 до 5, кроме праздников и выходных дней. Все остальное время там не было НИКОГО. Сервер, упавший в пятницу вечером, пролежит, минимум, до дня понедельника.

Картинка, о том, что творилось внутри типичного датацентра того времени.

картинка Взято с сайта Nag.ru

Мне, к тому времени, это порядком надоело, и, как выход, я решил строить свой датацентр, ориентированный на запросы меня и моих пользователей.



А именно хотелось:

1) Нормального, качественного охлаждения с большим запасом на случай выхода одного из кондиционеров.

2) Беспроблемного электричества и обязательно собственный дизель.

3) Каналы и до местных Tier1 и до пира. Трафик должен стоить нормальных денег.

4) Своей, вышколенной и вменяемой круглосуточной смены на площадке.

Своими мыслями я делился с знакомыми и нашел сочувствующих. Был написан бизнес план. Не спеша были найдены деньги на запуск и клиенты, что бы не работать в минус после запуска.

Был найден и будущий исполнитель строительства датацентра — Группа компаний «Радиус»

С января 2008 года мы начали искать помещение. И не просто так, а размером 200-400 метров, с выделением 600 kW электричества, с обязательной регистрацией договора аренды на срок 5 лет. На первом этаже. Без транзитных труб. И что бы было куда повесить кондиционеры.

Такое удачное сочетание найти было не так просто. Поиски помещения продолжались весь 2008 год. Нашлось немало удачных вариантов, но увы, так или иначе мы не договаривались. Или электричество было по 2 цены, или договор аренды не более чем на 3 года, или вообще завод шел под реконструкцию через 2 года.

Итак прошел весь 2008 год. Зимой количество объектов вдруг резко увеличилось, а арендодатели вдруг стали соглашаться на наши условия, и в январе 2009 года помещение было найдено. Представляло оно из себя не очень приятное зрелище.

Приблизительно вот такое

картинка

И с другой стороны

картинка

Итак, договор аренды подписан, мы с специалистами группы компаний Радиус засучили рукава и начали делать рабочий проект. Большой такой, талмуд, страниц на 1000. В котором подробно описали как сделать из того, что есть, красоту необыкновенную, нужную нам. К марту проект был готов, и началась стройка.

Итак, проект готов, начались работы.

Так как я не строитель, а связист, в этой части будет много картинок и мало букв.

Прежде всего, строители выкинули все лишнее и сняли подвесные потолки.

image

Стало светлее и веселее.

Затем, с пола ломами убрали все лишнее, там были многолетнии слои асфальта поверх бетона.

image

Заложили шахты неработающих грузовых лифтов (Интересно, они ничего в лифт не спрятали?)

image

Отодрали старый утеплитель

image

И, не спеша, начали строить скелет гермозоны

image

Удалили все трубы из будущей гермозоны. Начали делать потолок от протечек сверху. Делаем стяжку.

image

Скелет сделан. Потолок сделан. Стяжка залита. Пора обшивать

image

Обшиваем негорючим утеплителем и негорючим влагонепроницаемым гипсокартоном.

image

Зачем ругаться, насяльника. Все хорошо будет сделано.

image

Обшили, заделали щели, покрасили гермозону белой краской.

image

Ставим рамы под юпсы.

image

Ура, фальшпол привезли. Какой же датацентр без фальшпола? Разве что первой категории надежности по TIA-942

image

С помощью похожего на НЛО приспособления и чайника собираем фальшпол. Контур заземления я упустил, но тут мы его уже видим.

image

Фальшпол собрали, почти готовая гермозона 🙂
image

Гермозона у меня есть, осталось нашпиговать ее по последнему слову техники. Начнем с электричества.

Ведь куда датацентру без электричества?

Прямо в помещении столько электричества, конечно, нет. Но есть в трансформаторной. Прокладка кабеля за счет арендатора.

Итак, копаем канаву по всему заводу.

image



Привозим кабелюку, бронированную, чтобы ей в земле хорошо лежалось.

Реклама Чувашкабеля детектед

image

Закопали. Положили, тремя слоями сверху, каждые полметра, ленту с надписью «осторожно кабель».

А в гермозону привезли вентиляционные решетки, материалы для воздуховодов.

image

И водо — фреоно водов. А также накрыли пол, чтобы очень его не загадить

image

Начали прокладывать разные трубки загадочного назначения

image

Подсказываю, черные — фреон, серые — слив сконденсированной влаги, белые — забор воды в увлажнители.

Тут и пожарные подоспели, привезли балоны с хладоном. Хорошие такие огнетушители

image

И давай монтировать систему пожаротушения.

image

Между делом привезли рамы для кондиционеров.

image

А вот и сами кондиционеры приехали.

image

Кондиционеры, конечно, прицензионные, Emerson Liebert HPM, с выдувом холодного воздуха под фальшпол. Всего запланировано 60 серверных шкафов не более чем по 6 kW каждый (Больше охлаждать воздухом не получается). Итого на 360 kW вероятной чистой мощности у нас 9 кондиционеров по 56 кW холода каждый.

Тем временем, систему пожаротушения доделали
image

Поставили внешние блоки

image

Картинка, вполне, в духе стимпанка.

Поставили щиты управления вытяжкой — приточкой.

image

Привезли серверные шкафы и начали собирать. И приточку вытяжку тоже.

image

Собрали шкафы

image

Шкафы Knürr 42 юнита, 900мм глубиной 600мм шириной. Шкафы шириной 800 мм роскошны, но увы, у нас места на 800 мм не хватило.

А вот и электричество.

Встречайте. UPS

image

И электрические шкафы.

image

Упсы Emerson Liebert, как ни странно. На 160 kVa, это 128 kW, тоже включены по схеме N+1 и питают чистое до запуска дизеля. Должно хватить на 15 минут при полной нагрузке, но дизель стартует куда раньше.

Поставили упсы на рамы

image

Чтобы было не скучно, сделали, наконец, освещение.

image

Закатили кучу проводов.

image

И давай их подключать

image

Чтобы время взря не терять, прикатили циску

image

Сделали комутационный шкаф и по всем шкафам протащили оптику

image

Смотрим налево

image

электричество подключили.

Смотрим направо, чего то не хватает? Конечно, дизеля не хватает. Грустно без дизеля.

Дизель едет-едет и приехал

image

Знатная зверюга на 730 kVa. 6 горшков, 2 турбины. 2 глушителя. Именитой итальянской фирмы Сoelmo. А как ревет…

Ну все, пора запускать все системы

image

И снимать красивые фотографиии

Типа таких.

image

Или таких

image

Открыть сайт www.webdc.ru Звать инспектора минсвязи и покупать мебель в офис.

Тэги: , ,
|
Источник:
|
RSS 2.0
|
|
  • ОН 21.12.2009
    " 6 kW каждый (Больше охлаждать воздухом не получается)"
    это про энергетику и отведение тепла от каждой стойки идёт речь, на самом деле спорный вопрос :)
    Есть возможность воздухом отводить от стойки до 7-8 кВт, а с применение доп. техн. решений воздухом и 15 кВт (конечно имею ввиду то, что можно включить в проект, не учитывая возможность компенсировать повышенное энергопотребление/тепловыделение за счёт мест установки энергоёмкого об-ия в ДЦ)
    А вообще: молодцы!!! Браво! Учитывая поставленные цели, вполне-вполне. Жмём крепко руку.

    p.s. при проектировании конечно бы посоветовал кое-что сделать иначе, что не изменило бы невысокой стоимости проекта, но было бы полезно.
    Ответить
  • Андрей 21.01.2010
    А чтож не из соломы сделали гермозону?
    Получился бы домик Наф-Нафа
    Ответить
  • VOLK 16.02.2010
    EN1047-2 в России не знает ни кто!!!
    Это, в принципе показано на примере данного ЦОД.
    Защищать "скорлупу", прошу прощения, гермозону - от огня и воды слоями из гипсокартна - оригинально!!!
    Денег на стройку истратили много, но могли чуточку меньше и получили зону по EN 1047-2 - ну почти....
    А так, хорошее решение.
    Ответить
ОСТАВИТЬ ОТЗЫВ



Последние комментарии