Предлагаю Вам статью Павла Савранского из ЗАО “СВС-Связь”, которую он на прошлой неделе опубликовал на Хабре. В статье Павел рассказывает, как родилась идея строительства ЦОДов «Иртышский» и «Славянский», как проходило строительство, с какими проблемами столкнулись, при реализации ЦОД и что из этого в итоге получилось.

Все началось примерно 2 года назад, сидя в итальянском ресторане за тарелкой пасты

Идея уже давно металась в стаждущих умах великих гениев, но тут она нашла выход наружу. Чуть позже было таки принято решение о начале строительства сего безобразия. Изначально предполагалось сделать ЦОД «Иртышский», планы были грандиозные, но были и колоссальные технические сложности, посему было принято решение о том. чтобы отложить Иртышский «на сладкое» , взялись за «Славянский».



Небольшая справка: Долго думали как обозвать данные проект, в итоге пришли к выводу, что в глобале это будет «М77» по принципу М9, М10, М5 (ММТСы), опять таки Стек (М1), а в локале решили что будем различать по географическому признаку собственно так и получилось, «Славянский» расположен на Славянском бульваре, а «Иртышский» на Иртышском проезде



Изначально имели в полном распоряжении отдельно стоящее 2-х этажное здание свободного назначения, выбрали помещения и начали думать, сначала хотели отдать все на аутсорс и пригласить «специалистов» по ЦОДостроению, пригласили одних, потом других, потом третьих, в итоге поняли, что все кто занимается строительством ЦОДов в РФ — это люди «старого» склада ума, не шибко следящие за тенденциями отрасли, зачастую слабо понимающие и разбирающиеся в этом деле, примерно через 10 месяцев раздумий и предпроектных изысканий мы решили создать все своими руками (благо в кармане есть компания оператор связи, строительный холдинг и другие смежные компании) вот так вот мыс тали строителями ЦОДов . Позже мы познакомились с прекрасной компанией Knuerr (Германия) и главой российского представительства, который и предложил нам то оборудование, в итоге на котором и начали строить и от которого «плясали» все системы.



Хочу отметить, что поскольку строительство начиналось в предверии кризиса, который мы унюхали примерно за 3-4 месяца до начала, было принято решение о поэтапном строительстве и вводе в эксплуатацию, в основу всего ЦОДа лег важнейший принцип step by step (шаг за шагом) это выгодно и экономически и по другим причинам, каждая система должна быть создана таким образом, что при ее поломке или выводе из строя для профилактики это не повлияет на работу всего ЦОД, в этом ключе выбирались вендоры, проектировались системы, закупалось оборудование и т.д.



90% всех примененных технологий являются инновационными не только для России (в принципе отстающей от остального мира) но и для Европы и Америки. Мы создавали то, чего было только на словах или в лампах проекторов передовых разработчиков. Столкнулись с множеством тонкостей, вопросов, недоразумений и прочего. В итоге создали первую очередь ЦОД «Славянский», итак подробнее по каждой части ЦОДа (за основу брал следующий документ: Документ SP–3-0092: (Стандарт TIA-942, редакция 7.0, февраль 2005)):



1. Поскольку расположение ЦОДа, здание и территория были в нашем распоряжении, то мы сразу попали в точку по нелюбимым мною западным стандартам:)

— отдельно стоящее задание;

— первый этаж;

— нагрузка на перекрытия до 2т/м2 (здание монолитное);

— широкие проходы, позволяющие перемещать крупногабаритные предметы;

— высокие потолки (~5м);

— отсутствие колонн и других архитектурных конструкций в машинном зале;

— все стены покрыты спец. красками минимизирующими пылеобразование, в светлых тонах;

— от фальш полов решили отказаться на начальном этапе строительства за их ненадобностью, сделали полы из керамогранита;

— разделили помещения машинного зала от административных и технических помещений, создали гермозону;

— решили использовать диодные светильники (света больше, энергии меньше);

про такую ерунду как сейсмоустойчивость и прочую ерунду писать не буду и так все понятно



2. Изначально имеем собственную распределительную подстанцию(РТП) на территории с двумя независимыми вводами от города с разных ТЭЦ (1 категория), соот. организовали два кабельных ввода в здание по монолитным бетонным каналам (на всякий случай), добавили в РТП дизель-генератор и снабдили РТП соответствующей автоматикой (АВР и прочее). Опять таки в начальных планах было создание выделенного помещения для энергетических вводов, в последствии отказались от данной схемы (D&G дорого и глупо) и решили размещать силовое оборудование непосредственно в зале в торцах каждого ряда. На каждый силовой шкаф заведены по два независимых ввода от РТП. Сами силовые установки и шкафы автоматики хотели закупать у вендоров, но столкнулись со следующей проблемой: слишком долго ждать… соот. отказоустойчивость всего предприятия становилась под вопрос, т.к. если сломается какая то комплектующая в силовом шкафу то придется ждать очень долго замены (как правило подобные узлы и агрегаты никто не держит на складах, а это колоссальная сложность (если призадуматься). А поскольку в «кармане» есть завод Росатома по производству силовых агрегатов, все делали сами, по собственным проектам, закупали лишь комплектующие ведущих вендоров, которые можно без проблем купить если что и оперативно заменить своими силами.







3. Отвод тепла в ЦОд это головная боль всех специалистов, занятых в данной области, это предмет для обсуждения на форумах и конференциях, в калуарах и офисах интеграторов На сегодняшний день проведено уже куча исследования на данную тематику, кто-то придумал разместить ЦОД на барже, кто-то на северном полюсе и т.д. и т.п., на мой взгляд самая оптимальная схема, это горячие/холодные коридоры, самое простое казалось бы, но все таки мы пошли дальше, благодаря разработчикам Knuerr, придумавшим и создавшим гениальную и простую в своей реализации схему отвода тепла, они скоммутировали шкаф и систему горячих/холодных коридоров одном «ящике» в итоге имеем то, что имеем.



На сегодняшний день все проектировщики предлагают стандартную схему отвода тепла, с раздачей холодного воздуха из под фальшпола или еще что-то в этом роде, в итоге максимум 10 кВт тепла отводим от стойки и баста! нам данный вариант не подходил по одной простой причине (D&G ) в том смысле, что неэффективно использовалось пространство дата центра и его энергетическая мощность (к слову мы имеем 4 мВт мощщей) Как я уже писал выше, познакомились с немецкой компанией Knuerr и их уникальными разработками. В итоге собрали систему отвода тепла на 18 кВт со шкафа (больше по моему мнению уже реально не нужно, во всяком случае ближайшие года 3, через 3 года мы докупаем модули и получаем 20-22 кВт в шкафу).

Соот. система охлаждается водой (внутренний контур), связка зал-чилер, второй контур с хладогентом (связка чилер-внешние блоки), как устроена система я детально расписывать не буду (слишком сложно и долго). Но суть очень проста, реализована система горячих/холодных коридоров внутри герметичных шкафов.



Оборудование защищено от пыли, физ. доступа, влаги и т.д.

Поскольку снизу проходят трубы с хладогентом, то шкафные системы были «подняты» над полом, были сделаны мет. конструкции, которые разделили подшкафное пространство на разные уровни: уровень чистого пола, уровень расположения электротехнических шкафов и ИБП (ИБП выбраны так же модульные и компактные, с расчетом 22 кВт на шкаф, что позволяет плавно наращивать мощность и оперативную замену в случае выхода из строя в отличии от «больших» систем).









Все чилерные и насосные системы расположены под землей (нам повезло и изначально под зданием был запроектирован и построен подземный паркинг на 3 этажа





4. Каналы связи естественно оптоволоконные

Собственные магистрали до ММТС-9 и ММТС-10 суммарной пропускной способностью 160 и 320 Гб/с соответственно позволяют развернуться

На сегодняшний день сеть построена на оборудовании Cisco systems но мы склоняемся к тому, чтобы поменять вендора, все таки циски и дорогие очень и качество их работы на больших скоростях чуть отстает от заявленных в брошюрах и на презентациях (не для кого это не секрет). На сегодняшний день мы тестируем оборудование разных производителей, как только остановимся на чем то конкретном, то отдельным постом распишу

Так же для удобства клиентов сделали ввод в здание ЦОДа на 144 волокна и разместили муфту в коллекторе, соот. любой клиент может дотянутся до нас своим волокном.



5. Кабельные системы расположены под потолком, как и силовые, так и волоконные, хочу отметить, что вся внутренняя сетевая инфраструктура сделано на оптике, так проще, удобнее и легче по массе (медь все таки тяжеловато), да и клиенты пошли нынче строптивые, просят широкие каналы, которые давать по меди глупо или невозможно Использовали трехмерные лоточные системы (Defem Швеция), оч. удобно и красиво







Все это позволило нам разместить на площади 600 м2 небывалые доселе мощности, мы создали машинный зал на 288 шкафов (12096 U). Данная схема отвода тепла позволяет с максимальной эффективностью использовать шкафное пространство и площади дата центра.

Появилась единственная в России площадка которая в состоянии размещать мощное серверное оборудование, все мы с Вами насмотрелись на дата центры в которых стоят «скелеты» с серверами в том смысле, что в шкафу болтается к примеру либо одна циска большая либо десяток, два серверов, все остальное пространство пустует, нет возможности подвести столько энергии и нет возможности отвести столько тепла Сейчас такая возможность появилась. Соот. можно воплощать в жизнь проекты, которые до сегодняшнего дня были не рентабельны или просто бессмысленны из за своей мощности. Появилась возможность оптимизировать свои ресурсы. По опыту общения с клиентами скажу, что зачастую люди ищущие размещение 10 стоек, очень удивляются, когда я собираю их оборудование в 5-6 стойках

источник