Комплекс зданий занимает площадь в 3,2 гектара, расположен в поселке Красный пахарь. Общая площадь ЦОД 6912 кв.м. с 6-ю автозалами. Здание расположено в незатопляемой местности, в нем реализуется 100% резервирование по энергообеспечению. Несущая способность перекрытий – до 5 тонн на 1 кв.м., реализована современная система пожаротушения, осуществляется круглосуточная охрана.

Предлагаю Вашему вниманию немного фотографий с экскурсии по ЦОД Мегафон в Самаре.

Один из шести автозалов Дата-Центра

Гермозоны выполнены с использованием фальшпола, под которым проложен СКС.

Еще один автозал, но уже с размещенными стойками и оборудованием

Помещение для размещения внешних блоков системы кондиционирования

NOC

Источник фото

Ситуация для Дата-Центра, позиционирующего себя как TIER-3, мягко сказать не приятная. Почему чиллеры, установленные на крыше пристройки, небыли защищены специальными решетчатыми кожухами, при условии существования явных рисков от расположенных в блажащей доступности старых заводских построек.
Еще один интересный факт – показатели состояний климатических условий в залах ЦОД на Боровой, опубликованные на главной странице сайта, оставались на протяжении всей аварии в рамках нормы, что явно не соответствовало действительности. Это несоответствие наводит на размышление о том, что цифры взяты не из системы мониторинга Дата-Центра, а введены контент-менджером сайта и могут быть далеки от реальных и сейчас.
Нельзя не отдать должное представителям DataLine, весьма подробно осветившим произошедшую аварию и опубликовавшим фото-отчет о результатах разбушевавшейся бури, приведенный ниже. Таким подробным описание аварии и сроков ее устранения представители Дата-Центров России балуют своих клиентов крайне редко, хотя с другой стороны, сухими строчками о происшествия, да еще и не из официального источника, авторы могли бы подлить последнюю каплю масла в давно разгорающийся огонь недовольства качеством услуги размещения оборудования в ЦОД DataLine.

Официальный источник с сайта DataLine

УРАГАН НА БОРОВОЙ И ЕГО ПОСЛЕДСТВИЯ

20.07.2010 в 18.18 часов вследствие шквального ветра, вызванного ураганом, внешние блоки системы кондиционирования (чиллеры) были завалены тяжелыми металлическими конструкциями (по нашим оценкам более 10 тонн стального профлиста и двутавровых балок), рухнувшими на крышу ЦОДа с крыш соседних зданий. В результате все три чиллера получили физические повреждения: в частности, пробиты и разгерметизированы радиаторы с этиленгликолем, что привело к резкому снижению давления в системе охлаждения. Кроме того, двутавровыми балками повреждены 10 вентиляторов на двух из трех холодильных машин. Все эти факторы привели к быстрому повышению температуры в машинных залах.

Для восстановления давления в системе были использованы имеющиеся у нас запасы этиленгликоля. Мы смогли запаять один из поврежденных участков гликолевого контура и в 19.50 запустить в эксплуатацию первый чиллер, что привело к снижению температуры в залах примерно на 5 градусов.

В дальнейшем проводились работы по реанимации остальных чиллеров, что и было достигнуто в 23.30 через 4 часа восстановительных работ. После чего ЦОД перешел в работу в штатном режиме. Температура в залах стабилизировалась к 4 часам утра следующего дня (21.07.2010).

В настоящее время работают 2 чиллера, температура в залах стабилизирована, ЦОД работает без резервного чиллера. Для его восстановления производятся необходимые закупки запасных частей, ведутся ремонтные работы его фреонового контура. Восстановление системы резерва происходит силами сервисной компании.

По нашим прогнозам в течение 24 часов ЦОД перейдет в штатный режим работы с наличием резерва.

Мы у себя на Остаповском 22 внедрили следующую систему: при повышении температуры воздуха ближе к +30 мы распыляем небольшое к-во воды под холодильными машинами. В проходах между машинами установлены водяные распылители высокого давления. Расход воды минимальный, а эффективность (по амперметру и температуре конденсации в компрессорах) увеличивается на 5-10 процентов. Штука с точки зрения физики спорная, но с точки зрения реальных показателей – работает. Если кто-то захочет повторить – не лейте много воды, можно все испортить, в том числе замкнуть обмотки вентиляторов. Распылители должны быть наитончайшими, хорошо еще фильтр на воду поставить, чтобы форсунки не засорялись.

Система видеонаблюдения и контроля доступа

Электрощитовая

Панель на главном распределительном щит (ГРЩ) ЦОДа. Ввод 1 и ввод 2 – два независимых электроввода. Энергообеспечение Дата-центра Фортис осуществляется от 2-х независимых линий высокого напряжения, 10 кВ каждая, через устройство АВР высокого напряжения. Для энергоснабжения используются 2 трансформаторные подстанции, мощностью 1000 кВт каждая, зарезервированные по схеме N+N.
Ввод 3 – резервный источник питания – ДГУ

главный распределительный щит (ГРЩ) ЦОДа. Автоматика Schneider Electric. А также три ИБП PowerWare 9390. Для организации беспрерывности электропитания, а также для устранения скачков напряжения и негативного влияния на сеть нелинейных нагрузок серверного оборудования, были установлены 3 ИБП PowerWare общей мощностью 485кВа. Данное оборудование способно поддерживать питание всех систем машинного зала, включая прецизионные кондиционеры, в течение 10 минут, чего более чем достаточно для перехода на резервный источник электроснабжения.

ДГУ

Для резервирования городских энерговводов, предусмотрено дополнительное питание от третьего независимого источника питания – ДГУ «FG Wilson» P800 мощностью 800 кВа. ДГУ запускается автоматически при аварии в сети городского электроснабжения и способна нести полную нагрузку Дата-центра не менее 12 часов без дозаправки.

Помещения ДЦ

Серверные помещения оборудованы датчиками задымления и системой автоматического газового пожаротушения (АГПТ) на основе газовой смеси «Хладон».

Вход в помещения машинных залов. Серверные помещения построены по принципу “саркофаг” и защищены от внешнего воздействия огня и воды.

Машинные залы №1 и №2

Система холодоснабжения Дата-центра построена на промышленный прецизионных кондиционерах Stulz, с резервированием по схеме N+1, общей холодопроизводительностью 237 кВт. Климатические параметры и степень очистки воздуха на технологической площадке поддерживаются в пределах норм и правил для данных помещений. В серверных помещениях Дата-центра реализовано разделение воздушного потока по принципу «холодного-горячего» коридора.

Осень 2003 года, Москва ул. 8 Марта 14, еще Cable & Wireless. Первая очередь, около 60 стоек, работает. Строится модуль под Датафорт и резервные офисе.

Продолжением следует…

И так, ЦОД начинается с обследования территорий и зданий.

Часть I, поехали….

Продолжением следует…

Cервера на столах – Релком (правда).

И так уважаемые друзья, подходим к самому интересному. Четверка крупнейших Дата-Центров Мира, их без преувеличения можно назвать монстрами рынка, каждый из них своей полезной площадью больше, чем все Дата-Центры России вместе взятые.

4. NEXT GENERATION DATA EUROPE, УЭЛЬС, 70000 м2

Внешний вид дата-центра Next Generation Data Ltd. в Ньюпорте, Уэльс.

Огромный дата-центр Next Generation Data Europe недавно открылся в Ньюпорте, Уэльс. В центре площадью 70000 м2 (750000 квадратных футов) два больших зала заняли компании BT и Logica. Крупное здание изначально было построено как завод по производству полупроводников LG, однако оно стало свободным вскоре после завершения строительства в 1998 году. NGD переоборудовала его в трехэтажный дата-центр с более чем 35000 м2 технических помещений, чего достаточно для размещения более чем 19000 стоек с серверами и системами хранения данных. Конструкция дата-центра позволяет размещать как отдельные сервера, так и контейнерные конструкции. Для более подробной информации см. «BT и Logica – новые арендаторы NGD».

3. NAP OF THE AMERICAS, МАЙАМИ, 70000 м2

Шестиэтажное здание дата-центра NAP of the Americas в Майами насчитывает более 70000 м2 площади.
NAP of the Americas был огромным уже тогда, когда это еще не было тенденцией. Эта массивная цифровая крепость компании Terremark Worldwide площадью 70000 м2 была построена в деловой части Майами в июне 2001 года, как раз во время краха доткомов. Шестиэтажный объект не только выдержал спад, но и стал ключевым сетевым узлом юго-востока США и Латинской Америки, предоставляя важнейшую инфраструктуру для армии США и глобальной системы DNS. Здание NAP of the Americas построено так, чтобы выдержать ураган пятой категории, и снаружи защищено железобетонными панелями толщиной 18 см. Питание здания поддерживается шестью роторными источниками бесперебойного питания Hitech. В здании сводятся более 160 сетей, создавая общую систему соединений. Три крупных шара на крыше здания содержат две спутниковые тарелки диаметром 16 м и одну тарелку диаметром 14 м, представляющих собой резервный канал для критических важных задач и клиентов на случай, если оптоволоконные каналы выйдут из строя.

2. QTS METRO DATA CENTER, АТЛАНТА, 91975 м2

Ряд стоек в дата-центре QTS в деловой части Атланты.

QTS Metro в Атланте – здание площадью 91975 м2, в котором после завершения всех работ площадь дата-центра будет занимать 52000 м2. Огромное здание потребляет 80 МВт энергии, обеспечивающейся находящей в этом же здании подстанцией компании Georgia Power. Кроме того, для обеспечения резервного энергопитания на объекте имеются 19 дизельных генераторов мощностью 2 МВт. Здание по адресу 1033 Jefferson было построено фирмой Sears в 1954 году в качестве юго-восточного распределительного центра компании. В 2000 году компании MetroNexus и CoreLocation купили здание, инвестировав 80 миллионов долларов в переоборудование его части под телекоммуникации и дата-центр. Quality Technology Services купила здание в 2006 году, оборудовав около 14000 м2 помещений с фальшполами. Прошлой осенью компания получила 150 миллионов долларов прямых инвестиций от компании General Atlantic и объявила о намерениях расширения объекта еще на 12000 м2 помещений дата-центра.
Продолжаем обзор 10 крупнейших дата-центров в мире.

1. 350 EAST CERMAK, ЧИКАГО, 102000 м2

Вид с воздуха на дата-центр площадью 102000 м2 по адресу 350 East Cermak, Чикаго.

Технологический центр Lakeside (350 East Cermak) – дата-центр площадью 102000 м2 с множеством арендаторов, принадлежащий компании Digital Realty Trust. Изначально построен полиграфической компанией R.R. Donnelley Co. для размещения печатных машин для изданий Yellow Book и Sears Catalog. Начал использоваться в телекоммуникационных целях в 1999 году, и сегодня является одним из крупнейших в мире центров размещения серверов и мозговым центром Чикагской биржи – именно здесь расположены дата-центры финансовых компаний, которых привлекает возможность выбора провайдера для пиринга и выхода в сеть среди 70 арендаторов.

Промышленная инфраструктура объекта включает четыре кабельных колодца для оптоволокна и три линии электропитания, обеспечивающие здание питанием мощностью более 100 МВт. Сегодня 350 East Cermak является вторым по объему потребления клиентом компании Commonwealth Edison, уступая только Международному аэропорту О’Хара в Чикаго. Сеть электропитания дублируется более чем 50 генераторами по всему зданию, питание которых обеспечивается несколькими контейнерами с дизельным топливом объемом 113500 литров. Одной из наиболее ярких особенностей центра является охлаждающая система, использующая емкость на 32 миллиона литров охлажденной жидкости наподобие соляного раствора (см. верхнее фото слева). Помимо 350 East Cermak, огромная емкость служит хранилищем тепловой энергии для городского Комитета по управлению пристанями и выставками (Metropolitan Pier and Exposition Authority – MPEA), включая расположенный неподалеку выставочный центр McCormick Place и отель Hyatt Regency Hotel. Хранилище тепловой энергии снижает эксплуатационные расходы за счет работы кондиционеров в периоды низкого потребления электроэнергии, когда тарифы на нее более низки.

Дата-центр был построен в бывшем помещении банка BSGV

Система газового пожаротушения

ДГУ

Внешние блоки системы кондиционирования

Автозал

Войти в IT, или как мы решили построить дата-центр и построили его.

Часть первая

При всем сегодняшнем обилии предлагаемых товаров и услуг, казалось бы, найти что-то достойное, полностью соответствующее потребностям, должно быть легко. Но на практике даже в «богатой» Москве ситуация отнюдь не такая радужная. В частности, в области дата-центров.

Список требований к дата-центру у средних и крупных клиентов часто занимает несколько страниц. Но в силу разных факторов удовлетворить их полностью практически никогда не получается. Чаще всего приходится идти на компромиссы, ужиматься и ухищряться.

Наша компания занимается предоставлением услуг дата-центра и различных IT-сервисов, от проектирования кабельных систем до организации крупных закупок оборудования. Неотъемлемой частью бизнес-модели является наличие надежного дата-центра, собственного или арендованного. Основным театром наших действий выступает Москва, и здесь, казалось бы, недостатка в хороших ЦОДах быть не должно. Однако в реальности дела обстоят несколько иначе.

Мы пользовались услугами нескольких коммерческих ЦОДов, и нигде не могли получить необходимого уровня обслуживания. В одном дата-центре заявленная «железно» пропускная способность каналов скачет чуть ли не в зависимости от температуры воздуха за окном. Во втором стойки охлаждаются бытовыми напольными кондиционерами (душераздирающее зрелище). В третьем для того, чтобы внести или вынести оборудование, требуется подписать пачку бумаг и пробежать несколько километров между кабинетами, ухитрившись попасть в хаотичный рабочий график ответственных лиц. При этом еще и требуется быть вежливым с последней милей в лице сонного охранника на входе, обожающего демонстрировать свою крохотную власть над ситуацией, если вдруг ему инженеры чем-то не приглянутся.

И в таких, прямо сказать, неблагоприятных условиях мы должны выполнять обязательства уже перед собственными клиентами. А им и дела нет до того, что где-то нетрезвый энергетик перепутал рубильники, а эксплуатационники проморгали плановую замену батарей в заслуженном UPS выпуска прошлого века. И это правильно – у клиента не должна болеть голова по поводу условий работы его дорогостоящего оборудования или непрерывности предоставления сервиса — для этого он и обратился к нам.

Решение, позволяющее одним махом, пусть и очень недешевым, решить все проблемы, лежит на поверхности. Это, конечно, строительство собственного дата-центра. Отважиться на этот важный шаг довольно сложно, и дело отнюдь не только в деньгах. С первого же момента возникает масса самых серьезных вопросов, требующих однозначного выбора из нескольких вариантов. Строить самим или привлечь подрядчика? На какой уровень надежности рассчитывать? Строить только для себя, или планировать продавать площади и мощности сторонним клиентам? Покупать оборудование напрямую у вендора или через дистрибьютора? Какие выбрать стойки, фальшпол, освещение, вентиляцию, систему мониторинга, систему резервного питания и пожаротушения? Какой потребуется персонал? И, наконец, сколько на всю эту роскошь нужно денег?

Сейчас, когда мы уже закончили строительство, многие вопросы и проблемы кажутся банальными, а ответы и решения – очевидными. Но, не набив шишек, сложно получить полное понимание архитектуры современного дата-центра, а это именно то, к чему мы стремились. Построить достойный современный ДЦ только собственными силами практически невозможно, если, конечно, вы не компания, профессионально занятая проектированием и строительством ДЦ. В любом случае на каком-то этапе придется привлекать профессионалов, главное только решить, в какой форме. Можно нанять сотрудника, хорошо знакомого со спецификой, и поручить ему организацию процесса. В этом случае, если он, конечно, не гений документирования и педант до мозга костей, есть риск оказаться намертво привязанным к этому человеку — случись что, без него не разобраться. К тому же, люди, способные организовать строительство современного дата-центра, ценятся буквально на вес золота и пересчитать их можно по пальцам одной руки. Поэтому такую схему лучше заранее отмести как почти невыполнимую.

Если талантливого организатора не найти, можно привлечь компанию-подрядчика. Серьезная контора с несколькими удачно завершенными проектами за спиной наверняка озвучит близкие к реальным сроки и цены, возьмет все вопросы на себя. Правда, заплатить за это придется процентов на тридцать больше. И нужно быть морально готовым к тому, что примерно половину из того, что будет сделано, прямо в процессе так или иначе придется переделывать. Хотя бы из-за разного понимания, казалось бы, простых и очевидных вещей. Ну и отличия в менталитете заказчика и исполнителя, особенно если к строительным работам в основном привлекаются «мастера широкого профиля» из южных республик, могут дать о себе знать. Еще одним фактором в пользу отказа от этого варианта может послужить тот факт, что ваш собственный персонал, способный взять на себя некоторые из направлений, возможно, будет простаивать.

Проанализировав все возможные варианты, мы решили остановиться на гибридном решении. Чтобы успешно воплотить его в жизнь, нужно попытаться максимально подробно просчитать баланс и выбрать направления, на которых нужно будет привлекать подрядную организацию, и те, где можно справиться собственными силами. Этот вариант представляется оптимальным.

Там, где этом действительно необходимо, можно, сделав над собой усилие, отдать бразды правления в руки подрядчика. На остальных фронтах работ пригодятся уже имеющиеся людские ресурсы, способные в дальнейшем составить костяк персонала будущего дата-центра. Подобное решение выглядит оптимальным, и мы решили придерживаться его.

Сейчас, по прошествии года с начала строительства, мы решили рассказать о том, как строили дата-центр, какие при этом обнаружили подводные камни, и как избежали столкновения с ними. Мы накопили немало нетривиальных проблем и получили неоценимый опыт взаимодействия с вендорами. Обо всем этом мы планируем рассказать в серии статей, появляющихся в этом блоге. Следите за Хабром!

Часть вторая. Подготовка

Думаю, никто не станет спорить с тем, что для любого промышленного объекта (а дата-центр к таковым безусловно относится) площадка — главная составляющая. Это даже не фактор успеха, хорошая площадка — это то, без чего просто невозможно построить что-либо достойное. Но разглядеть ее с первого взгляда чаще всего просто невозможно. Будущий светлый и технологичный дата-центр может скрываться за сегодняшними мрачными стенами, затхлыми подземными коридорами или брошенным на середине работы фундаментом. Его нужно только разглядеть, и мы считаем, что нам это удалось. Далее — краткий рассказ о первых днях строительства дата-центра, дополненный фотографиями.

Для нашего дата-центра мы присмотрели помещение в крепком институтском здании постройки 60х-70х годов. В ту эпоху расцвета науки в нашей стране подобные здания строили на совесть, что позволяло рассчитывать на определенный запас прочности. И, конечно же, свою роль сыграла близость к трансформаторным подстанциям и физическое наличие энерговводов — значимость этого фактора просто нельзя переоценить. Но вернемся к зданию. Помимо уже перечисленных положительных свойств, у него было и еще одно преимущество — наличие места под установку внешних чиллеров. Дело в том, что устанавливать их необходимо как можно ближе к дата-центру, иначе объем работ по прокладке системы труб для контура теплоотведения серьезно удорожит проект.

Очевидно, совокупность подобных качеств просто не оставляла иных вариантов. Но не стоит думать, что в лице площадки мы нашли золотую жилу или бьющий нефтью фонтан — состояние внутренних помещений, коммуникаций и подвала оставляло желать лучшего. Для того, чтобы сразу построить все на совесть, потребовалось серьезно подготовить здание еще до начала работ по проектированию самого дата-центра. Чтобы пол мог выдержать серьезную нагрузку, скрепя сердце, мы избавились от подвала. Он был полностью залит бетоном, что обеспечило серьезный запас прочности в том, что касается нагрузки на квадратный метр площади. Впрочем, этот параметр зависит прежде всего от фальшпола и не может быть выше определенных величин чисто физически. Стены и перекрытия пришлось очистить от многолетних наслоений красок и побелки, выправить/выпрямить и покрыть заново. Как бы ни был визуально приемлем пол в помещении, скорее всего, придется заливать новый — точность и прочность установки фальшпола связаны с этим напрямую и пренебрегать требованиями просто нельзя. То же самое касается окон, дверей, коммуникаций и всех элементов, даже таких на первый взгляд неочевидных, как санузел. Окон должно быть немного — все же в дата-центре освещение прежде всего искусственное. но и пожарные требования нужно учесть, да и просто конфигурацию помещения. Дверные проемы необходимо укрепить — стальные двери много весят, и малейший перекос недопустим — открываться они должны буквально легким движением руки. Имеющиеся в здании водопровод и центральное отопление вообще лучше убрать куда подальше — чем меньше воды рядом с оборудованием, тем лучше. К тому же, на этот счет также имеются регламенты и требования стандартов, в каждой стране разные.

При проектировании и ведении работ мы ориентировались на стандарт TIA-942, учитывая также требования ASHRAE и региональных регулирующих органов. Все-таки, чем больше рекомендаций соблюдено — тем проще будет работать.

Подробности работ мы приоткроем в следующих постах, а сейчас предлагаем посмотреть на первые этапы работы над площадкой, ведь фотографии в этом случае говорят сами за себя. Некоторые снимки сделаны прямо в ключе момента, на мобильный телефон.

Самое красивое фото — там, где зеленеет травка, скоро будут стоять огромные чиллеры. Полоса деревьев маскирует чиллерную и снижает шум.

И сразу же темные коридоры — наследие эпохи.

Обратите внимание — прелестные образчики кафеля и бутылочного стекла второй половины прошлого века.

«Боль моя — перекрытия…»

Местами в стенах и потолке зияли дыры — там раньше были проложены коммуникации, от которых предстояло избавиться.

Часть стен пришлось снести. Главное — сначала как следует изучить возможные последствия.

Работы только начались, а помещения уже не выглядят так жутко. Глаза боятся — а руки делают.

Потянулись трудовые будни.

Немного солнечного света еще никому не повредило.

Обновлены перекрытия, стены и пол. Как меняется картина!

После обработки стены стали такими. Цветовое решение — промежуточное, позже было решено от него отказаться. Помните о рекомендуемом уровне освещенности помещений! Светлая окраска стен способствует экономии электричества. На некоторых фото видны обновленные перекрытия.

Помещение для главной гермозоны в процессе подготовки.

Подготовка закончена — начался подвоз спецматериалов.

Часть третья. Строительство

Мы продолжаем рассказывать о том, как дата-центр строили-строили и наконец построили. В этом посте — фотографии со среднего этапа строительства, когда дата-центр начинает оформляться. К сожалению, фотографий не так много, как могло бы быть — как обычно, в самые напряженные моменты об этом даже не вспоминаешь. Но, тем приятнее контраст между тем, как было, и как стало. В дальнейших постах мы уже не станем публиковать столько фото и перейдем к самому интересному — рассказам непосредственных участников. Приятного просмотра!

Строительство главной гермозоны: стены подготовлены, очередь за сэндвич-панелями.

Установка панелей и фальшпола ведется параллельно.

Уровень пола в помещениях еще отличается. К финалу строительства входная зона также обретет собственную систему фальшпола.

А тем временем снаружи: входная дверь отвечает всем рекомендациям, скромная и незаметная. Позже рядом с ней появится подсвеченный датчик для proxy-карт.

Рядом со входом залит фундамент чиллерной.

Но выглядит это все пока сумбурно.

Между этапами работ всегда производится «пылесосинг» помещения. В процессе строительства дата-центра приказали долго жить несколько промышленных пылесосов. Нам их не жалко — отсутствие пыли в ДЦ дорогого стоит.

Лазерный уровень светит своими инопланетными глазами.

Это часть очень важного и точного процесса по установке фальшпола. Необходимо соблюсти точность в доли миллиметра на всей немалой площади в 500 «квадратов». К бетонному основанию каждая опора крепится прочными анкерами. В итоге прочность фальшпола позволяет ему выдерживать нагрузку в 1200 кг на квадратный метр.

«Тортик» из перфорированных плиток фальшпола. Они укладываются в «холодные» коридоры и сквозь отверстия к стойкам подается охлажденный воздух.

Источники:

Часть I
Часть II
Часть III