Кабельный ввод

Общая мощность Дата-Центра 1200 кВт

Помещение ГРЩ

Помещение аккумуляторной, поддержка в течении 10 минут

Помещение ИБП
ИБП GeneralElectric 4х250кВА SitePro 250 зарезервированы по схеме N+1

ДГУ с запасом топлива на 24 часа.

Серверная №1
6 прецизионных кондиционеров Uniflair Leonardo MAX с резервированием N+1 общей холодопроизводительностью 425.5 кВт

150 кв. м., рассчитана на установку 70 серверных шкафов (от 4 кВт до 10 кВт);

системами автоматического газового пожаротушения

Каждый шкаф оснащен двумя PDU (системой распределения питания), подключенными к независимым шинам распределения электроэнергии.

Фото-экскурсия подготовлена по материалам сайта: tk-miran.ru

В презентации более чем 35 видео роликов, в которых показывается ИТ-архитектора компании и обсуждаются различные аспекты проектирования и строительство Дата-Центра. По мимо видео, есть много фотографий, иллюстрирующих практически всю инфраструктуру ЦОД. Смотрю я на всю эту красоту и думаю, когда же у нас хоть что-то отдаленно похожее появится, после таких фото даже ЦОД Мегафона в Самаре не впечатляет. Несколько фотографий ниже в теме.

Кампус

Демонстрационный-зал

Холл

Гермозона

СКС

Узел связи

Трансформаторные установки

ИБП

Аккумуляторная

ДГУ

АУГП

Telco room или перчаточная

Помещение службы NOC

Помещение службы безопасности

Интерактивная презентация Дата-Центра Bangalore Cisco Systems

Источник: datacenterknowledge

Комплекс зданий занимает площадь в 3,2 гектара, расположен в поселке Красный пахарь. Общая площадь ЦОД 6912 кв.м. с 6-ю автозалами. Здание расположено в незатопляемой местности, в нем реализуется 100% резервирование по энергообеспечению. Несущая способность перекрытий – до 5 тонн на 1 кв.м., реализована современная система пожаротушения, осуществляется круглосуточная охрана.

Предлагаю Вашему вниманию немного фотографий с экскурсии по ЦОД Мегафон в Самаре.

Один из шести автозалов Дата-Центра

Гермозоны выполнены с использованием фальшпола, под которым проложен СКС.

Еще один автозал, но уже с размещенными стойками и оборудованием

Помещение для размещения внешних блоков системы кондиционирования

NOC

Источник фото

Ситуация для Дата-Центра, позиционирующего себя как TIER-3, мягко сказать не приятная. Почему чиллеры, установленные на крыше пристройки, небыли защищены специальными решетчатыми кожухами, при условии существования явных рисков от расположенных в блажащей доступности старых заводских построек.
Еще один интересный факт – показатели состояний климатических условий в залах ЦОД на Боровой, опубликованные на главной странице сайта, оставались на протяжении всей аварии в рамках нормы, что явно не соответствовало действительности. Это несоответствие наводит на размышление о том, что цифры взяты не из системы мониторинга Дата-Центра, а введены контент-менджером сайта и могут быть далеки от реальных и сейчас.
Нельзя не отдать должное представителям DataLine, весьма подробно осветившим произошедшую аварию и опубликовавшим фото-отчет о результатах разбушевавшейся бури, приведенный ниже. Таким подробным описание аварии и сроков ее устранения представители Дата-Центров России балуют своих клиентов крайне редко, хотя с другой стороны, сухими строчками о происшествия, да еще и не из официального источника, авторы могли бы подлить последнюю каплю масла в давно разгорающийся огонь недовольства качеством услуги размещения оборудования в ЦОД DataLine.

Официальный источник с сайта DataLine

УРАГАН НА БОРОВОЙ И ЕГО ПОСЛЕДСТВИЯ

20.07.2010 в 18.18 часов вследствие шквального ветра, вызванного ураганом, внешние блоки системы кондиционирования (чиллеры) были завалены тяжелыми металлическими конструкциями (по нашим оценкам более 10 тонн стального профлиста и двутавровых балок), рухнувшими на крышу ЦОДа с крыш соседних зданий. В результате все три чиллера получили физические повреждения: в частности, пробиты и разгерметизированы радиаторы с этиленгликолем, что привело к резкому снижению давления в системе охлаждения. Кроме того, двутавровыми балками повреждены 10 вентиляторов на двух из трех холодильных машин. Все эти факторы привели к быстрому повышению температуры в машинных залах.

Для восстановления давления в системе были использованы имеющиеся у нас запасы этиленгликоля. Мы смогли запаять один из поврежденных участков гликолевого контура и в 19.50 запустить в эксплуатацию первый чиллер, что привело к снижению температуры в залах примерно на 5 градусов.

В дальнейшем проводились работы по реанимации остальных чиллеров, что и было достигнуто в 23.30 через 4 часа восстановительных работ. После чего ЦОД перешел в работу в штатном режиме. Температура в залах стабилизировалась к 4 часам утра следующего дня (21.07.2010).

В настоящее время работают 2 чиллера, температура в залах стабилизирована, ЦОД работает без резервного чиллера. Для его восстановления производятся необходимые закупки запасных частей, ведутся ремонтные работы его фреонового контура. Восстановление системы резерва происходит силами сервисной компании.

По нашим прогнозам в течение 24 часов ЦОД перейдет в штатный режим работы с наличием резерва.

Система видеонаблюдения и контроля доступа

Электрощитовая

Панель на главном распределительном щит (ГРЩ) ЦОДа. Ввод 1 и ввод 2 – два независимых электроввода. Энергообеспечение Дата-центра Фортис осуществляется от 2-х независимых линий высокого напряжения, 10 кВ каждая, через устройство АВР высокого напряжения. Для энергоснабжения используются 2 трансформаторные подстанции, мощностью 1000 кВт каждая, зарезервированные по схеме N+N.
Ввод 3 – резервный источник питания – ДГУ

главный распределительный щит (ГРЩ) ЦОДа. Автоматика Schneider Electric. А также три ИБП PowerWare 9390. Для организации беспрерывности электропитания, а также для устранения скачков напряжения и негативного влияния на сеть нелинейных нагрузок серверного оборудования, были установлены 3 ИБП PowerWare общей мощностью 485кВа. Данное оборудование способно поддерживать питание всех систем машинного зала, включая прецизионные кондиционеры, в течение 10 минут, чего более чем достаточно для перехода на резервный источник электроснабжения.

ДГУ

Для резервирования городских энерговводов, предусмотрено дополнительное питание от третьего независимого источника питания – ДГУ «FG Wilson» P800 мощностью 800 кВа. ДГУ запускается автоматически при аварии в сети городского электроснабжения и способна нести полную нагрузку Дата-центра не менее 12 часов без дозаправки.

Помещения ДЦ

Серверные помещения оборудованы датчиками задымления и системой автоматического газового пожаротушения (АГПТ) на основе газовой смеси «Хладон».

Вход в помещения машинных залов. Серверные помещения построены по принципу “саркофаг” и защищены от внешнего воздействия огня и воды.

Машинные залы №1 и №2

Система холодоснабжения Дата-центра построена на промышленный прецизионных кондиционерах Stulz, с резервированием по схеме N+1, общей холодопроизводительностью 237 кВт. Климатические параметры и степень очистки воздуха на технологической площадке поддерживаются в пределах норм и правил для данных помещений. В серверных помещениях Дата-центра реализовано разделение воздушного потока по принципу «холодного-горячего» коридора.

Осень 2003 года, Москва ул. 8 Марта 14, еще Cable & Wireless. Первая очередь, около 60 стоек, работает. Строится модуль под Датафорт и резервные офисе.

Продолжением следует…

И так, ЦОД начинается с обследования территорий и зданий.

Часть I, поехали….

Продолжением следует…

Cервера на столах – Релком (правда).

И так уважаемые друзья, подходим к самому интересному. Четверка крупнейших Дата-Центров Мира, их без преувеличения можно назвать монстрами рынка, каждый из них своей полезной площадью больше, чем все Дата-Центры России вместе взятые.

4. NEXT GENERATION DATA EUROPE, УЭЛЬС, 70000 м2

Внешний вид дата-центра Next Generation Data Ltd. в Ньюпорте, Уэльс.

Огромный дата-центр Next Generation Data Europe недавно открылся в Ньюпорте, Уэльс. В центре площадью 70000 м2 (750000 квадратных футов) два больших зала заняли компании BT и Logica. Крупное здание изначально было построено как завод по производству полупроводников LG, однако оно стало свободным вскоре после завершения строительства в 1998 году. NGD переоборудовала его в трехэтажный дата-центр с более чем 35000 м2 технических помещений, чего достаточно для размещения более чем 19000 стоек с серверами и системами хранения данных. Конструкция дата-центра позволяет размещать как отдельные сервера, так и контейнерные конструкции. Для более подробной информации см. «BT и Logica – новые арендаторы NGD».

3. NAP OF THE AMERICAS, МАЙАМИ, 70000 м2

Шестиэтажное здание дата-центра NAP of the Americas в Майами насчитывает более 70000 м2 площади.
NAP of the Americas был огромным уже тогда, когда это еще не было тенденцией. Эта массивная цифровая крепость компании Terremark Worldwide площадью 70000 м2 была построена в деловой части Майами в июне 2001 года, как раз во время краха доткомов. Шестиэтажный объект не только выдержал спад, но и стал ключевым сетевым узлом юго-востока США и Латинской Америки, предоставляя важнейшую инфраструктуру для армии США и глобальной системы DNS. Здание NAP of the Americas построено так, чтобы выдержать ураган пятой категории, и снаружи защищено железобетонными панелями толщиной 18 см. Питание здания поддерживается шестью роторными источниками бесперебойного питания Hitech. В здании сводятся более 160 сетей, создавая общую систему соединений. Три крупных шара на крыше здания содержат две спутниковые тарелки диаметром 16 м и одну тарелку диаметром 14 м, представляющих собой резервный канал для критических важных задач и клиентов на случай, если оптоволоконные каналы выйдут из строя.

2. QTS METRO DATA CENTER, АТЛАНТА, 91975 м2

Ряд стоек в дата-центре QTS в деловой части Атланты.

QTS Metro в Атланте – здание площадью 91975 м2, в котором после завершения всех работ площадь дата-центра будет занимать 52000 м2. Огромное здание потребляет 80 МВт энергии, обеспечивающейся находящей в этом же здании подстанцией компании Georgia Power. Кроме того, для обеспечения резервного энергопитания на объекте имеются 19 дизельных генераторов мощностью 2 МВт. Здание по адресу 1033 Jefferson было построено фирмой Sears в 1954 году в качестве юго-восточного распределительного центра компании. В 2000 году компании MetroNexus и CoreLocation купили здание, инвестировав 80 миллионов долларов в переоборудование его части под телекоммуникации и дата-центр. Quality Technology Services купила здание в 2006 году, оборудовав около 14000 м2 помещений с фальшполами. Прошлой осенью компания получила 150 миллионов долларов прямых инвестиций от компании General Atlantic и объявила о намерениях расширения объекта еще на 12000 м2 помещений дата-центра.
Продолжаем обзор 10 крупнейших дата-центров в мире.

1. 350 EAST CERMAK, ЧИКАГО, 102000 м2

Вид с воздуха на дата-центр площадью 102000 м2 по адресу 350 East Cermak, Чикаго.

Технологический центр Lakeside (350 East Cermak) – дата-центр площадью 102000 м2 с множеством арендаторов, принадлежащий компании Digital Realty Trust. Изначально построен полиграфической компанией R.R. Donnelley Co. для размещения печатных машин для изданий Yellow Book и Sears Catalog. Начал использоваться в телекоммуникационных целях в 1999 году, и сегодня является одним из крупнейших в мире центров размещения серверов и мозговым центром Чикагской биржи – именно здесь расположены дата-центры финансовых компаний, которых привлекает возможность выбора провайдера для пиринга и выхода в сеть среди 70 арендаторов.

Промышленная инфраструктура объекта включает четыре кабельных колодца для оптоволокна и три линии электропитания, обеспечивающие здание питанием мощностью более 100 МВт. Сегодня 350 East Cermak является вторым по объему потребления клиентом компании Commonwealth Edison, уступая только Международному аэропорту О’Хара в Чикаго. Сеть электропитания дублируется более чем 50 генераторами по всему зданию, питание которых обеспечивается несколькими контейнерами с дизельным топливом объемом 113500 литров. Одной из наиболее ярких особенностей центра является охлаждающая система, использующая емкость на 32 миллиона литров охлажденной жидкости наподобие соляного раствора (см. верхнее фото слева). Помимо 350 East Cermak, огромная емкость служит хранилищем тепловой энергии для городского Комитета по управлению пристанями и выставками (Metropolitan Pier and Exposition Authority – MPEA), включая расположенный неподалеку выставочный центр McCormick Place и отель Hyatt Regency Hotel. Хранилище тепловой энергии снижает эксплуатационные расходы за счет работы кондиционеров в периоды низкого потребления электроэнергии, когда тарифы на нее более низки.