Новости ЦОД на TelecomBloger.ru » фото-экскурсия

Фото-экскурсия по Дата-Центру Фортис, Санкт-Петербург

author — Mon, 21 Jun 2010 04:33:26 +0000

Предлагаю Вашему вниманию обзорную фото-экскурсию по Дата-Центру Fortiss расположенному по адресу: г. Санкт-Петербург, 3-й Рыбацкий проезд, 3.

Система видеонаблюдения и контроля доступа

Электрощитовая

Панель на главном распределительном щит (ГРЩ) ЦОДа. Ввод 1 и ввод 2 – два независимых электроввода. Энергообеспечение Дата-центра Фортис осуществляется от 2-х независимых линий высокого напряжения, 10 кВ каждая, через устройство АВР высокого напряжения. Для энергоснабжения используются 2 трансформаторные подстанции, мощностью 1000 кВт каждая, зарезервированные по схеме N+N.
Ввод 3 – резервный источник питания – ДГУ

главный распределительный щит (ГРЩ) ЦОДа. Автоматика Schneider Electric. А также три ИБП PowerWare 9390. Для организации беспрерывности электропитания, а также для устранения скачков напряжения и негативного влияния на сеть нелинейных нагрузок серверного оборудования, были установлены 3 ИБП PowerWare общей мощностью 485кВа. Данное оборудование способно поддерживать питание всех систем машинного зала, включая прецизионные кондиционеры, в течение 10 минут, чего более чем достаточно для перехода на резервный источник электроснабжения.

ДГУ

Для резервирования городских энерговводов, предусмотрено дополнительное питание от третьего независимого источника питания – ДГУ «FG Wilson» P800 мощностью 800 кВа. ДГУ запускается автоматически при аварии в сети городского электроснабжения и способна нести полную нагрузку Дата-центра не менее 12 часов без дозаправки.

Помещения ДЦ

Серверные помещения оборудованы датчиками задымления и системой автоматического газового пожаротушения (АГПТ) на основе газовой смеси «Хладон».

Вход в помещения машинных залов. Серверные помещения построены по принципу “саркофаг” и защищены от внешнего воздействия огня и воды.

Машинные залы №1 и №2

Система холодоснабжения Дата-центра построена на промышленный прецизионных кондиционерах Stulz, с резервированием по схеме N+1, общей холодопроизводительностью 237 кВт. Климатические параметры и степень очистки воздуха на технологической площадке поддерживаются в пределах норм и правил для данных помещений. В серверных помещениях Дата-центра реализовано разделение воздушного потока по принципу «холодного-горячего» коридора.

Фото-экскурсия по Дата-Центру Telehouse Caravan

author — Tue, 08 Jun 2010 03:30:37 +0000

Предлагаю Вашему вниманию обзорную фото-экскурсию по Дата-Центру Telehouse Caravan расположенному по адресу: г. Москва, проспект Мира, 222.

В Telehouse заложен повышенный уровень энергообеспечения. Выделяемая на стойку мощность более чем в 5 раз превышает стандартные предложения существующих дата-центров и может достигать 30 кВт.

В Telehouse используются 19″ стойки (модель APC NetShelter). Конструкция стоек NetShelter обладает совместимостью с оборудованием различных производителей и широким спектром систем кондиционирования. Принцип стандартизации дает свободу выбора стратегии развертывания современных энергоемких приложений.

Система кондиционирования обеспечивает круглосуточное поддержание климатических параметров в соответствии с требованиями производителей оборудования: температура воздуха на уровне 20°C ±2°С, влажность воздуха — 50 ±5%. Система климатического контроля подключена к ИБП, что обеспечивает непрерывность ее работы при потере внешнего электропитания.

Система изоляции горячего коридора (HACS) предназначена для конфигураций с повышенной энергетической плотностью. Технология изоляции потока нагретого воздуха позволяет устранить зоны перегрева за счет предотвращения возврата отработанного воздуха к чувствительному ИТ-оборудованию. Горячий отработанный воздух отводится от всех жизненно важных систем и изолируется в горячем коридоре, что исключает смешение воздушных потоков. Далее нагретый воздух проходит через блоки внутрирядного кондиционирования и возвращается в помещение.

Все конструкции Telehouse герметичны и выполнены по классу огнестойкости E/I-90/60.

Все помещения Telehouse Caravan оборудованы современными системами автоматической пожарной сигнализации, автоматического газового пожаротушения и дымоудаления:
• Мультизональная система автоматического газового пожаротушения обеспечивает локальное устранение источника возгорания, не затрагивая соседние объекты.
• Системы пожаротушения, пожарной сигнализации и дымоудаления резервированы и подключены к собственным источникам бесперебойного питания.

Система бесперебойного питания состоит из ИБП, зарезервированных по схеме N+1, мощностью 300кВА каждый. ИБП фирмы Chloride (серия 90 NET) гарантируют время автономного режима работы не менее 20 минут, что в 2,5 раза выше решений существующих дата-центров, и позволяет обеспечить значительно более высокий уровень отказоустойчивости. Емкость батарей обеспечивает автономию 20 минут при 100% загрузке.

Энергообеспечение Telehouse осуществляется от 2-х независимых линий высокого напряжения, 10 кВ каждая, через устройство АВР высокого напряжения. В здании Telehouse установлено 2 трансформаторные подстанции, мощностью 1000 кВА каждая. Энергоснабжение Telehouse осуществляется по 2 независимым вводам.

Выделенная мощность: 2 очереди по 1 МВА. Ввод первой очереди на 1 МВА. Мощность распределяется между активной нагрузкой и системами жизнеобеспечения. Питание офисной части реализовано от стороннего источника, не завязанного на систему электроснабжения ЦОД.

СКС Panduit

Масштабируемая система трубной разводки позволяет без перерыва в холодоснабжении наращивать ее производительность и осуществлять регламентные работы. Система холодоснабжения позволяет отводить с каждой гермозоны до 300 кВт тепловыделения. Резервуар на 10 тонн охлажденной жидкости гарантирует стабильность климатических параметров для установленного оборудования даже в случае перехода на аварийный режим электроснабжения.

Система охлаждения. Система водяного охлаждения Chiller серии «Maximo 720» с двойным резервированием по компрессорам, контурам и встроенным конденсатором. Производитель «RC Group». Хладагент – 40% этиленгликоль.

Дизельные генераторы: 2 дизельных генератора, мощностью 1450 кВА каждый. Дизельные генераторы начинают работу спустя 1 минуту после отключения линий основного городского электроснабжения и способны обеспечить неограниченное по времени непрерывное автономное функционирование всего Telehouse. Производитель – «SDMO».

Фото-экскурсия в Дата-Центру StoreData

author — Sun, 06 Jun 2010 20:03:52 +0000

Предлагаю Вашему вниманию обзорную фото-экскурсию по новому Дата-Центру StoreData расположенному по адресу г. Москвы ул. Нижегородская ул., д.32.

UPS Emerson NX

контроль напряжения, фаз и пр

АВР и контроль

основной ввод

учет

ИБП, батареи, щиты

общий вид модуля

ворота-шлюз для дополнительного контроля доступа

АГПТ в техеоридоре

техкоридор – зазор между модулем гермозоны и собственно помещением

холл

вид из окна

лифтовой холл

топ хитс за апрель 2010 г.

author — Tue, 04 May 2010 04:56:26 +0000

Подведем итоги месяца прошедшего. В апреле пятерка самых читаемых топиком выглядит так:

I. Большой интерес был проявлен к конфликту между Хостинг-провайдером МакХост и ЦОД Оверсан-Меркурий.

II. На втором месте по популярности расположился топик с Фото-экскурсией по Дата-Центру SafeData.

III. Третьем место занял рейтинг Крупнеших Дата-Центров в Мире часть 1 и часть 2.

IV. Не менее популярным стала Фото-история строительства датацентра StoreData.ru.

V. И на заключительном пятом месте оказались архивные фотографий строительства первого Дата-Центра в России, который стал предоставлять услугу Co-location третьим лицам.

Фото-архив: строительство дата-центра Cable&Wireless в Москве

author — Mon, 26 Apr 2010 07:55:27 +0000

Предлагаю Вашему вниманию фото-историю строительства первого Дата-Центра в Москве, который предложил услуги Co-location третьим компаниям.
Дата-Центр строился компанией Cable&Wireless, находится в Никитском переулке д.5 и функционирует по настоящий момент.
Строительство велось Июль-Сентябрь 2000 года.
Качество фотографий не очень, так как сканировались с фотобумаги, но даст Вам полное представление того, как зарождался рынок ЦОД России 10 лет назад.

Дата-центр был построен в бывшем помещении банка BSGV

Система газового пожаротушения

ДГУ

Внешние блоки системы кондиционирования

Автозал

Фото-экскурсия по Дата-Центру SafeData

author — Thu, 15 Apr 2010 20:19:26 +0000

Предлагаю Вашему вниманию обзорную фото-экскурсию по Московскому Дата-Центру SafeData компании ООО “Центр хранения данных” на Остаповском проезде 22.
Для большего интереса сообщаю Вам, что в Дата-Центре сейчас действует весеннее спецпредложение на аренду стойки с 5-6 кВтами мощности за 29,999/мес. и инсталяционным платежом в 30 тыс. рублей с включенным НДС.

Осторожно много фото !!!

место расположения: Москва, Остаповский проезд, д.22, стр.1 (территория НПО СЭМ).

телефон:+7 (495) 232-4562
факс: +7 (495) 232-4560

URL: http://www.safedata.ru
email: info@safedata.ru

Начнем нашу экскурсию нестандартно из офиса Ген. директора

Техническая служба

Sales и эккаунт-менеджеры

Вход в техзону – ограничитель прохода “по-одному-человеку”

Загрузочные ворота

Вход в модуль №2 16го корпуса

Кнопки принудительного пуска пожаротушения и остановки системы кондиционирования

Модуль №2 16-го корпуса ЦОД Safedata

Он же

Щиты оконечного распределения электроснабжения стоек с ампрметрами

Консоль холодильного шкафа

Шкафы кондиционирования

Storage собственной персоной

СКУД

Коридор 16го корпуса

Видеоконтроль коридора

Вход в 1й модуль 16го корпуса

Дежурная смена инженерных систем

Охрана 16 корпуса

Запись системы видеонаблюдения

Трубы холодоснабжения

Оптический кросс

ГРЩ

Ток около 900А по вводу

Напряжометер очень серьезная штука!

Селектор вводов

ИБП

Они же

САГПТ или система автоматического газового пожаротушение, если по-Русски

Камера системы видеонаблюдения

Выходной турникет

Корпус 16

Корпус 13

Площадка ДГУ и холодильных машин

Испаритель холодильной машины

Дизель-генератор

Он же внутри

Управление ДГУ

13й корпус

Вход в техзону 13го корпуса

Он же

Модуль №1 13го корпуса

Автозал модуля №1

Техкоридор 13го корпуса

Видеонаблюдалка 13го корпуса

Фреоновые блоки на крыше 13го корпуса

Они же

Вид с крыши 13го корпуса на 16й корпус

Техплощадка

Предостережение фрикам.

На этом наша экскурсия заканчивается, всем спасибо за внимание!

Фото-экскурсия по Московскому Дата-Центру Linxtelecom

author — Tue, 30 Mar 2010 06:10:06 +0000

Предлагаю Вашему вниманию обзорную фото-экскурсию по Московскому Дата-Центру Linxtelecom.

место расположения: Москва, ул.8 Марта, д.14
телефон:+7 (495) 797-9160
URL: http://www.linxtelecom.com
email: info@linxtelecom.com

Система охлаждения

Система пожаротушения

Система энерго-распределения

5-й модуль

Батареи UPS

Модуль Дата Центра

Насосная станция системы охлаждения

Дизель-генератор

Внешний блок системы охлаждения

Кластеры Росгидромета: фотопрогулка по ВЦ

author — Mon, 15 Mar 2010 17:50:04 +0000

Создание прогноза погоды - один из наиболее трудоемких вычислительных процессов, так как за короткое время требуется обработать огромный массив данных. Справится с этим могут только суперкомпьютеры. В 2009 году ГВЦ Росгидромета совместно с Новосибирским и Хабаровским ЦГМС-РСМЦ ввели в эксплуатацию высокопроизводительные вычислительные комплексы для основных оперативных технологий и научно-исследовательских разработок. Один из этих комплексов, установленный в Москве и самый мощный из трех, нам удалось посмотреть.

Длинные коридоры ГУ “ГВЦ Росгидромета” – что-то покрашено в оранжевый цвет, как здесь, что-то в зеленый

Отголоски старых времен, когда зарплата платилась наличными

Нам сюда – это кабинеты руководящего состава на “палубе”

Вообще, здание ГУ “ГВЦ Росгидромета” раритетное. Оно было построено в начале 60-х для огромной М20, которую разрабатывали в Институте точной механики и вычислительной техники (ИТМиВТ) и СКБ-245. Трансформаторы на местной подстанции, кстати, с того же времени выживают. Дальше в машинных залах стояли М-220, “Весна”, далее серия БЭСМ (речь идет о моделях 4 и 6), линейки “Минсков” (начиная с модели 22, которая использовалась для обработки спутниковой информации), разные ЭС ЭВМ.

ГВЦ “Росгидромета” в то время котировался достаточно высоко, поскольку компьютеры попадали “с колес” в достаточно жесткие условия эксплуатации (т.н. “оперативный цикл”), что позволяло выявлять все их возможности до предела – разработчики были заинтересованы поставлять самые первые серийные образцы своего “железа”. А в 1975 году было принято решение переориентироваться на американские ЭВМ, поскольку отставание отечественной промышленности было очень существенным, а с выходом на рынок IBM все наши направления ЭВМ были “задушены” и ГВЦ должен был получить машины CDC 7600. Правда, по политическим мотивам контракт распался и был поставлен только один CDC 7200. Но с тех пор в ГВЦ появились машинные залы, построенные по западным технологиям, далее были машины ЕС 1060/1066. И в 1996 году появился Cray VMP8E с мощностью 2,4 Гигафлопс, который отработал ровно 10 лет – благополучно скончался в 2006 году.

Фрагменты комплекса SGI Altix 4700 в ГУ “ГВЦ Росгидромета”

Фальшпол с системой водяного охлаждения

После этого, в 2009 году, в ГВЦ Росгидромета был смонтирован вычислительный комплекс с пиковой производительностью 27 TFlops (27 триллионов операций с плавающей запятой в секунду), который объединяет 2 кластера. Первый - кластер SGI Altix Ice 4700 с пиковой производительностью 11 TFLOPS (1664 процессорных ядра Intel Itanium2 9140М, оперативная память 6,6 Tбайт) с узлом в 128 процессорных ядер с единой оперативной памятью 512 Гбайт (4 Гбайт на процессорное ядро). Второй - кластер из стандартных серверов SGI Altix Ice 8200 с пиковой производительностью 16 TFLOPS (1408 процессорных ядра Intel Xeon е5440, оперативная память 2,8 Тбайт) с узлом из 8 процессорных ядер и оперативной памятью 16 Гбайт (2 Гбайта на процессорное ядро).

Электрический щит – “наследство” от суперкомпьютера Cray, вполне работоспособен.

Зал большой, но старый – инженерные коммуникации прокладывали после того, как из него же “вырвали” “скончавшийся” Cray

Сбоку на одном из кластеров примостилась Wi-Fi-точка Cisco

Нагрузка у кластеров по времени не отличается – оба работают 24 часа в сутки, однако тип этой загрузки различен. К примеру, Ice 4700 уже начинает выпускать оперативные прогнозы, работая с адаптированными для его мощности математическими моделями, в то время как Ice 8200 пока в большей степени загружен научными проектами – его возможности до конца еще не раскрыты. Но ресурсов Ice 4700 для оперативной работы уже недостаточно, поэтому на Ice 8200 будет мигрировать часть оперативной технологии. Интересно, что стойку с Ice 8200 во многом собрали из “остатков” контракта – дело в том, что в тендерном задании имелись в виду логические серверы, а сотрудники интегратора поняли, что речь идет о физических.






Комплекс G-Scale 4700 и его фрагменты в Новосибирском ЦГМС-РСМЦ

Комплекс G-Scale 4700 и его фрагменты в Хабаровском ЦГМС-РСМЦ


В машинных залах стандартная температура – 21 градус по Цельсию

Вычислительные комплексы Крафтвэй G-Scale S-4700 (104 процессорных ядра Intel Itanium2 9140М, оперативная память 208 Гбайт) в РСМЦ в г.г. Новосибирск и Хабаровск идентичны, имеют пиковую производительность 660 GFLOPS (660 миллиардов операций с плавающей запятой).
Большинство прогнозов в прогностических центрах готовят к 0 и 12 часам по Гринвичу, то есть два раза в сутки. Хотя, спецпотребители могут заказать себе и более частый прогноз по какому-то определенному географически значимому району. Росгидромет в настоящий момент дает уверенный прогноз на неделю вперед – с развитием суперкомпьютеров это временное “окно” возрастет вдвое. Оценка точности происходит не по одному, а по системе взаимосвязанных критериев, интегральная оценка, которую используют для простоты понимания – доля от 100%й вероятности. Разумеется, на каждое время она различна. На сутки вперед Росгидромет выдает прогноз с вероятностью 97-98%, на двое – примерно 92% и т.д. Отметим, что увеличение точности на ближайшие сутки на сотые доли процентов достигается очень большим трудом. С прогнозами на более длительное время ситуация несколько иная – сейчас точность на пятые сутки примерно аналогична той, что некоторое время назад была на трое суток.

С внедрением суперкомпьютеров увеличилась и детализация по площади. Мезомасштабные модели ранее считались на квадрате площади с горизонтальным разрешением 150 на 150 км, сейчас уже 7 на 7 км, а тестовые варианты краткосрочных прогнозов доступны на площади 3х3 км: именно для этого и нужны производительные кластеры, поскольку это не количественный, а качественный скачок в той физике, которая в них заложена.


Прообраз модели Ice 4700 – к сожалению, эта “железка” уже никому не нужна

В отдельном, “старом” зале находится много разнообразного оборудования. Часть систем – это те небольшие кластеры мощностью до 100 Гигафлопс, которые приобретались в период с 2006 по 2009 гг. для поддержания работы своих математических моделей. Некоторое “железо” осталось от тестовых стендов, которые собирались производителями оборудования для проверки на соответствие решаемым задачам ГВЦ Росгидромета – некоторые из них после подведения итогов тендера на поставку суперкомпьютера производители даже не стали забирать, поскольку техника уже устарела.


Рабочая лошадка – кластер на базе процессоров Itanium


Сбоку от кластера – блок управления, который используется для мониторинга или работы “в горячем” режиме.

Вытянутая стойка с юнитами - это первый кластер из четырех серверов, который был приобретен ГВЦ Росгидромета на базе процессоров Itanium. Это было в 2003 году и он работает до сих пор – решение было дополнено несколькими серверами на базе процессоров Xeon и нагружено для выполнения оперативных задач по “старым” математическим моделям. Кроме того, на будущее, как только на суперкомпьютерах Silicon Graphics полностью адаптируют новые модели расчета прогнозов погоды, старые кластеры нагрузят долгосрочными научно-исследовательскими проектами и вспомогательными задачами, на которые жалко отвлекать время производительного “железа”. Все оборудование включено в локальную сеть – для того, чтобы дать ему задачу нет никакой необходимости приходить с CD или флэшкой.


Отдельные серваки для решения оперативных задач – все под нагрузкой


Остатки Cray – железка так и не открылась, уж сколько лет в заклиненном состоянии


Один из тестовых кластеров

Отдельные серверы, нагруженные выполнением отдельных прикладных задач – у них локальное управление, как единый кластер они функционировать не могут. Прогностические модели здесь не просчитываются, единственное, что может быть запущено - системы интерпретации.


Операторский зал ГВЦ Росгидромета


Рабочее помещение разделено на отдельные секторы – рабочие места разделяются по направлениям и используемым технологиям


Слева от компьютера – раритетные системы связи

Операторский зал ГВЦ Росгидромета, в смену здесь работает четыре человека (всего в ГУ ГВЦ Росгидромета 95 сотрудников), для “присмотра” за автоматизированными системами, которые контролируются в режиме online, этого вполне хватает.


Типичное рабочее место оператора Minimax – они обеспечивают прямую связь операторского зала с телекоммуникационным центром Росгидромета


На дисплеях – прогноз погоды, а вообще прогностическая ситуация поставляется в виде цифровых полей, на основании которых можно построить цифровые карты погоды на период от суток до двух недель вперед


Наследство со старых времен

Здесь множество рабочих мест, на которых готовится необходимая для Росгидромета продукция по прогнозам погоды – возможно получать статистические данные и изображения, накладывать их друг на друга. Дело в том, что часть региональных прогностических центров на местах не занимается интерпретацией данных вообще, а получают готовые карты погоды для своей местности. В рамках ИТ-модернизации Федеральной службы по гидрометеорологии и мониторингу окружающей среды, подобное оборудование находится практически во всех 93 прогностических центрах, которые находятся на территории РФ.


Система охлаждения в подвале


Щит управления


Резервуары для воды

Система охлаждения построена без единой точки отказа – любой элемент резервируется по принципу N+1. Она работает в двух режимах – или с помощью системы водяного охлаждения, второй вариант – забор холодного воздуха извне, это хорошо помогает экономить электричество зимой. Но это в теории – в последнее время зимы были настолько теплыми, что использовать этот режим особой необходимости не было. В цистернах хранится 14 тонн холодной воды.


Новые UPS

От бросков напряжения суперкомпьютеры защищают два UPS (держат весь комплекс в течение 15 минут) – первый остался от старого Cray и новый, поставленный вместе с решением Silicon Graphics (две системы по 400 Кватт). Так вот на старом есть замечательный распределительный щит, который держит нагрузку и перебрасывает напряжение со стационарных вводов на резервные батареи. Его подключили, все заработало и… в один прекрасный день все выключилось. Оказалось, что подвел… светодиод за пару долларов, который показывает индикацию какая линия нагружена в настоящий момент. Лампочка из-за скачка напряжения буквально взорвалась и выключила систему. Многомиллионный комплекс выключился из-за мелочи.


Злополучный распределительный щит

Резервного генератора не предусмотрено по объективным причинам: установить такой объект в нескольких сотнях метров от здания Правительства РФ (т.н. “белый дом”) практически нереально. Кроме того, после вывода из района Пресни множества заводов проблем с электропитанием не существует – двух независимых вводов вполне хватает, а никаких скачков из-за повышенного потребления уже несколько лет подряд нет (а раньше они были в районе 7 утра). Кроме того, если по какой-то причине выйдет из строя питание для суперкомпьютера в столице, работать с данными смогут центры в Новосибирске и Хабаровске, а также иностранные вычислительные центры – обмен информацией все равно не прекратиться. источник: NAG.ru

Как строился новый ЦОД Яндекса

author — Thu, 11 Mar 2010 19:05:27 +0000

Предлагаю Вашему вниманию рассказ о том, как строился седьмой ЦОД компании Яндекс на более чем 6000 серверов, с общей мощностью в 4МВт.

Количество наших пользователей и объемы информации растут, и на прошлой неделе мы запустили новый, седьмой по счету, датацентр. Наш новый датацентр расположен в Мытищах, имеет подведенную мощность 4МВт, и в нем можно разместить более 6000 серверов. В нем 4 очереди, каждая по 1МВт. Сейчас готовы к работе две, а еще две строятся.

Датацентр начинается с выбора помещения, где есть достаточно электроэнергии, куда можно провести оптику для связи и договориться о долгосрочной аренде помещения. После начинается ремонт помещения.

Тут видно, что на полу стоят ножки, на которые впоследствии ляжет фальшпол. А 60 см под полом – свободно для продува воздуха от кондиционеров. Справа уже видно помещение, где фальшпол уложен на ножки.

После строительной готовности помещения расставляются кондиционеры, ставятся стойки, проводится электричество и СКС, центральный ряд плиток фальшпола меняется на решетки, из которых будет дуть холодный воздух из кондиционеров в холодный коридор. Холодный воздух из этого воздушного коридора будет захватываться вентиляторами серверов, прогоняться сквозь них и охлаждать. В стойки расставляются свитчи и KVM.

Все знают, что у нас регулярно бывают перебои с электричеством, а сервисы у нас должны работать круглосуточно. Поэтому мы обеспечиваем датацентры ИБП (источниками бесперебойного питания). Так что при отключении внешнего питания наш датацентр сможет проработать на аккумуляторах небольшое время. Но электричество нередко отключают и на много часов. Для таких случаев каждый наш датацентр оборудуется и дизель-генератором. Дизель-генератор работает на солярке и может обеспечивать питанием датацентр продолжительное время (если не забывать подвозить топливо). Обеспечением работы дизель-генераторов, кондиционеров, электричества занимаются инженеры Службы Главного Инженера департамента по общим вопросам.

Чтобы у серверов была сеть, им нужно ее обеспечить. К каждому датацентру мы прокладываем минимум 2 оптических канала, и, конечно, все наши датацентры подсоединены к нашему московскому оптическому кольцу. Это делается для защиты от экскаваторов, которые почему-то копают именно в тех местах, где лежит оптоволокно. В самих же очередях сеть приходит вот в такие свитчи, только шасси от которых весит 55кг, не считая внутренностей. После сеть подводится к свитчам, которые стоят в каждой стойке, а от них уже разводится по серверам. Чтобы было проще коммутировать и отслеживать, что и куда подключено, используются патч-корды разного цвета.

Казалось бы, пора ставить сервера? Не сразу. Прежде, чем сервер будет установлен в стойку, его нужно принять, распаковать из коробки, разобрать, чтобы инвентаризовать память, жесткие диски и сам корпус, затем снова собрать, чтобы установить в стойку и подключить, а все действия аккуратно провести по складской программе, чтобы мы знали, где и что у нас стоит. Аналогичные действия производятся и со свитчами, с KVM’ами и другим оборудованием, которое используется в датацентре. Все эти действия проводятся на складе, который есть в любом датацентре. Отвечают за это инжереры датацентра из инфраструктурного отдела департамента эксплуатации. Это очень ответственные люди, у которых всегда обязан быть порядок в хозяйстве. А все полки подписаны. Даже те, которые непонятны.

Вот теперь можно ставить сервера. После их установки на них устанавливается операционная система и необходимое ПО в полуавтоматическом режиме, чем обычно занимаются дежурные администраторы. После чего сервера передаются в эксплуатацию системным администраторам. Сисадмины устанавливают то, чего не хватает и окончательно настраивают сервера перед вводом их в продакшн. В окончательную настройку входит также настройка мониторинга, который будет оповещать нас о проблемах на сервере. За мониторингом круглосуточно следят дежурные администраторы, которые оповещают ответственных админов о проблемах с их серверами и являются руками админов в случаях, когда надо поменять винчестер, подключить KVM или перегрузить намертво зависший сервер.

А вот такой охранник стоит на входе в наш ДЦ:

Ефим Мирочник Источник

Как строился ЦОД КОМКОР на Варшавском шоссе

author — Thu, 11 Mar 2010 10:22:14 +0000

Предлагаю Вашему вниманию экскурсию от системного интегратора «Корпорация ЮНИ» с рассказом как строился один из самых современных и технологичных ЦОД в России, компании КОМКОР.

Узнаваемое здание городского центра кабельного телевидения КОМКОР на Варшавском шоссе в Москве. В здании построен ЦОД с суммарным энергопотреблением 3.5 мВт, класса надежности TIER 3+

Здание построено на фундаменте кинотеатра (проект 1992г.).

Особенности здания:

Здание имеет встроенное ТП с установленными 4мя масляными трансформаторами 1250 кВА. Электроснабжение по первой категории надежности.

Здание в разрезе. В центральной зоне устанавливаются колонны, диафрагмы жесткости. На трех нижних этажах создается инфраструктура ЦОД, на четвертом (под крышей) – центр управления сетями – ЦУС.

Пробивка дополнительных дверных проемов. При необходимости расширение существующих

Организация основных и резервных стояков с 1 по 4 этаж для холодоснабжения, электроснабжения, оптики, меди:

Находим места для стояков, согласовываем с конструкторами здания. Чтобы не пошли трещины, стояки пробуриваем. Устанавливаем несущие кабельросты, межэтажную загильзовку, обшиваем стальным листом, красим противопожарной краской, заземляем… Снаружи обшиваем двойным гипсокартонном, усиливаем дверной проем, заказываем и устанавливаем противопожарные двери… в общем IE90. Кабельрост рассчиываем на нагрузку силовых кабелей, в каждом стояке не менее 18 кабелей, вес до 9 кг на метр. Итого 600 кг на пролет в один этаж. Всего 2,4 т кабелей.

Выполняем антистатическую обработку и гидроизоляцию перекрытий полиуретановым составом.

Проектируем и монтируем разгрузочные рамы под оборудование и аккумуляторы. Рамы также образуют эквипотенциальную систему уравнивания потенциалов.

Внутренние чиллеры холодопроизводительностью 890кВт, безфундаментная установка на виброопорах. Резервирование 2+1. Шесть компрессорных контуров, внешняя насосная станция. Дополнительные ресиверы и зимний комплект расширяют рабочий диапазон до -40 градусов Цельсия.

Два бака с захоложенной водой в процессе монтажа. Общий объем захоложенной воды в здании (включая трубную разводку) – 36 тонн (аккумулятор холода на десять минут автономной работы).
Объем каждого бака 15 тонн. Вес заполненного водой бака 21 тонн. Общий объем захоложенной воды в здании (включая трубную разводку) – 36 тонн

Ферма с установленными блоками конденсаторов. Конструкция типа неваляшка – нет опирания на здание. Занимает минимум места, не загорожен проезд. Высота конструкции 12 метров. Суммарный вес конденсаторов 9 тонн.

Трубная разводка водяного контура. Холодная вода подается в помещение ЦОД. Обратно поступает вода, забравшая избыточное тепло. Нечетное количество труб потому, что применено резервирование с участковой локализацией возможных протечек и ремонтных секций. Ширина пакета труб 2,5 метра. При прокладке не занизили потолки, не нарушив нормы по эвакуации.

Насосная станция на 1-ом этаже. Резервирование 2+1. Безфундаментная установка на виброопорах. Центр тяжести смещен вниз за счет массивной рамы с бетонной подливкой. Вертикальное расположение моторов создает дополнительный гироскопический эффект и снижает вибрацию. Применен частотно регулируемый привод для плавного пуска/переключения и процессорного регулирования. Питаются от отдельных ИБП

Машинное отделение чиллеров, справа щиты с частотным приводом внешних конденсаторов, слева чиллеры, в конце коридора баки аккумуляторы холода. Частотный привод позволяет без проблем раскрутить вентиляторы на внешней ферме даже в ветреную погоду, а с учетом их мощности это не простая задача…

Вид на ферму с конденсаторами в хорошую погоду:

ИБП и холодильный центр находятся рядом, но отгорожены. Кирпичное основание перегородки высотой 1,5 метра. ИБП и другое электрооборудование поднято на рамах в зоне с лева от перегородки. Сетка обеспечивает защиту от прикосновения и монообъем для системы газового пожаротушения. Холодильный центр за сеткой. Видны теплоизолированные баки – аккумуляторы холода.

Стеллажи с АКБ для ЦОД. Время автономии до 10 минут при полной нагрузке.

ИБП ЦОД – безтрансформаторные 200кВА каждый. Параллельные системы 4+1 и 1+1, три таких системы питает ЦОД. Двухлучевая схема питания нагрузок. Высокое качество выходного напряжения, минимальные искажения во входной цепи, мягкий запуск для дизеля. Дополнительно организован контроль качества энергоснабжения, как на входе, так и на выходе систем. Это важно для нелинейных нагрузок и околопредельных режимов трансформаторов и ДГУ.

Подземная дизельная с двумя такими агрегатами, расположенная на отметке -7.000, выход выхлопа на +37.500. Тоже на –7 метрах отдельный топливный бак с запасом топлива на сутки.

Электропитающая установка постоянного тока 48В для линейно аппаратного цеха (ЛАЦ) городского центра кабельного телевидения. Две системы по 163 кВт каждая. 15 линеек батарей в параллель, что является уникальным решением. Почти 4 000 А на общей шине. Резервирование 1+1. Суммарное сечение медных проводников в цепи нагрузки – 3200 мм2 (32 см2) на каждой системе.

Линейно-аппаратный цех (ЛАЦ) на 2-ом этаже – здесь размещается сетевой центр Комкор и передающая станция городского кабельного телевидения. Телекоммуникационное оборудование мало потребляет и требует обдува снизу, поэтому применено классическое решение по охлаждению – подача воздуха из под фальшпола, непосредственно в шкафы с оборудованием.

Однако схема спроектирована так, что при необходимости организуется холодные и горячие коридоры для половины помещения.

Общее количество телекоммуникационных шкафов в ЛАЦ – 106.

В ЛАЦ реализована одна из самых больших оптических СКС. На 350 м2 приходится 22 тысячи сварок оптоволокна.

Помещение ЦОД на 3-ем этаже. 140 серверных шкафов с тепловыделением 5-10-15-21 кВт. Серверные шкафы глубиной 1,2м и с несущей способностью до 1500 кг. Между шкафами в рядах фреоновые рядные доводчики холода. В торцах холодных коридоров Прецизионные фенкойлы типа дисплейсмент запирают коридоры с боков. Высота фальшпола 180 мм. Электрические кабели проложены под фальшполом в холодных коридорах. Кабели СКС в лотках над шкафами. В помещении выполнено телекоммуникационное заземление с шинами выравнивания потенциалов вдоль рядов шкафов.

Горячий коридор. Лотки для прокладки пользовательских оптических кабелей. Видны опуски FlexiblePiping с потолка к доводчикам.

Зоновые шкафы СКС. Вид со стороны холодного коридора. Аналогичный вид со стороны горячего коридора. Допускают установку активного оборудования. Забор воздуха из холодного коридора, принудительный выброс наверх по каналу в центре шкафа. Глубина шкафа 1,2м.

В серверных шкафах с тыльной стороны установлены многоцелевые панели. В этих панелях 16 RJ45 Cat6 портов, 6 SC Duplex MM (OM3) и 6 SC Duplex SM (OS1) портов.

Питание в шкафах трехфазное, по двум независимым лучам.

Пассивная коммутация между EDA и MDA. Магистральная часть СКС белая, область оборудования фиолетовая. Соотношение полей коммутации 2 к 1.

Оптическая магистраль. Здесь 1224 портов SC Duplex.

Комната подготовки ЦОД. Смежное помещение, играет роль тамбура шлюза. Рабочая зона подготовки ЦОД. Система удаленных консолей. Помещение рассчитано на длительное нахождение в нем персонала, имеется приточно-вытяжная вентиляция. Оборудовано монтажными столами с высокопрочным антистатическим покрытием, удобными кабель-каналами, розетками, вместительными тумбочками.

Системой мониторинга контролируется:

Независимо температура, влажность, протечки
Состояние ИБП и ЭПУ
Состояния всех автоматов защиты – вкл/выкл/авария.
Состояние холодильного оборудования
Для вводов и групп стоек – параметры и качество энергоснабжения

Общее количество сигналов:

От независимых датчиков – 1900
Косвенного измерения – около 1000

Панель шкафа мониторинга инженерных систем. Обеспечивает независимый сбор и обработку измерений температуры, влажности, протечек, состояния оборудования.

Аналогичные модули определяют состояние автоматов электропитания (включен, выключен, выбит) в электрораспределительных щитах.

Наглядное представление контролируемых параметров и величин на рабочих местах диспетчеров. Появление красного цвета на мнемосхеме и звукового оповещения говорит о наличии и месте проявления проблемы. Система анализирует не только абсолютные значения параметров, но и скорость их изменения. Это позволяет увидеть проблему раньше возникновения реальной аварии.

Источник