1. Коридор. Справа сверху огромное количество проводов в канале.

2. Вход в серверную — огнеупорная дверь.

3. Системы пожаротушения в каждом машинном зале.

4. Мечта цветметчика — сотни кабелей в каналах.

5. Электропитание, общие счетчики.

6. Система вентиляции. В серверной постоянно поддерживается одинаковая температура и влажность воздуха.

7. Шкафы с сетевым оборудованием и серверами внутри.

8. Кабельная разводка крупным планом.

9. Шкафы ZTE с еще не полностью смонтированным оборудованием.

10. Полностью каждая серверная представляет собой несколько рядов таких шкафов, меду которых достаточно места для прохода и монтажа оборудования.

Источник

Система видеонаблюдения и контроля доступа

Электрощитовая

Панель на главном распределительном щит (ГРЩ) ЦОДа. Ввод 1 и ввод 2 – два независимых электроввода. Энергообеспечение Дата-центра Фортис осуществляется от 2-х независимых линий высокого напряжения, 10 кВ каждая, через устройство АВР высокого напряжения. Для энергоснабжения используются 2 трансформаторные подстанции, мощностью 1000 кВт каждая, зарезервированные по схеме N+N.
Ввод 3 – резервный источник питания – ДГУ

главный распределительный щит (ГРЩ) ЦОДа. Автоматика Schneider Electric. А также три ИБП PowerWare 9390. Для организации беспрерывности электропитания, а также для устранения скачков напряжения и негативного влияния на сеть нелинейных нагрузок серверного оборудования, были установлены 3 ИБП PowerWare общей мощностью 485кВа. Данное оборудование способно поддерживать питание всех систем машинного зала, включая прецизионные кондиционеры, в течение 10 минут, чего более чем достаточно для перехода на резервный источник электроснабжения.

ДГУ

Для резервирования городских энерговводов, предусмотрено дополнительное питание от третьего независимого источника питания – ДГУ «FG Wilson» P800 мощностью 800 кВа. ДГУ запускается автоматически при аварии в сети городского электроснабжения и способна нести полную нагрузку Дата-центра не менее 12 часов без дозаправки.

Помещения ДЦ

Серверные помещения оборудованы датчиками задымления и системой автоматического газового пожаротушения (АГПТ) на основе газовой смеси «Хладон».

Вход в помещения машинных залов. Серверные помещения построены по принципу “саркофаг” и защищены от внешнего воздействия огня и воды.

Машинные залы №1 и №2

Система холодоснабжения Дата-центра построена на промышленный прецизионных кондиционерах Stulz, с резервированием по схеме N+1, общей холодопроизводительностью 237 кВт. Климатические параметры и степень очистки воздуха на технологической площадке поддерживаются в пределах норм и правил для данных помещений. В серверных помещениях Дата-центра реализовано разделение воздушного потока по принципу «холодного-горячего» коридора.

Предлагаю Вашему вниманию обзорную фото-экскурсию по Дата-Центру Telehouse Caravan расположенному по адресу: г. Москва, проспект Мира, 222. В Telehouse заложен повышенный уровень энергообеспечения. Выделяемая на стойку мощность более чем в 5 раз превышает стандартные предложения существующих дата-центров и может достигать 30 кВт.

В Telehouse используются 19″ стойки (модель APC NetShelter). Конструкция стоек NetShelter обладает совместимостью с оборудованием различных производителей и широким спектром систем кондиционирования. Принцип стандартизации дает свободу выбора стратегии развертывания современных энергоемких приложений.

Система кондиционирования обеспечивает круглосуточное поддержание климатических параметров в соответствии с требованиями производителей оборудования: температура воздуха на уровне 20°C ±2°С, влажность воздуха — 50 ±5%. Система климатического контроля подключена к ИБП, что обеспечивает непрерывность ее работы при потере внешнего электропитания.

Система изоляции горячего коридора (HACS) предназначена для конфигураций с повышенной энергетической плотностью. Технология изоляции потока нагретого воздуха позволяет устранить зоны перегрева за счет предотвращения возврата отработанного воздуха к чувствительному ИТ-оборудованию. Горячий отработанный воздух отводится от всех жизненно важных систем и изолируется в горячем коридоре, что исключает смешение воздушных потоков. Далее нагретый воздух проходит через блоки внутрирядного кондиционирования и возвращается в помещение.

Все конструкции Telehouse герметичны и выполнены по классу огнестойкости E/I-90/60.

Все помещения Telehouse Caravan оборудованы современными системами автоматической пожарной сигнализации, автоматического газового пожаротушения и дымоудаления:
• Мультизональная система автоматического газового пожаротушения обеспечивает локальное устранение источника возгорания, не затрагивая соседние объекты.
• Системы пожаротушения, пожарной сигнализации и дымоудаления резервированы и подключены к собственным источникам бесперебойного питания.

Система бесперебойного питания состоит из ИБП, зарезервированных по схеме N+1, мощностью 300кВА каждый. ИБП фирмы Chloride (серия 90 NET) гарантируют время автономного режима работы не менее 20 минут, что в 2,5 раза выше решений существующих дата-центров, и позволяет обеспечить значительно более высокий уровень отказоустойчивости. Емкость батарей обеспечивает автономию 20 минут при 100% загрузке.

Энергообеспечение Telehouse осуществляется от 2-х независимых линий высокого напряжения, 10 кВ каждая, через устройство АВР высокого напряжения. В здании Telehouse установлено 2 трансформаторные подстанции, мощностью 1000 кВА каждая. Энергоснабжение Telehouse осуществляется по 2 независимым вводам.

Выделенная мощность: 2 очереди по 1 МВА. Ввод первой очереди на 1 МВА. Мощность распределяется между активной нагрузкой и системами жизнеобеспечения. Питание офисной части реализовано от стороннего источника, не завязанного на систему электроснабжения ЦОД.

СКС Panduit

Масштабируемая система трубной разводки позволяет без перерыва в холодоснабжении наращивать ее производительность и осуществлять регламентные работы. Система холодоснабжения позволяет отводить с каждой гермозоны до 300 кВт тепловыделения. Резервуар на 10 тонн охлажденной жидкости гарантирует стабильность климатических параметров для установленного оборудования даже в случае перехода на аварийный режим электроснабжения.

Система охлаждения. Система водяного охлаждения Chiller серии «Maximo 720» с двойным резервированием по компрессорам, контурам и встроенным конденсатором. Производитель «RC Group». Хладагент – 40% этиленгликоль.

Дизельные генераторы: 2 дизельных генератора, мощностью 1450 кВА каждый. Дизельные генераторы начинают работу спустя 1 минуту после отключения линий основного городского электроснабжения и способны обеспечить неограниченное по времени непрерывное автономное функционирование всего Telehouse. Производитель – «SDMO».

контроль напряжения, фаз и пр

АВР и контроль

основной ввод

учет

ИБП, батареи, щиты

общий вид модуля

ворота-шлюз для дополнительного контроля доступа

АГПТ в техеоридоре

техкоридор – зазор между модулем гермозоны и собственно помещением

холл

вид из окна

лифтовой холл

• I. Большой интерес был проявлен к конфликту между Хостинг-провайдером МакХост и ЦОД Оверсан-Меркурий.


• II. На втором месте по популярности расположился топик с Фото-экскурсией по Дата-Центру SafeData.


• III. Третьем место занял рейтинг Крупнеших Дата-Центров в Мире часть 1 и часть 2.


• IV. Не менее популярным стала Фото-история строительства датацентра StoreData.ru.


• V. И на заключительном пятом месте оказались архивные фотографий строительства первого Дата-Центра в России, который стал предоставлять услугу Co-location третьим лицам.

]]> http://telecombloger.ru/2807/feed 4 http://telecombloger.ru/2692 http://telecombloger.ru/2692#comments Mon, 26 Apr 2010 07:55:27 +0000 author http://telecombloger.ru/?p=2692 Предлагаю Вашему вниманию фото-историю строительства первого Дата-Центра в Москве, который предложил услуги Co-location третьим компаниям.
Дата-Центр строился компанией Cable&Wireless, находится в Никитском переулке д.5 и функционирует по настоящий момент.
Строительство велось Июль-Сентябрь 2000 года.
Качество фотографий не очень, так как сканировались с фотобумаги, но даст Вам полное представление того, как зарождался рынок ЦОД России 10 лет назад.

Дата-центр был построен в бывшем помещении банка BSGV




Система газового пожаротушения






ДГУ


Внешние блоки системы кондиционирования






Автозал




















]]> http://telecombloger.ru/2692/feed 0 http://telecombloger.ru/2555 http://telecombloger.ru/2555#comments Thu, 15 Apr 2010 20:19:26 +0000 author http://telecombloger.ru/?p=2555


Предлагаю Вашему вниманию обзорную фото-экскурсию по Московскому Дата-Центру SafeData компании ООО “Центр хранения данных” на Остаповском проезде 22.
Для большего интереса сообщаю Вам, что в Дата-Центре сейчас действует весеннее спецпредложение на аренду стойки с 5-6 кВтами мощности за 29,999/мес. и инсталяционным платежом в 30 тыс. рублей с включенным НДС.

Осторожно много фото !!!



место расположения: Москва, Остаповский проезд, д.22, стр.1 (территория НПО СЭМ).

телефон:+7 (495) 232-4562
факс: +7 (495) 232-4560

URL: http://www.safedata.ru
email: info@safedata.ru

Начнем нашу экскурсию нестандартно из офиса Ген. директора


Техническая служба


Sales и эккаунт-менеджеры


Вход в техзону – ограничитель прохода “по-одному-человеку”


Загрузочные ворота


Вход в модуль №2 16го корпуса


Кнопки принудительного пуска пожаротушения и остановки системы кондиционирования


Модуль №2 16-го корпуса ЦОД Safedata


Он же


Щиты оконечного распределения электроснабжения стоек с ампрметрами


Консоль холодильного шкафа


Шкафы кондиционирования


Storage собственной персоной


СКУД


Коридор 16го корпуса


Видеоконтроль коридора


Вход в 1й модуль 16го корпуса


Дежурная смена инженерных систем


Охрана 16 корпуса


Запись системы видеонаблюдения


Трубы холодоснабжения


Оптический кросс


ГРЩ


Ток около 900А по вводу


Напряжометер очень серьезная штука!


Селектор вводов


ИБП


Они же


САГПТ или система автоматического газового пожаротушение, если по-Русски


Камера системы видеонаблюдения


Выходной турникет


Корпус 16


Корпус 13


Площадка ДГУ и холодильных машин


Испаритель холодильной машины


Дизель-генератор


Он же внутри


Управление ДГУ


13й корпус


Вход в техзону 13го корпуса


Он же


Модуль №1 13го корпуса


Автозал модуля №1


Техкоридор 13го корпуса


Видеонаблюдалка 13го корпуса


Фреоновые блоки на крыше 13го корпуса


Они же


Вид с крыши 13го корпуса на 16й корпус


Техплощадка


Предостережение фрикам.


На этом наша экскурсия заканчивается, всем спасибо за внимание!

]]> http://telecombloger.ru/2555/feed 15 http://telecombloger.ru/2335 http://telecombloger.ru/2335#comments Tue, 30 Mar 2010 06:10:06 +0000 author http://telecombloger.ru/?p=2335
Предлагаю Вашему вниманию обзорную фото-экскурсию по Московскому Дата-Центру Linxdatacenter.



место расположения: Москва, ул.8 Марта, д.14
телефон:+7 (495) 797-9160
URL: http://www.linxdatacenter.com/ru
email: info@linxdatacenter.com





Система охлаждения




Система пожаротушения


Система энерго-распределения




5-й модуль


Батареи UPS


Модуль Дата Центра


Насосная станция системы охлаждения


Дизель-генератор


Внешний блок системы охлаждения




]]> http://telecombloger.ru/2335/feed 2 http://telecombloger.ru/2192 http://telecombloger.ru/2192#comments Mon, 15 Mar 2010 17:50:04 +0000 author http://telecombloger.ru/?p=2192



Создание прогноза погоды - один из наиболее трудоемких вычислительных процессов, так как за короткое время требуется обработать огромный массив данных. Справится с этим могут только суперкомпьютеры. В 2009 году ГВЦ Росгидромета совместно с Новосибирским и Хабаровским ЦГМС-РСМЦ ввели в эксплуатацию высокопроизводительные вычислительные комплексы для основных оперативных технологий и научно-исследовательских разработок. Один из этих комплексов, установленный в Москве и самый мощный из трех, нам удалось посмотреть.


Длинные коридоры ГУ “ГВЦ Росгидромета” – что-то покрашено в оранжевый цвет, как здесь, что-то в зеленый

Отголоски старых времен, когда зарплата платилась наличными

Нам сюда – это кабинеты руководящего состава на “палубе”
Вообще, здание ГУ “ГВЦ Росгидромета” раритетное. Оно было построено в начале 60-х для огромной М20, которую разрабатывали в Институте точной механики и вычислительной техники (ИТМиВТ) и СКБ-245. Трансформаторы на местной подстанции, кстати, с того же времени выживают. Дальше в машинных залах стояли М-220, “Весна”, далее серия БЭСМ (речь идет о моделях 4 и 6), линейки “Минсков” (начиная с модели 22, которая использовалась для обработки спутниковой информации), разные ЭС ЭВМ.
ГВЦ “Росгидромета” в то время котировался достаточно высоко, поскольку компьютеры попадали “с колес” в достаточно жесткие условия эксплуатации (т.н. “оперативный цикл”), что позволяло выявлять все их возможности до предела – разработчики были заинтересованы поставлять самые первые серийные образцы своего “железа”. А в 1975 году было принято решение переориентироваться на американские ЭВМ, поскольку отставание отечественной промышленности было очень существенным, а с выходом на рынок IBM все наши направления ЭВМ были “задушены” и ГВЦ должен был получить машины CDC 7600. Правда, по политическим мотивам контракт распался и был поставлен только один CDC 7200. Но с тех пор в ГВЦ появились машинные залы, построенные по западным технологиям, далее были машины ЕС 1060/1066. И в 1996 году появился Cray VMP8E с мощностью 2,4 Гигафлопс, который отработал ровно 10 лет – благополучно скончался в 2006 году.

Фрагменты комплекса SGI Altix 4700 в ГУ “ГВЦ Росгидромета”

Фальшпол с системой водяного охлаждения
После этого, в 2009 году, в ГВЦ Росгидромета был смонтирован вычислительный комплекс с пиковой производительностью 27 TFlops (27 триллионов операций с плавающей запятой в секунду), который объединяет 2 кластера. Первый - кластер SGI Altix Ice 4700 с пиковой производительностью 11 TFLOPS (1664 процессорных ядра Intel Itanium2 9140М, оперативная память 6,6 Tбайт) с узлом в 128 процессорных ядер с единой оперативной памятью 512 Гбайт (4 Гбайт на процессорное ядро). Второй - кластер из стандартных серверов SGI Altix Ice 8200 с пиковой производительностью 16 TFLOPS (1408 процессорных ядра Intel Xeon е5440, оперативная память 2,8 Тбайт) с узлом из 8 процессорных ядер и оперативной памятью 16 Гбайт (2 Гбайта на процессорное ядро).

Электрический щит – “наследство” от суперкомпьютера Cray, вполне работоспособен.

Зал большой, но старый – инженерные коммуникации прокладывали после того, как из него же “вырвали” “скончавшийся” Cray



Сбоку на одном из кластеров примостилась Wi-Fi-точка Cisco

Нагрузка у кластеров по времени не отличается – оба работают 24 часа в сутки, однако тип этой загрузки различен. К примеру, Ice 4700 уже начинает выпускать оперативные прогнозы, работая с адаптированными для его мощности математическими моделями, в то время как Ice 8200 пока в большей степени загружен научными проектами – его возможности до конца еще не раскрыты. Но ресурсов Ice 4700 для оперативной работы уже недостаточно, поэтому на Ice 8200 будет мигрировать часть оперативной технологии. Интересно, что стойку с Ice 8200 во многом собрали из “остатков” контракта – дело в том, что в тендерном задании имелись в виду логические серверы, а сотрудники интегратора поняли, что речь идет о физических.









Комплекс G-Scale 4700 и его фрагменты в Новосибирском ЦГМС-РСМЦ



Комплекс G-Scale 4700 и его фрагменты в Хабаровском ЦГМС-РСМЦ



В машинных залах стандартная температура – 21 градус по Цельсию

Вычислительные комплексы Крафтвэй G-Scale S-4700 (104 процессорных ядра Intel Itanium2 9140М, оперативная память 208 Гбайт) в РСМЦ в г.г. Новосибирск и Хабаровск идентичны, имеют пиковую производительность 660 GFLOPS (660 миллиардов операций с плавающей запятой).

Большинство прогнозов в прогностических центрах готовят к 0 и 12 часам по Гринвичу, то есть два раза в сутки. Хотя, спецпотребители могут заказать себе и более частый прогноз по какому-то определенному географически значимому району. Росгидромет в настоящий момент дает уверенный прогноз на неделю вперед – с развитием суперкомпьютеров это временное “окно” возрастет вдвое. Оценка точности происходит не по одному, а по системе взаимосвязанных критериев, интегральная оценка, которую используют для простоты понимания – доля от 100%й вероятности. Разумеется, на каждое время она различна. На сутки вперед Росгидромет выдает прогноз с вероятностью 97-98%, на двое – примерно 92% и т.д. Отметим, что увеличение точности на ближайшие сутки на сотые доли процентов достигается очень большим трудом. С прогнозами на более длительное время ситуация несколько иная – сейчас точность на пятые сутки примерно аналогична той, что некоторое время назад была на трое суток.

С внедрением суперкомпьютеров увеличилась и детализация по площади. Мезомасштабные модели ранее считались на квадрате площади с горизонтальным разрешением 150 на 150 км, сейчас уже 7 на 7 км, а тестовые варианты краткосрочных прогнозов доступны на площади 3х3 км: именно для этого и нужны производительные кластеры, поскольку это не количественный, а качественный скачок в той физике, которая в них заложена.



Прообраз модели Ice 4700 – к сожалению, эта “железка” уже никому не нужна

В отдельном, “старом” зале находится много разнообразного оборудования. Часть систем – это те небольшие кластеры мощностью до 100 Гигафлопс, которые приобретались в период с 2006 по 2009 гг. для поддержания работы своих математических моделей. Некоторое “железо” осталось от тестовых стендов, которые собирались производителями оборудования для проверки на соответствие решаемым задачам ГВЦ Росгидромета – некоторые из них после подведения итогов тендера на поставку суперкомпьютера производители даже не стали забирать, поскольку техника уже устарела.



Рабочая лошадка – кластер на базе процессоров Itanium



Сбоку от кластера – блок управления, который используется для мониторинга или работы “в горячем” режиме.

Вытянутая стойка с юнитами - это первый кластер из четырех серверов, который был приобретен ГВЦ Росгидромета на базе процессоров Itanium. Это было в 2003 году и он работает до сих пор – решение было дополнено несколькими серверами на базе процессоров Xeon и нагружено для выполнения оперативных задач по “старым” математическим моделям. Кроме того, на будущее, как только на суперкомпьютерах Silicon Graphics полностью адаптируют новые модели расчета прогнозов погоды, старые кластеры нагрузят долгосрочными научно-исследовательскими проектами и вспомогательными задачами, на которые жалко отвлекать время производительного “железа”. Все оборудование включено в локальную сеть – для того, чтобы дать ему задачу нет никакой необходимости приходить с CD или флэшкой.



Отдельные серваки для решения оперативных задач – все под нагрузкой



Остатки Cray – железка так и не открылась, уж сколько лет в заклиненном состоянии



Один из тестовых кластеров

Отдельные серверы, нагруженные выполнением отдельных прикладных задач – у них локальное управление, как единый кластер они функционировать не могут. Прогностические модели здесь не просчитываются, единственное, что может быть запущено - системы интерпретации.



Операторский зал ГВЦ Росгидромета



Рабочее помещение разделено на отдельные секторы – рабочие места разделяются по направлениям и используемым технологиям



Слева от компьютера – раритетные системы связи

Операторский зал ГВЦ Росгидромета, в смену здесь работает четыре человека (всего в ГУ ГВЦ Росгидромета 95 сотрудников), для “присмотра” за автоматизированными системами, которые контролируются в режиме online, этого вполне хватает.



Типичное рабочее место оператора Minimax – они обеспечивают прямую связь операторского зала с телекоммуникационным центром Росгидромета



На дисплеях – прогноз погоды, а вообще прогностическая ситуация поставляется в виде цифровых полей, на основании которых можно построить цифровые карты погоды на период от суток до двух недель вперед



Наследство со старых времен

Здесь множество рабочих мест, на которых готовится необходимая для Росгидромета продукция по прогнозам погоды – возможно получать статистические данные и изображения, накладывать их друг на друга. Дело в том, что часть региональных прогностических центров на местах не занимается интерпретацией данных вообще, а получают готовые карты погоды для своей местности. В рамках ИТ-модернизации Федеральной службы по гидрометеорологии и мониторингу окружающей среды, подобное оборудование находится практически во всех 93 прогностических центрах, которые находятся на территории РФ.



Система охлаждения в подвале



Щит управления



Резервуары для воды

Система охлаждения построена без единой точки отказа – любой элемент резервируется по принципу N+1. Она работает в двух режимах – или с помощью системы водяного охлаждения, второй вариант – забор холодного воздуха извне, это хорошо помогает экономить электричество зимой. Но это в теории – в последнее время зимы были настолько теплыми, что использовать этот режим особой необходимости не было. В цистернах хранится 14 тонн холодной воды.



Новые UPS

От бросков напряжения суперкомпьютеры защищают два UPS (держат весь комплекс в течение 15 минут) – первый остался от старого Cray и новый, поставленный вместе с решением Silicon Graphics (две системы по 400 Кватт). Так вот на старом есть замечательный распределительный щит, который держит нагрузку и перебрасывает напряжение со стационарных вводов на резервные батареи. Его подключили, все заработало и… в один прекрасный день все выключилось. Оказалось, что подвел… светодиод за пару долларов, который показывает индикацию какая линия нагружена в настоящий момент. Лампочка из-за скачка напряжения буквально взорвалась и выключила систему. Многомиллионный комплекс выключился из-за мелочи.



Злополучный распределительный щит

Резервного генератора не предусмотрено по объективным причинам: установить такой объект в нескольких сотнях метров от здания Правительства РФ (т.н. “белый дом”) практически нереально. Кроме того, после вывода из района Пресни множества заводов проблем с электропитанием не существует – двух независимых вводов вполне хватает, а никаких скачков из-за повышенного потребления уже несколько лет подряд нет (а раньше они были в районе 7 утра). Кроме того, если по какой-то причине выйдет из строя питание для суперкомпьютера в столице, работать с данными смогут центры в Новосибирске и Хабаровске, а также иностранные вычислительные центры – обмен информацией все равно не прекратиться.

источник: NAG.ru

]]> http://telecombloger.ru/2192/feed 5 http://telecombloger.ru/2229 http://telecombloger.ru/2229#comments Thu, 11 Mar 2010 19:05:27 +0000 author http://telecombloger.ru/?p=2229
Предлагаю Вашему вниманию рассказ о том, как строился седьмой ЦОД компании Яндекс на более чем 6000 серверов, с общей мощностью в 4МВт.

Количество наших пользователей и объемы информации растут, и на прошлой неделе мы запустили новый, седьмой по счету, датацентр. Наш новый датацентр расположен в Мытищах, имеет подведенную мощность 4МВт, и в нем можно разместить более 6000 серверов. В нем 4 очереди, каждая по 1МВт. Сейчас готовы к работе две, а еще две строятся.


Датацентр начинается с выбора помещения, где есть достаточно электроэнергии, куда можно провести оптику для связи и договориться о долгосрочной аренде помещения. После начинается ремонт помещения.

Тут видно, что на полу стоят ножки, на которые впоследствии ляжет фальшпол. А 60 см под полом – свободно для продува воздуха от кондиционеров. Справа уже видно помещение, где фальшпол уложен на ножки.

После строительной готовности помещения расставляются кондиционеры, ставятся стойки, проводится электричество и СКС, центральный ряд плиток фальшпола меняется на решетки, из которых будет дуть холодный воздух из кондиционеров в холодный коридор. Холодный воздух из этого воздушного коридора будет захватываться вентиляторами серверов, прогоняться сквозь них и охлаждать. В стойки расставляются свитчи и KVM.

Все знают, что у нас регулярно бывают перебои с электричеством, а сервисы у нас должны работать круглосуточно. Поэтому мы обеспечиваем датацентры ИБП (источниками бесперебойного питания). Так что при отключении внешнего питания наш датацентр сможет проработать на аккумуляторах небольшое время. Но электричество нередко отключают и на много часов. Для таких случаев каждый наш датацентр оборудуется и дизель-генератором. Дизель-генератор работает на солярке и может обеспечивать питанием датацентр продолжительное время (если не забывать подвозить топливо). Обеспечением работы дизель-генераторов, кондиционеров, электричества занимаются инженеры Службы Главного Инженера департамента по общим вопросам.

Чтобы у серверов была сеть, им нужно ее обеспечить. К каждому датацентру мы прокладываем минимум 2 оптических канала, и, конечно, все наши датацентры подсоединены к нашему московскому оптическому кольцу. Это делается для защиты от экскаваторов, которые почему-то копают именно в тех местах, где лежит оптоволокно. В самих же очередях сеть приходит вот в такие свитчи, только шасси от которых весит 55кг, не считая внутренностей. После сеть подводится к свитчам, которые стоят в каждой стойке, а от них уже разводится по серверам. Чтобы было проще коммутировать и отслеживать, что и куда подключено, используются патч-корды разного цвета.

Казалось бы, пора ставить сервера? Не сразу. Прежде, чем сервер будет установлен в стойку, его нужно принять, распаковать из коробки, разобрать, чтобы инвентаризовать память, жесткие диски и сам корпус, затем снова собрать, чтобы установить в стойку и подключить, а все действия аккуратно провести по складской программе, чтобы мы знали, где и что у нас стоит. Аналогичные действия производятся и со свитчами, с KVM’ами и другим оборудованием, которое используется в датацентре. Все эти действия проводятся на складе, который есть в любом датацентре. Отвечают за это инжереры датацентра из инфраструктурного отдела департамента эксплуатации. Это очень ответственные люди, у которых всегда обязан быть порядок в хозяйстве. А все полки подписаны. Даже те, которые непонятны.

Вот теперь можно ставить сервера. После их установки на них устанавливается операционная система и необходимое ПО в полуавтоматическом режиме, чем обычно занимаются дежурные администраторы. После чего сервера передаются в эксплуатацию системным администраторам. Сисадмины устанавливают то, чего не хватает и окончательно настраивают сервера перед вводом их в продакшн. В окончательную настройку входит также настройка мониторинга, который будет оповещать нас о проблемах на сервере. За мониторингом круглосуточно следят дежурные администраторы, которые оповещают ответственных админов о проблемах с их серверами и являются руками админов в случаях, когда надо поменять винчестер, подключить KVM или перегрузить намертво зависший сервер.



А вот такой охранник стоит на входе в наш ДЦ:


Ефим Мирочник Источник

]]> http://telecombloger.ru/2229/feed 2