Как Оверсан-Меркурий решил построить Дата-Центр и построил его

Войти в IT, или как мы решили построить дата-центр и построили его.

Часть первая

При всем сегодняшнем обилии предлагаемых товаров и услуг, казалось бы, найти что-то достойное, полностью соответствующее потребностям, должно быть легко. Но на практике даже в «богатой» Москве ситуация отнюдь не такая радужная. В частности, в области дата-центров.

Список требований к дата-центру у средних и крупных клиентов часто занимает несколько страниц. Но в силу разных факторов удовлетворить их полностью практически никогда не получается. Чаще всего приходится идти на компромиссы, ужиматься и ухищряться.

Наша компания занимается предоставлением услуг дата-центра и различных IT-сервисов, от проектирования кабельных систем до организации крупных закупок оборудования. Неотъемлемой частью бизнес-модели является наличие надежного дата-центра, собственного или арендованного. Основным театром наших действий выступает Москва, и здесь, казалось бы, недостатка в хороших ЦОДах быть не должно. Однако в реальности дела обстоят несколько иначе.

Мы пользовались услугами нескольких коммерческих ЦОДов, и нигде не могли получить необходимого уровня обслуживания. В одном дата-центре заявленная «железно» пропускная способность каналов скачет чуть ли не в зависимости от температуры воздуха за окном. Во втором стойки охлаждаются бытовыми напольными кондиционерами (душераздирающее зрелище). В третьем для того, чтобы внести или вынести оборудование, требуется подписать пачку бумаг и пробежать несколько километров между кабинетами, ухитрившись попасть в хаотичный рабочий график ответственных лиц. При этом еще и требуется быть вежливым с последней милей в лице сонного охранника на входе, обожающего демонстрировать свою крохотную власть над ситуацией, если вдруг ему инженеры чем-то не приглянутся.

И в таких, прямо сказать, неблагоприятных условиях мы должны выполнять обязательства уже перед собственными клиентами. А им и дела нет до того, что где-то нетрезвый энергетик перепутал рубильники, а эксплуатационники проморгали плановую замену батарей в заслуженном UPS выпуска прошлого века. И это правильно – у клиента не должна болеть голова по поводу условий работы его дорогостоящего оборудования или непрерывности предоставления сервиса — для этого он и обратился к нам.

Решение, позволяющее одним махом, пусть и очень недешевым, решить все проблемы, лежит на поверхности. Это, конечно, строительство собственного дата-центра. Отважиться на этот важный шаг довольно сложно, и дело отнюдь не только в деньгах. С первого же момента возникает масса самых серьезных вопросов, требующих однозначного выбора из нескольких вариантов. Строить самим или привлечь подрядчика? На какой уровень надежности рассчитывать? Строить только для себя, или планировать продавать площади и мощности сторонним клиентам? Покупать оборудование напрямую у вендора или через дистрибьютора? Какие выбрать стойки, фальшпол, освещение, вентиляцию, систему мониторинга, систему резервного питания и пожаротушения? Какой потребуется персонал? И, наконец, сколько на всю эту роскошь нужно денег?

Сейчас, когда мы уже закончили строительство, многие вопросы и проблемы кажутся банальными, а ответы и решения – очевидными. Но, не набив шишек, сложно получить полное понимание архитектуры современного дата-центра, а это именно то, к чему мы стремились. Построить достойный современный ДЦ только собственными силами практически невозможно, если, конечно, вы не компания, профессионально занятая проектированием и строительством ДЦ. В любом случае на каком-то этапе придется привлекать профессионалов, главное только решить, в какой форме. Можно нанять сотрудника, хорошо знакомого со спецификой, и поручить ему организацию процесса. В этом случае, если он, конечно, не гений документирования и педант до мозга костей, есть риск оказаться намертво привязанным к этому человеку — случись что, без него не разобраться. К тому же, люди, способные организовать строительство современного дата-центра, ценятся буквально на вес золота и пересчитать их можно по пальцам одной руки. Поэтому такую схему лучше заранее отмести как почти невыполнимую.

Если талантливого организатора не найти, можно привлечь компанию-подрядчика. Серьезная контора с несколькими удачно завершенными проектами за спиной наверняка озвучит близкие к реальным сроки и цены, возьмет все вопросы на себя. Правда, заплатить за это придется процентов на тридцать больше. И нужно быть морально готовым к тому, что примерно половину из того, что будет сделано, прямо в процессе так или иначе придется переделывать. Хотя бы из-за разного понимания, казалось бы, простых и очевидных вещей. Ну и отличия в менталитете заказчика и исполнителя, особенно если к строительным работам в основном привлекаются «мастера широкого профиля» из южных республик, могут дать о себе знать. Еще одним фактором в пользу отказа от этого варианта может послужить тот факт, что ваш собственный персонал, способный взять на себя некоторые из направлений, возможно, будет простаивать.

Проанализировав все возможные варианты, мы решили остановиться на гибридном решении. Чтобы успешно воплотить его в жизнь, нужно попытаться максимально подробно просчитать баланс и выбрать направления, на которых нужно будет привлекать подрядную организацию, и те, где можно справиться собственными силами. Этот вариант представляется оптимальным.

Там, где этом действительно необходимо, можно, сделав над собой усилие, отдать бразды правления в руки подрядчика. На остальных фронтах работ пригодятся уже имеющиеся людские ресурсы, способные в дальнейшем составить костяк персонала будущего дата-центра. Подобное решение выглядит оптимальным, и мы решили придерживаться его.

Сейчас, по прошествии года с начала строительства, мы решили рассказать о том, как строили дата-центр, какие при этом обнаружили подводные камни, и как избежали столкновения с ними. Мы накопили немало нетривиальных проблем и получили неоценимый опыт взаимодействия с вендорами. Обо всем этом мы планируем рассказать в серии статей, появляющихся в этом блоге. Следите за Хабром!

Часть вторая. Подготовка

Думаю, никто не станет спорить с тем, что для любого промышленного объекта (а дата-центр к таковым безусловно относится) площадка — главная составляющая. Это даже не фактор успеха, хорошая площадка — это то, без чего просто невозможно построить что-либо достойное. Но разглядеть ее с первого взгляда чаще всего просто невозможно. Будущий светлый и технологичный дата-центр может скрываться за сегодняшними мрачными стенами, затхлыми подземными коридорами или брошенным на середине работы фундаментом. Его нужно только разглядеть, и мы считаем, что нам это удалось. Далее — краткий рассказ о первых днях строительства дата-центра, дополненный фотографиями.

Для нашего дата-центра мы присмотрели помещение в крепком институтском здании постройки 60х-70х годов. В ту эпоху расцвета науки в нашей стране подобные здания строили на совесть, что позволяло рассчитывать на определенный запас прочности. И, конечно же, свою роль сыграла близость к трансформаторным подстанциям и физическое наличие энерговводов — значимость этого фактора просто нельзя переоценить. Но вернемся к зданию. Помимо уже перечисленных положительных свойств, у него было и еще одно преимущество — наличие места под установку внешних чиллеров. Дело в том, что устанавливать их необходимо как можно ближе к дата-центру, иначе объем работ по прокладке системы труб для контура теплоотведения серьезно удорожит проект.

Очевидно, совокупность подобных качеств просто не оставляла иных вариантов. Но не стоит думать, что в лице площадки мы нашли золотую жилу или бьющий нефтью фонтан — состояние внутренних помещений, коммуникаций и подвала оставляло желать лучшего. Для того, чтобы сразу построить все на совесть, потребовалось серьезно подготовить здание еще до начала работ по проектированию самого дата-центра. Чтобы пол мог выдержать серьезную нагрузку, скрепя сердце, мы избавились от подвала. Он был полностью залит бетоном, что обеспечило серьезный запас прочности в том, что касается нагрузки на квадратный метр площади. Впрочем, этот параметр зависит прежде всего от фальшпола и не может быть выше определенных величин чисто физически. Стены и перекрытия пришлось очистить от многолетних наслоений красок и побелки, выправить/выпрямить и покрыть заново. Как бы ни был визуально приемлем пол в помещении, скорее всего, придется заливать новый — точность и прочность установки фальшпола связаны с этим напрямую и пренебрегать требованиями просто нельзя. То же самое касается окон, дверей, коммуникаций и всех элементов, даже таких на первый взгляд неочевидных, как санузел. Окон должно быть немного — все же в дата-центре освещение прежде всего искусственное. но и пожарные требования нужно учесть, да и просто конфигурацию помещения. Дверные проемы необходимо укрепить — стальные двери много весят, и малейший перекос недопустим — открываться они должны буквально легким движением руки. Имеющиеся в здании водопровод и центральное отопление вообще лучше убрать куда подальше — чем меньше воды рядом с оборудованием, тем лучше. К тому же, на этот счет также имеются регламенты и требования стандартов, в каждой стране разные.

При проектировании и ведении работ мы ориентировались на стандарт TIA-942, учитывая также требования ASHRAE и региональных регулирующих органов. Все-таки, чем больше рекомендаций соблюдено — тем проще будет работать.

Подробности работ мы приоткроем в следующих постах, а сейчас предлагаем посмотреть на первые этапы работы над площадкой, ведь фотографии в этом случае говорят сами за себя. Некоторые снимки сделаны прямо в ключе момента, на мобильный телефон.

Самое красивое фото — там, где зеленеет травка, скоро будут стоять огромные чиллеры. Полоса деревьев маскирует чиллерную и снижает шум.

И сразу же темные коридоры — наследие эпохи.

Обратите внимание — прелестные образчики кафеля и бутылочного стекла второй половины прошлого века.

«Боль моя — перекрытия…»

Местами в стенах и потолке зияли дыры — там раньше были проложены коммуникации, от которых предстояло избавиться.

Часть стен пришлось снести. Главное — сначала как следует изучить возможные последствия.

Работы только начались, а помещения уже не выглядят так жутко. Глаза боятся — а руки делают.

Потянулись трудовые будни.

Немного солнечного света еще никому не повредило.

Обновлены перекрытия, стены и пол. Как меняется картина!

После обработки стены стали такими. Цветовое решение — промежуточное, позже было решено от него отказаться. Помните о рекомендуемом уровне освещенности помещений! Светлая окраска стен способствует экономии электричества. На некоторых фото видны обновленные перекрытия.

Помещение для главной гермозоны в процессе подготовки.

Подготовка закончена — начался подвоз спецматериалов.

Часть третья. Строительство

Мы продолжаем рассказывать о том, как дата-центр строили-строили и наконец построили. В этом посте — фотографии со среднего этапа строительства, когда дата-центр начинает оформляться. К сожалению, фотографий не так много, как могло бы быть — как обычно, в самые напряженные моменты об этом даже не вспоминаешь. Но, тем приятнее контраст между тем, как было, и как стало. В дальнейших постах мы уже не станем публиковать столько фото и перейдем к самому интересному — рассказам непосредственных участников. Приятного просмотра!

Строительство главной гермозоны: стены подготовлены, очередь за сэндвич-панелями.

Установка панелей и фальшпола ведется параллельно.

Уровень пола в помещениях еще отличается. К финалу строительства входная зона также обретет собственную систему фальшпола.

А тем временем снаружи: входная дверь отвечает всем рекомендациям, скромная и незаметная. Позже рядом с ней появится подсвеченный датчик для proxy-карт.

Рядом со входом залит фундамент чиллерной.

Но выглядит это все пока сумбурно.

Между этапами работ всегда производится «пылесосинг» помещения. В процессе строительства дата-центра приказали долго жить несколько промышленных пылесосов. Нам их не жалко — отсутствие пыли в ДЦ дорогого стоит.

Лазерный уровень светит своими инопланетными глазами.

Это часть очень важного и точного процесса по установке фальшпола. Необходимо соблюсти точность в доли миллиметра на всей немалой площади в 500 «квадратов». К бетонному основанию каждая опора крепится прочными анкерами. В итоге прочность фальшпола позволяет ему выдерживать нагрузку в 1200 кг на квадратный метр.

«Тортик» из перфорированных плиток фальшпола. Они укладываются в «холодные» коридоры и сквозь отверстия к стойкам подается охлажденный воздух.

Источники:

Часть I
Часть II
Часть III