Создание ЦОД в России: типичные ошибки

Вопреки распространенному мнению, начинать работу над концепцией следует не с определения сроков и бюджетов, а с формулировки бизнес-целей. Важно, чтобы были приняты во внимание (и по возможности соблюдены) требования и ожидания всех заинтересованных подразделений. К их числу относятся: планируемый график и этапность поставок ИКТ-оборудования, ограничения по безопасности, а также рекомендации, касающиеся требуемых мощностей и др. Для выполнения этой работы формируется проектная команда, куда помимо топ-менеджеров заказчика (обязательное условие!), должны войти финансовый директор и представители бизнес-единиц, заинтересованных в использовании ресурсов будущего ЦОД, а также специалисты службы безопасности, управления недвижимостью, ИТ-департамента, отдела эксплуатации инженерных систем, главный энергетик. Но в отечественной практике довольно часто бывает, что кого-то из них упускают из виду либо недооценивают степень влияния на проект. И хорошо, если он/они имеет/ют возможность внести необходимые коррективы в ТЗ (а это как минимум отсрочка начала проекта) еще до проведения тендеров.

Опыт показывает, что наиболее частыми причинами провала проектов создания дата-центров являются привязка проекта к абстрактной дате или бюджету, передача управления команде, не имеющей соответствующих навыков (участие в строительстве бизнес-центров или простых серверных не позволяет понять специфику требований к качественному дата-центру). А также фрагментарность при определении ИКТ-потребностей бизнеса или отельных подразделений, наблюдательная роль топ-менеджмента. Для того чтобы избежать подобных ошибок, в международной практике принято создавать административное ядро проекта, функции которого нередко выполняют опытные консультанты, не связанные финансовыми или юридическими обязательствами с кем-либо из потенциальных поставщиков и подрядчиков.

Проектная команда должна четко понимать, что именно ожидает получить бизнес к моменту запуска ЦОД

Проектная команда должна четко понимать, что именно ожидает получить бизнес к моменту запуска ЦОД. Это поможет правильно расставить приоритеты и обоснованно подойти как к выбору площадки, так и к подбору инженерно-строительных решений. На этой же стадии проекта (по сути это еще только предпроект) проводится изучение текущей ИТ- и бизнес-ситуации заказчика: выявляются скрытые резервы (например, нерационально используемые программно-аппаратные комплексы, площади серверной или прилегающих к помещению территорий, фиксируются неучтенные электрические мощности). А также оценивается нагрузочная способность и наполнение действующих стоек, изучаются уже запущенные ИТ- и бизнес-инициативы и т.д.

Такой аудит, кстати, полезен не только в целях строительства эффективного ЦОД – его регулярное проведение позволит своевременно выявить риски, устранить непродуктивные расходы на ИТ, скорректировать планы по развитию бизнеса и избежать большинства нештатных ситуаций. В западной практике к проведению подобного систематического обследования обычно привлекаются независимые аудиторы. И хотя в России тоже появляются такие команды, большинство заказчиков пока считает, что это дешевле сделать своими силами или за счет ресурсов постоянного партнера-интегратора. Однако последний может хорошо разбираться в установленных у заказчика программно-аппаратных комплексах, но не иметь достаточного опыта и квалификации в вопросах строительства и оснащения дата-центров.

Эскизный проект

Грамотно разработанная бизнес-концепция будущего ЦОД дает основания для создания эскизного плана дата-центра – единого комплекса решений, предназначенного для обеспечения заданного режима эксплуатации ЦОД. К типичным ошибкам проектирования можно отнести следующие. Планирование инфраструктурных решений без учета принципа «горячих» и «холодных» коридоров. Игнорирование ряда технологических, конструктивных и эргономических нюансов (необходимости наличия тамбур-шлюза, пандуса, низких дверей, высоких потолков и т.д.). Нерациональная планировка подсобных помещений для персонала. Неправильное определение габаритных параметров стоек. Недостаточное внимание к вопросам гидроизоляции ЦОД. Наличие одного кабельного ввода в здание, объединение кабелей связи от двух или более трасс. Ограничения при физическом размещении оборудования инженерных систем, создаваемых «на вырост». Необоснованное отступление от корпоративных стандартов в пользу более дешевых, но не известных персоналу заказчика решений. А также необоснованное завышение требований в расчете на маловероятную установку большого числа оборудования высокой плотности.

Чтобы этого избежать, к моменту разработки эскизного проекта должно быть известно и документально зафиксировано: назначение ЦОД (основной или резервный, корпоративный или аутсорсинговый); как именно планируется заполнять серверный зал ИКТ-оборудованием (предполагаемый график поставок, тип систем, их энергоемкость, габариты, варианты конфигураций – вплоть до указания электрических вилок и способов подачи воздуха). А кроме того: какой уровень отказоустойчивости ЦОД должен быть обеспечен (свод параметров, соответствующий категории I, II, III или IV американского стандарта TIA 942, на который мы вынуждены ориентироваться за неимением актуального отечественного отраслевого стандарта). Этой информации, как правило, достаточно для того, чтобы квалифицированные проектировщики могли предложить будущему владельцу ЦОД два-три варианта организации дата-центра. Основное внимание обычно уделяется проработке моделей климатических систем, ведь для разных по энергоемкости типов стоек нужны абсолютно разные климатические системы. К примеру, если заказчик планирует использовать и стандартно нагруженные стойки и системы высокой плотности, то это должно быть обязательно учтено либо в дизайне серверного зала, либо в дизайне выделенных зон, либо как-то еще – все зависит от числа и сроков ввода каждого из типов стоек. В международной практике при выполнении данного вида работ предпочтение отдается узкоспециализированным командам, хорошо знающим специфику этой предметной области и владеющим актуальной информацией о соответствующих решениях и разработках. В России такие компании пока редкость, но они есть.

Принципиальное отличие эскизного проекта от рабочего в том, что в нем важны не столько типы и марки инженерного оборудования, сколько оптимальное расположение стоек, требования к габаритам серверного зала и служебных помещений, варианты дизайна и принципов резервирования элементов климатических систем, а также целый ряд других параметров, которые позволят облегчить выбор конкретных решений. Они должны быть чётко отражены, т.к. именно эти критерии войдут в ТЗ, на основе которого будет проводиться тендер среди поставщиков и исполнителей проекта.

Важный момент: если эскизный проект выполнен профессионально, то заказчик получает первое представление о бюджете проекта с погрешностью не более 10-15%. Это позволяет ему оценить свои возможности и при необходимости внести коррективы в ТЗ или в исходные бизнес-цели. При этом заказчик должен понимать, что в проектах создания дата-центров понятия «немного сэкономить на качестве» нет и не может быть в принципе. Если для будущего ЦОД критично обеспечение непрерывности работы ИКТ-систем, то все строительные и инженерные компоненты должны быть выполнены в строгом соответствии с требованиями категории TIER III. А это минимум 25-35 тыс. долл. в расчете на один квадратный метр. Капиталовложения в «зеленый» проект будут и того выше, хотя экономический эффект на этапе эксплуатации окупит эти затраты сторицей. Пожертвовав чем-то в проекте, вы автоматически получаете TIER II с соответствующими допусками по времени простоя.

На чем здесь можно и нужно экономить? Прежде всего все на той же проработке эскизного плана, который в руках профессионала становится элементом бизнес-кейса, позволяет определить необходимую и достаточную степень сложности и энергоемкости климатических систем. Да и времени на корректировку уходит несравненно меньше, чем на многократный start-up проекта. Приведем пример непрофессионализма, с которым экспертам приходится сталкиваться регулярно. При выборе генподрядчика проекта создания большого 7-мегаваттного дата-центра заказчик сделал выбор в пользу своего давнего партнера, хорошо известного на рынке поставщика сложных ИКТ-решений. Представители этой компании разработали эскизный проект, в котором, в частности, было предложено использовать для охлаждения серверных помещений фреоновые системы. Для небольших помещений это решение действительно может быть эффективно, но в данном случае его использование и экономически, и технологически абсолютно неоправданно (низкий КПД, высокая стоимость медной обвязки, несоответствие типу площадки, высокие энергопотребление и эксплуатационные расходы). Куда дешевле и продуктивнее была бы система кондиционирования с использованием воды с внутренним резервированием всех элементов, специально предназначенных для дата-центров такого типа. Еще одной грубой ошибкой проектировщиков стал предложенный вариант организации энергоснабжения – он вполне хорош для бизнес-центра класса А, но категорически непригоден для использования в условиях дата-центра. Хотя бы потому что и инженерные системы, и вычислительная техника запитываются от одного ресурса. Это чревато выходом из строя чувствительных ИКТ-систем при переключении нагрузки между дублирующими элементами климатической системы. И зачем надо резервировать источники бесперебойного питания по схеме 2N (уровень надежности TIER IV), если в проекте есть целый ряд «экономичных» решений с уровнем резервирования максимум TIER II. А это значит, что реальный уровень доступности сервисов будущего дата-центра тоже будет соответствовать TIER II. То есть потенциал ИБП будет использован только частично.

При сопоставлении вариантов инженерных систем, предлагаемых вендорами и поставщиками, бывает весьма полезно выделить время и средства для поездки лиц, принимающих решение по проекту, в действующие дата-центры Европы и США С целью посмотреть предлагаемое вендором инженерное оборудование в условиях эксплуатации. Это позволит получить объективную и полную информацию, что поможет рационально распорядиться бюджетом проекта. Помимо этого, представитель проектного офиса заказчика увидит, как должен выглядеть современный дата-центр, и начинает более четко понимать, что именно он хочет получить в результате работы строителей. Выход на оптимальное соотношение цены и качества и есть ключевой фактор экономии. В России такие инициативы с пониманием и готовностью поддерживают как поставщики комплексных инженерных решений (APC, Emersson, Rittal), так и компании, специализирующиеся на разработке и производстве отдельных инженерных систем (например RC Group, Jonson Control).

Рабочее проектирование и бюджетирование

Рабочий проект станет тем документом, который будут использовать подрядчики на этапе строительства, оснащения и монтажа. При его создании важно избежать таких ошибок, как несоответствие параметров здания и прилегающей территории выбранному уровню надежности дата-центра, нерациональная планировка серверного зала, нарушение жестких требований и ограничений в отношении числа и эксплуатационных характеристик требуемых инженерных систем, заданных в эскизном проекте.

Именно на этой стадии заказчик имеет возможность с достаточно высокой долей точности (от 5 до 15%) оценить предстоящие ему затраты. Все начинается с подбора площадки и оценки ее с точки зрения как соответствия параметрам эскизного плана, так и ресурсоемкости. Принимается во внимание общее состояние здания и прилегающих территорий, юридические аспекты права владения зданием и прилегающей территорией, наличие каналов связи, состояние помещений выше и ниже серверной (если предполагается развернуть дата-центр на этаже уже существующего здания), наличие и состояние подъездных путей, доступность энергетических мощностей и т.д. и т.п. От того, насколько удачно будет сделан этот выбор, зависит ресурсоемкость процесса получения мощностей, объем строительных работ, число необходимых строительных и отделочных материалов, а значит и итоговый бюджет проекта.

Рабочий проект станет тем документом, который будут использовать подрядчики на этапе строительства, оснащения и монтажа

Стоит заметить, что сегодня в Москве такой выбор сделать легче, чем буквально полгода назад, когда считалось, что в столице практически полностью исчерпаны энергоресурсы. Специалистами выявлено несколько площадок, на которых в достаточно короткие сроки можно развернуть дата-центр уровня TIER III. Причем проблема с финансированием этих работ тоже решаема, так как есть компании, готовые даже в нынешней экономической ситуации инвестировать в подобные проекты при условии грамотно составленных технико-экономического обоснования и бизнес-плана. Правда, в регионах все иначе. Проблемы с магистральными линиями связи по-прежнему являются одним из основных сдерживающих факторов при развитии региональных ЦОД. Вопрос местного монополизма, в области как коммуникаций, так и доступа к ресурсам, никуда не делся и может решаться только путем ухудшения бюджетных показателей проекта.

Тендер. Строительство. Запуск ЦОД

На данной стадии проекта существенно усиливается влияние человеческого фактора на конечный результат. Поэтому большое значение приобретает квалифицированное административное сопровождение всех разделов. В идеале осуществлять его должны независимые эксперты, о которых шла речь выше. Это даст возможность свести к минимуму конфликты, изначально заложенные в проекте. К их числу относятся: соблазн сократить количество подрядчиков, сохраняя финансовую прозрачность проектных работ и минимизируя стоимость; противостояние потенциальных исполнителей работ (компаний, предлагающих лучшие условия поставки, и постоянных партнеров, обеспечивающих инсталляцию и поддержку). А также сложности взаимодействия внутренних подразделений заказчика (ИТ-служба – энергетики; строители – эксплуатация). Эта задача решается, во-первых, путем тщательной подготовки тендера. Во-вторых, благодаря продуманному графику вовлечения в проект каждого подрядчика. В-третьих, за счет своевременного решения организационных и административных вопросов как на уровне урегулирования взаимоотношений между подрядчиками, так и на уровне защиты проектных интересов заказчика во внешних инстанциях.

Практика показывает, что присвоение статуса управляющего звена независимому эксперту – наиболее оправданный шаг, так как все остальные участники проекта (строительные команды, поставщики инженерного оборудования, системные интеграторы) равны в части влияния на предпочтения заказчика. Что касается планирования графика работ и поставок, то важно помнить о том, что, во-первых, не стоит начало строительных работ планировать на конец декабря, основные поставки оборудования — на август, а сдачу объекта — на период массовых каникул и отпусков. Если этим правилом пренебречь, может возникнуть серьезный риск срыва поставок, простоев и других неприятностей. Второе: по ходу проекта состав подрядчиков, как правило, расширяется, поэтому надо быть заранее готовым к корректировке своих действий без ущерба для основного графика работ и их качества. Третье: часть работ, включенных в проект, может выполняться параллельно, однако некоторые работы предполагают участие только одной рабочей группы. Это касается в первую очередь строителей («грязные» работы) и электриков (опасные работы). Четвертое: нужно помнить о том, что к реализации проекта и промежуточной оценке его результатов желательно привлекать производителей. Пятое: надо очень четко планировать график расчетов с подрядчиками, чтобы, с одной стороны, обеспечить им соответствующую мотивацию, а с другой — не дать повода раньше времени выйти из проекта, переключившись на новые заказы. Есть немало примеров, когда подрядчику выгоднее потерять часть денег при досрочном выходе из проекта, так как новые авансы окупают подобные «неудобства».

Если все организовано правильно, то к моменту начала поставок ИКТ-техники в помещении не будет лишних людей и предметов, стены будут покрыты специальной краской, а не веселенькими пластиковыми панелями, фальшпол будет надежно укреплен на нужной высоте, и обработанное обеспыливающим составом подпольное пространство будет использоваться для охлаждения стоек, а не кабельной разводки (это нередко можно наблюдать в отечественных дата-центрах). При установке и монтаже стоек будут соблюдены правила бережной транспортировки; оборудование будет вноситься в серверный зал после необходимой подготовки в тамбур-шлюзе. Наличие и хорошее состояние всей документации и удобное расположение ИКТ- и инженерного оборудования позволит соответствующим службам на этапе эксплуатации сосредоточиться на выполнении своих прямых профессиональных обязанностей.

Александр Мартынюк Источник