Центры обработки данных – один из самых динамично развивающихся сегментов украинского ИТ-рынка. В статье предлагается взглянуть на ЦОД глазами непосредственно создателя подобных решений – системного интегратора.

За последний год рынок ЦОД претерпел определенные трансформации — в экономическом, техническом, стратегическом и прочих аспектах. Некоторые из этих изменений стали настолько явными, что превратились в стойкие тенденции, формирующие нынешний и будущий облик всего рынка центров обработки данных.

Как изменился заказчик
В сложных экономических условиях текущего года многие заказчики предпочитают использовать проверенные решения и продукты. Как правило, они хотят увидеть успешно внедренное решение «вживую», получить оборудование на тестирование, до момента запуска оценить стоимость системы, владения, сервисной поддержки.
Если раньше большинство из них предпочитали работать с одним-двумя крупными интеграторами, то сейчас в процессе выбора исполнителей на разных стадиях проекта, равно как и поставщиков оборудования, все чаще отмечается диверсификация. При этом заказчик пытается развить несколько альтернативных путей поставок, дабы в дальнейшем не столкнуться с монополией как производителей, так и интеграторов.
Нельзя не отметить и тенденцию к переориентации от построения новых ЦОД на оптимизацию существующих. Вплоть до начала экономического спада клиенты предпочитали строить все новые и новые серверные помещения. Если их не хватало — строился ЦОД, куда переносилось наиболее критичное оборудование. Сейчас же заказчик чаще ограничивается только модернизацией инженерных систем в своих серверных помещениях, чтобы они в большей или меньшей степени соответствовали стандартам отрасли (например, тому же TIA942).
Возросла также потребность в профессиональном аудите существующей сетевой, серверной и, особенно, инженерной инфраструктур. Связано это с разными причинами, в числе которых можно отметить и смену собственников компаний. В этом случае покупатель хочет знать реальное положение дел: насколько дата-центр функционален, насколько изношено оборудование, есть ли риски использования его в таком виде и сколько это будет стоить. Иногда такой анализ выполняется на предварительном этапе, еще до момента покупки помещения, дабы оценить, действительно ли заявленная цена адекватна рыночной стоимости объекта.

Как изменился интегратор
В период кризиса интеграторы озабочены поиском путей стабилизации своего положения на рынке. Если говорить о работе интегратора с заказчиком, то можно уверенно говорить о значительном увеличении доли предпродажного консалтинга и уровня проработки решений. Сейчас, например, степень проработки технического решения на момент подписания контракта может быть эквивалентна эскизному проекту, а под самим проектированием следует подразумевать разработку рабочей документации. Более тщательно ведется и подготовка технического задания: если раньше оно занимало одну-две страницы, то сейчас это достаточно объемное приложение к договору (на многие десятки страниц), в котором детально описаны требования к инженерной инфраструктуре.
Многие компании-интеграторы уделяют больше внимания повышению квалификации своих сотрудников, наращивая их интеллектуальный потенциал и конкурентоспособность на рынке. Кроме того, заметен пересмотр приоритетных направлений: небольшие компании закрывают нерентабельные направления, большие — развивают новые путем обучения существующих сотрудников и удерживая перспективные направления, которые окажутся востребованными в посткризисный период.
Еще один интересный момент связан с формированием проектной команды. Интеграторы увеличивают долю универсальных специалистов, имеющих навыки работы, проектирования и внедрения разнотипных систем, что снижает количество участников проекта и время его внедрения. Как следствие, для сложных объектов задействуется меньшее количество квалифицированных сотрудников.

Оптимизация затрат
Как уже говорилось выше, консалтинг и всестороннее обследование ЦОД становится вполне самостоятельным направлением. Комплексное обследование (аудит), подразумевает не только детальный осмотр и анализ функционального состояния различных подсистем, но и определение соответствия заявленных или требуемых параметров текущему состоянию ЦОД. К примеру, важно не просто измерить мгновенную токовую нагрузку, но и оценить качество электроснабжения в целом, уровень и характер энергопотребления оборудования в серверной, среднесуточные отклонения климатических параметров, корреляцию возникновения инцидентов и т.д. Или другой пример — измерение климатических параметров. Только оценив их на протяжении длительного времени, можно говорить о наличии либо отсутствии проблем в ЦОД и рисках их возникновения.
Давайте зададим вопрос компаниям, которые имеют дело с ЦОД, — прорабатывали ли они варианты наиболее вероятных сбоев инженерных систем, был ли составлен план восстановления? Наверняка около 70% ответят, что не прорабатывали, и около 10% ответят, что такой план имеется, но лишь по определенным системам и инцидентам. Уменьшить время простоя можно составлением детально проработанной методики восстановления, разработанной в расчете на самого «неподготовленного» сотрудника, имеющего доступ к ЦОД. Это особенно актуально для коммерческих дата-центров, заключающих SLA-контракты.
Не лишним будет взглянуть и в сторону аутсорсинга инженерной инфраструктуры — переноса вычислительных площадок в коммерческие ЦОД. В докризисные времена этого старались избежать; сейчас же затраты на построение даже временной площадки сопоставимы со стоимостью аренды в течение нескольких лет. Заказчик при этом перекладывает все заботы по обслуживанию на плечи арендодателя и его персонал и не беспокоится о регламентных работах и внешних проблемах, например, сбоях электроснабжения.

Спрос на продукты и решения
Как показывает статистика внедрения реальных проектов, сейчас наиболее востребованы ЦОД класса TIER II и TIER III, площадью 30–70 кв. м. Причем заказчик старается урезать бюджет именно за счет экономии свободного пространства, но не надежности ЦОД. Поэтому сейчас все чаще уходят от понятия «стоимость квадратного метра ЦОД класса N», ведь в зависимости от уровня компоновки инженерного комплекса стоимость конечного решения может отличаться в несколько раз. В настоящее время в Украине преобладают ЦОД не выше класса TIER III, а TIER IV начнут появляться не ранее пяти ближайших лет. Одними из движителей повышения уровня надежности должны стать аутсорсинг и аренда площадок ЦОД с требуемым уровнем доступности, которое будет регламентироваться SLA-соглашениями. К моменту оздоровления экономики перспективы и рентабельность ЦОД будут достаточны, чтобы выделять на их развитие значительные средства.
Можно предположить, что к тому времени наберет силу и тенденция к децентрализации площадок размещения дата-центров. Несмотря на скептические заявления некоторых интеграторов о бесперспективности строительства ЦОД вне города, уже сегодня проявляется все больший интерес к использованию помещений, расположенных в пределах 30 км от городской черты. Сложилось даже некое эмпирическое правило, сформировавшееся в процессе проработки множества проектов: чем большей мощности планируется ЦОД, тем дальше от города его следует строить.
Повышается также спрос на энергоэффективные продукты. Например, представители компании Emerson в презентациях приводят следующие выкладки: уменьшение энергопотребления одного сервера в ЦОД на 1 кВт обеспечивает экономию общей потребляемой мощности ЦОД в расчете на эту же серверную единицу на 2,84 кВт.
Пользуются все большей популярностью технологии виртуализации, которые позволяют уменьшить затраты на энергопотребление и обслуживание. Однако у этой «медали» есть и обратная сторона: такие системы требуют более высокого уровня отказоустойчивости, что приводит к дополнительным затратам

Технологии, не получившие распространения
Многие технологии ЦОД еще недостаточно укоренились на нашем рынке. Все еще слабо востребована схема 2(N+1), которую в свое время начали практиковать в ЦОД уровня TIER III+ (так неофициально называют уровень надежности системы, у которой отдельные элементы строились согласно требованиям более высокого уровня, в частности, TIER IV). Основных причин две — финансовая и техническая. Полное резервирование на уровне системы было дорого даже до кризиса, а сейчас и подавно. Корни технических проблем также лежат на поверхности: это неоптимальный режим работы при малой нагрузке двух базовых подсистем — гарантированного электроснабжения и кондиционирования.
До сих пор не получили распространения «механические» ИБП, хотя идея активно развивается. Судите сами: еще недавно некоторые производители предлагали системы с инерционным крутящимся маховиком, которые обеспечивали генерацию электроэнергии на 5–20 секунд, а сейчас предлагаются самые настоящие «дизельные» ИБП (название маркетинговое, однако в нем есть и рациональная суть — это обычные дизель-генераторные электростанции, которые позволяют полностью отказаться от привычных ИБП с батареями). Выгода от механического ИБП в том, что такому источнику не нужна даже редкая замена батарей и он вполне может располагаться вне помещения (что для обычных ИБП пока недостижимо). Причина же его непопулярности проста — времени генерации электроэнергии маховика достаточно лишь для единичного запуска дизель-генератора. Хотя поставщики таких решений и говорят о том, что дизель в любую погоду запустится за 10 секунд, опасения есть даже у многих профильных экспертов, особенно когда дело доходит до подписания SLA-соглашений.
Несмотря ни на что, рынок ЦОД развивается. Большинство игроков успели адаптироваться к новым условиям — переориентироваться, прицелиться, определиться со стратегией. Кроме того, рынок поддерживается также за счет более ранних контрактов, ведь строительство дата-центра — достаточно длительный процесс, и многие компании успели заключить договоры до кризиса. Поэтому резкого обвала количества проектов не произошло и не ожидается в будущем. Однако, по различным оценкам, объем рынка в денежном эквиваленте может сократиться до уровня 2006–2007 годов.
С технической точки зрения отдается предпочтение проверенным решениям, а от новых продуктов ожидают снижения стоимости. Интеграторы же расширяют портфель услуг, консолидируют активы и поглощают мелких игроков, которые в свою очередь уходят на уровень субподряда и/или сервисного обслуживания. Но как только ситуация в экономике стабилизируется (будем надеяться, что положительные перемены уже начались ), стремительная динамика рынка ЦОД непременно возродится, даже силами немногих уцелевших его участников.

Константин КОВАЛЕНКО,
главный инженер проектов отдела инженерных систем
департамента инфраструктурных решений
АО «Ситроникс Информационные Технологии Украина»,
KKovalenko@sitronics.com

«Сети и бизнес» №6 (Декабрь) 2009

Перед зданием, где расположен ЦУС и ЦОД “ВымпелКома” стоит генератор – его мощности в критических  случаях отключения питания должно хватить для поддержания всей ИТ-инфраструктуры в рабочем состоянии

Внешний вид ЦУСа “ВымпелКома”

Для оптимизации функций контроля, управления и мониторинга сетевой инфраструктурой  мобильного и  фиксированного бизнеса был создан универсальный центр управления сетями (ЦУС). Основная цель  создания объединенного ЦУС – раннее обнаружение технических инцидентов в работе различных уровней  сетевой инфраструктуры, координация и сопровождение работ по их устранению. Для этого в компании  создано отдельное подразделение в составе 25 инженеров, внедрен современный программно-аппаратный  комплекс мониторинга Cisco InfoCenter и оборудована специальная площадка диспетчерского центра  площадью в 30 кв. метров.

Рабочее место технического специалиста – никаких аналоговых линий связи, везде IP-телефоны

Центральная стена  с тремя большими экранами позволяет  получать данные о жизнедеятельности  всей  ИТ-системы оператора связи. Среди параметров, которые контролирует ЦУС, температура воздуха в  помещении технической площадки.

Рабочие моменты для  дежурной смены – все пишется БОЛЬШИМИ буквами – иначе издалека не видно

Жесткие инструкции для  работников

С помощью  единого ЦУС в “ВымпелКом” смогли сократить время реакции на аварийные ситуации больше  чем на полчаса. Усредненное количество зарегистрированных инцидентов в квартал в 2008 г составило   8390, а в 2009 г – 6321. Основная экономия от создания ЦУС – свыше 500 тыс. долл. в затратах на  системах мониторинга и порядка 40 тыс. долл. на оборудовании.

Отдельный ряд мониторов  для проверки загрузки беспроводной сети

Бесперебойный режим работы диспетчерского центра обеспечивается с помощью резервирования всех  систем и прямого подключения автономной локальной сети напрямую к технологической сети. Используя систему мониторинга, специалисты ЦУС осуществляют контроль технического состояния  сетевого оборудования в режиме 24х7х365. По отдельным каналам связи организовано взаимодействие с  центрами управления сетью национальных и международных операторов телекоммуникаций и с  Национальным центром управления Украины.

Тотальный контроль

Программно-аппаратный комплекс мониторинга охватывает все  элементы используемой сетевой  инфраструктуры Beeline в Украине, включая транспортную сеть, мультисервисную IP сеть, сеть  мобильной связи, сеть фиксированной связи, сеть широкополосного доступа в Интернет по технологии  FTTB, узлы сервисных платформ вторичных сетей связи, элементы систем жизнеобеспечения  технологических площадок и др.

Железная дверь  в автозал №1 – здесь находится  оборудование оператора связи

Хочешь войти – надень бахилы. Правило едино для “технарей”, журналистов и руководства компании

Одновременно  с оборудованием ЦУСа был осуществлен  проект миграции серверного оборудования компании  «Украинские радиосистемы»  в новый ЦОД – он состоит из двух рабочих залов. В первом находится  “железо” Ericsson, Huawei, Cisco, Siemens и др.  для обеспечения ИТ-инфраструктуры самого  оператора. Во втором – ЦОД для внешних заказчиков, где можно арендовать как один или несколько  юнитов, так и целую стойку.

Пока первый автозал  не заполнен и наполовину – резерв площади  присутствует

Система электропитания и переключения на резервный генератор

Километры кабельных  трасс…

…некоторые из  которых упакованы в специальные  тоннели

Стойки с подключенными  портами

Стойки с оборудованием

А это вид сзади – настройка оборудование

Все залы просматриваются  с помощью IP-камер

Все подобное строительство велось “с  нуля” – для предоставления абонентам полного спектра  телекоммуникационных услуг надо было построить новое серверное помещение и практически полностью  модернизировать вычислительные мощности, которые позволили бы обеспечить хороший уровень  производительности и надежности работы мощных бизнес-систем.

В основном этот зал  отведен для услуги Collocation – размещение серверов и другого  коммуникационного оборудования заказчиков в центре хранения и обработки данных.

Здесь царит полумрак, поэтому увидеть что-то можно  только с помощью вспышки: помещение  как узкий  длинный пенал, заполненный 19-дюймовыми стойками

Можно арендовать как слот, так и целую стойку – как вот в этом случае

На каждом заполненном  слоте указано кому он принадлежит – чтобы обслуживающий персонал не ошибался

Современный дата-центр операторского класса “ВымпелКома”, расположенный на технической площадке  площадью свыше 100 кв. метров, соответствует всем основным требованиям для надежной работы  информационных систем и является одним из лучших в Украине.

Огромная система  вентиляции – обдув рабочих юнитов сверху

Такие же, как и в первом зале, мотки кабеля, скрывающиеся в шкафах в оборудованием и транспортных  тоннелях

А вот углекислотной  системы пожаротушения нет – только огнетушители

Зато есть инструкция по безопасности. На украинском, разумеется

Разноцветное переплетение кабеля

Миграция  существующей вычислительной инфраструктуры в новое помещение, поставка, настройка  и  запуск оборудования были осуществлены летом 2009 года. При реализации решения  было проложено более  15 километров кабеля, смонтировано более 1500 портов, смигрированно более 200 единиц оборудования  и порядка 30 бизнес-систем.

В итоге “ВымпелКом” на Украине получил отказоустойчивую технологическую платформу, обеспечивающую  быстрое внедрение новых сервисов и дальнейшее развитие бизнеса компании. Судя по тому, что мне  известно, данный проект стал одним из самых масштабных среди подобных на Украине.

Автор: Максим Букин
Источник: NAG.ru