Строительство крупных российских ЦОДов «на коленке» закончилось

За последние несколько лет рынок ЦОДов в полной мере испытал на себе влияние кризиса. И если в мире многие крупные компании этого сектора оправились от экономических потрясений достаточно быстро и даже успели получить прибыль, то в России развитие центров обработки данных в кризисный период имело свои нюансы. Некоторые из них раскрыл CNews Алексей Солодовников, руководитель подразделения Data Сenter Solutions Team корпорации Schneider Electric.

CNews: Когда была основана ваша компания? Какие направления работы считались перспективными в тот момент? Какой путь пройден за эти годы? Какова ваша бизнес-стратегия сегодня?

Алексей Солодовников: Компания АРС была основана в 1981 году в США. Она занималась выпуском солнечных панелей, а поскольку тогда такое производство было убыточным, то предприятие существовало за счет государственных дотаций. В 1984 году, после прихода к власти Рональда Рейгана, дотации были прекращены, и руководству компании необходимо было решить, чем заниматься дальше. Выбор пал на изготовление источников бесперебойного питания.

Алексей Солодовников: Мы всегда понимали, что выпускаем не самостоятельный продукт на ИТ-рынок, а производим некую добавку к серверу

APC удачно стартовала в новом для себя бизнесе за счет двух смелых шагов. Первый из них — запуск производства ИБП для «персоналок» и серверов PC-серий. Для принятия этого своеобразного решения требовалась определенная склонность к риску — в тот далекий 1984 год никто не занимался подобным бизнесом, поскольку всерьез такую технику тогда еще не рассматривали. Но несколько лет спустя стало понятно, что компания сделала правильный выбор.

Второй смелый шаг — организация поставок собственной продукции посредством ИТ-дистрибуции. В то время все компании, специализирующиеся на выпуске ИБП, поставляли свои устройства либо заказчику напрямую, либо по специальным электротехническим каналам. Никто не пытался использовать метод поставки ИБП через ИТ-дистрибуцию, что впервые сделала APC. В итоге компания опять угадала и со временем стала абсолютным лидером в своем сегменте — сегодня доля APC на рынке в 2 раза превышает показатели ближайшего конкурента.

Итак, компания начала свою деятельность с производства малых ИБП в противовес мощным устройствам от конкурентов. Но с 1997–1998 года, когда АРС достигла успеха в секторе малых и средних ИБП, ее интересы начали смещаться в «тяжелый» сектор больших трехфазных источников бесперебойного питания.

При этом мы всегда понимали, что выпускаем не самостоятельный продукт на ИТ-рынок, а производим некую добавку к серверу или персональному компьютеру. На этом строилась и стратегия компании — сопозиционирование с тем или иным ведущим трендом в области ИТ. Например, АРС была очень успешной в разработке математического обеспечения для Novell, а если говорить о мониторинге разветвленных сетей, то мы были дружны с HP OpenView.

В настоящее время мы не прекращаем выпуск ИБП малой и средней мощности. К тому же компания уже много лет занимается комплексными решениями по обеспечению оборудованием серверных комнат и машзалов. Причем с покупкой APC крупным концерном Schneider Electric сильно изменился наш подход к заказчику: с продуктовой точки зрения (непосредственно по оборудованию, не говоря о проектировании и консалтинге) мы обеспечиваем до 3/4 бюджета инженерных систем ЦОДа от единого производителя. Сегодня в этом же направлении движутся все наши конкуренты, но у APC есть серьезные преимущества перед ними.

CNews: Какие моменты вы считаете наиболее сложными для компании? Каких результатов удалось добиться?

Алексей Солодовников: Сложными всегда являются периоды каких-то кризисов на рынке. Тем не менее кризис 2008 года мы пережили без особого драматизма. Было, конечно, заметное снижение объемов бизнеса, но сейчас мы наблюдаем восстановление темпов роста и даже превосходим по уровню прибыли показатели 2008 года.

Зато более ощутимым был кризис 1998 года. Наша компания тогда была меньше и не располагала такими ресурсами, как сейчас. В то время многие бренды вообще ушли с рынка, а оставшиеся значительно сократили свой штат. Однако в APC не было уволено ни одного человека, и несмотря на девальвацию рубля, мы не снизили размер заработной платы в долларовом эквиваленте.

Алексей Солодовников: В настоящее время мы не прекращаем выпуск ИБП малой и средней мощности

При этом, невзирая на кризис, в августе–сентябре 1998 года мы вместе с компанией Microsoft поехали в роуд-шоу (road show) по стране. Причем мало кому пришло тогда в голову, что мероприятие такого масштаба планировалось нами заранее. Многие полагали, что когда грянул кризис, поехать общаться по стране с клиентами смогли лишь самые отважные компании, поэтому та акция дала нам в дальнейшем очень сильный прирост в бизнесе.

Получилось, что в кризисные моменты мы существенно подняли свою долю на российском рынке. Так, на протяжении всего 2009 и к середине 2010 года мы четко отметили рост прибыли на самом конкурентном участке — в сегменте малых ИБП, где нас теснят многие тайваньские и китайские компании. За время кризиса мы увеличили свое присутствие на этом рынке на 12–15%.

CNews: Как вы оцениваете современное состояние рынка ЦОДов в России и мире? Какое влияние оказал кризис на этот сектор?

Алексей Солодовников: Если говорить о росте или стагнации, то я думаю, что в мире на крупнейшие компании, владеющие публичными площадками, кризис оказал заметно меньшее влияние, чем в России. Например, за последние два года Interxion — крупнейший в Европе провайдер в области колокейшн (collocation) — ввел в строй три новых крупных площадки и с периодичностью раз в две недели публикует название очередного крупного заказчика, остановившего свой выбор на одной из этих площадок. Обратив взор на другую сторону океана, можно увидеть, в частности, Digital Realty Trust, крупнейшую компанию в области построения ЦОДов, которая за последние несколько лет также открыла немало площадок и расширила свой бизнес.

Теперь перейдем к России. Мы видим, что к концу 2008 года у нас обсуждалось много проектов строительства крупных публичных ЦОДов. Но грянул кризис, и из множества проектов не состоялся ни один. Правда, в настоящее время они постепенно выходят в плоскость реализации, и сейчас уже не столь важно, что происходит это немного в другом месте и выполняется немного другой командой.

Алексей Солодовников: Большие ЦОДы надо учиться строить

Отмечая технологические тренды, можно сказать, что на сегодня основным на рынке ЦОДов является повышение энергоэффективности, особенно когда мы говорим о крупных площадках. Сейчас происходит борьба за PUE (соотношение потребленного электричества к полезно использованному). Но тут есть одна особенность: для ЦОДа надежность все же важнее энергоэффективности, поэтому любое техническое решение — плод некоего компромисса. Поясню: надежным является ЦОД с высокой степенью резервирования, избыточностью инженерных систем. Но если у нас есть избыточность, то это означает недогруженность системы, а максимальный КПД достигается лишь при 100% загрузке. Поэтому, уходя в зону большей надежности, а стало быть, большей избыточности, мы тем самым снижаем загрузку инженерных систем и уменьшаем их КПД.

Радует и еще одна тенденция. Если несколько лет назад мы начинали с того, что пытались к строительству большого ЦОДа применить опыт и технологии строительства серверной комнаты, то сегодня пришло понимание: размер имеет значение, количество переходит в качество. Отсюда вытекает логичный вывод: большие ЦОДы надо учиться строить. И если нет собственного опыта, то надо использовать зарубежный. В результате в России уже появились отечественные специализированные проектные организации, занимающиеся разработкой именно центров обработки данных. Таким образом, на сегодняшний день у нас набирается опыт, позволяющий применять эффективные мировые технологии, привлекая при этом лучших мировых консультантов.

CNews: С чем, на ваш взгляд, связана высокая степень закрытости данной отрасли? Есть ли тенденция к изменению существующей ситуации? Готова ли ваша компания пригласить кого-либо (журналиста, потенциального клиента) «на экскурсию» в свой ЦОД?

Алексей Солодовников: Говоря о закрытости, надо четко понимать, что есть разные классы площадок. Один из них — корпоративные ЦОДы. Они, безусловно, закрыты, поскольку это сердце компании, здесь хранится вся конфиденциальная информация. Второй класс — площадки типа колокейшн. Их, наоборот, стараются всячески рекламировать, показывать и, как следствие, продавать. Некоторые подобные ЦОДы даже устраивают дни открытых дверей для прессы. Можно также идти, например, в такие компании, как «Ай-Теко», «ДатаЛайн» и др., которые демонстрируют свои ЦОДы. Есть даже сайт telecombloger.ru, являющийся своеобразной трибуной центров обработки данных, где организовываются виртуальные туры по ЦОДам. Поэтому, если у вас есть желание куда-то попасть — изъявляйте его, а мы обязательно договоримся и организуем экскурсию.

Надо, правда, отметить, что и у площадок типа колокейшн бывают зоны, где размещаются очень серьезные заказчики. Вот сюда уже не пускают никого из праздных посетителей. В частности, у провайдера Interxion в Париже оборудовано 6 площадок, и часть одной из них занимает BlackBerry, через который идет шифрованный почтовый трафик всех крупнейших компаний в мире и личная почта президента США.

CNews: Какие услуги со стороны ЦОДы сегодня наиболее востребованы? Какие основные требования к ЦОДам вы можете выделить?

Алексей Солодовников: Прежде всего, надо отметить, что ЦОД состоит из нескольких слоев, и важно понимать, о каком слое мы говорим. Нижний, базисный — это инженерная инфраструктура, то, что мы называем словом «площадка». Второй слой, расположенный над площадкой, — аппаратное обеспечение. И, наконец, еще «выше» располагается третий слой — программное обеспечение, или бизнес-приложения. Дополнительно к этому можно отдельно рассматривать телекоммуникационную, не всегда необходимую, составляющую — каналы связи, подходящие к площадке и обеспечивающие ее выход во внешний мир.

Теперь по поводу услуг. Если мы говорим о корпоративном ЦОДе, то он решает задачи поддержки основного бизнеса компании, реализованные через приложения, относящиеся к верхнему слою, причем в каждом бизнесе они свои. Если же рассматривать наш слой — инженерную инфраструктуру, то ее основная характеристика — время безостановочной бесперебойной работы. Это — «количество девяток», которым измеряется коэффициент готовности инженерных систем.

Если к основным требованиям ЦОД подходить интегрально, то можно выделить три параметра: коэффициент готовности, энергоэффективность, которая на сегодняшний день прочно связана с организацией системы охлаждения, и энергонагруженность. Последний параметр мы предпочитаем оценивать в количестве киловатт на стойку. Здесь мы достигли уникального показателя: в МГУ в суперкомпьютерном комплексе «Ломоносов» при средней энергонагруженности стоек с ИТ-оборудованием 40 кВТ на стойку максимальная загруженность серверных стоек достигает значения 62–63 кВт на стойку.

CNews: Какие методы оценки эффективности использования ЦОДов сегодня наиболее актуальны?

Алексей Солодовников: Здесь также надо учитывать, использование какого слоя ЦОДа мы имеем в виду. Если речь идет об инженерном уровне, то говорить надо исключительно об энергоэффективности. Рассчитывается она с помощью довольно неоднозначного показателя PUE. Приведу пример. Представим себе ЦОД, состоящий из множества серверов, каждый из которых имеет свой небольшой вентилятор. За счет того, что вентиляторов много, они потребляют большое количество электроэнергии. Выбросим их, облегчим воздуху путь через сервера и поставим в машзале несколько мощных вентиляторов. Понятно, что за счет такой замены общее потребление электроэнергии снизилось. Но тут надо учитывать, что PUE в нашем случае — это соотношение электричества, потребленного всем машинным залом, к электричеству, потребленному серверами. По факту у нас снизилось общее энергопотребление серверов, но само PUE увеличилось. Поэтому надо очень четко понимать, что происходит, когда снижается PUE. Кроме того, надо помнить, чем меньше ЦОД, тем больших значений достигает PUE.

CNews: Какие средства оптимизации работы ЦОДов сегодня наиболее востребованы? Как можно снизить затраты на ЦОД?

Алексей Солодовников: Возьмем все тот же физический слой. Здесь затраты на ЦОД состоят из трех основных статей: стоимости электроэнергии, расходов на обслуживание ЦОДа (оплата штатного персонала и внешних специалистов) и суммы амортизационных отчислений. С амортизацией сложно что-либо сделать, поэтому экономить можно на электроэнергии и оптимизации обслуживания. Что касается последнего, то, как правило, для сокращения затрат необходимы минимизация собственного персонала и заключение серьезных SLA-договоров с внешними организациями.

Алексей Солодовников: Сейчас мы видим очень серьезное оживление на рынке как в секторе корпоративных ЦОДов, так и в секторе колокейшн

Теперь по поводу электроэнергии. Конечно, на первый взгляд, снижение затрат по этой статье достигается за счет повышения энергоэффективности. Но сегодня еще мало кому приходит в голову, что это можно сделать и за счет виртуализации, которая позволяет снизить энергопотребление серверных систем в разы. У нас есть заказчики, которые говорят, что если бы не внедрение виртуализации, то ЦОД, к строительству которого они приступают лишь сегодня, пришлось бы строить 2–3 года назад.

CNews: Как изменилась за последний год обстановка на российском рынке ЦОДов?

Алексей Солодовников: После тяжелого 2009 года, когда не стартовал практически ни один запланированный в этой области проект, текущая обстановка на рынке ЦОДов вселяет в меня оптимизм. Сейчас мы видим гораздо больше примеров серьезного подхода: есть ЦОД, к проектированию которых с самого начала подключены авторитетные зарубежные организации, ставящие на проектную документацию, а потом — и на запускаемую в эксплуатацию площадку, свой знак качества. Для наших заказчиков это серьезная гарантия того, что подобный бизнес входит, наконец, в нормальные рамки. Особенно если учесть, что еще 2–3 года назад ни о каких SLA речи и близко не было.

Кроме того, мы отошли от практики, когда считалось, что стоит только принять решение и за полгода-год можно ввести в эксплуатацию ЦОД на несколько МВт. Сейчас даже в области колокейшн — коммерческих проектов, обеспеченных инвестициями — мы не видим этой жуткой спешки, строительства ЦОДов «на коленке». Все серьезные проекты сейчас начинаются с эскизного проектирования и вдумчиво реализовываются. На другом полюсе — корпоративные проекты, обсуждение которых начиналось примерно в 2007 году, а в 2010 мы выходим на их проектирование. Далее, 2011 год — рабочее проектирование и начало строительства площадки, 2012 год — установка оборудования. Как видим, соблюдается полный пятилетний цикл. У нас в работе сегодня несколько проектов с таким жизненным циклом. И еще один важный момент: сейчас для большого количества площадок проектируются специальные здания. Ранее же ЦОД втискивали в уже существующие постройки, что вызывало массу ограничений по применяемым технологиям.

CNews: Каковы актуальные требования к инфраструктуре ЦОДов?

Алексей Солодовников: Здесь все достаточно стандартно. Требования — это ни что иное, как распространенные ИТ-лозунги о модульности, масштабируемости и системах, которые на начальном этапе позволяют вводить минимум оборудования, но в дальнейшем структура с их помощью сможет развиваться относительно безболезненно. Сейчас никто не хочет ставить мощное инженерное оборудование под дальнейший рост, который неизвестно, состоится ли, а если и состоится, то непонятно, когда это будет.

CNews: Каковы планы компании? Какие стратегические задачи вы ставите перед собой?

Алексей Солодовников: Сейчас мы видим очень серьезное оживление на рынке как в секторе корпоративных ЦОДов, так и в секторе колокейшн. И если у корпоративных заказчиков основная характеристика — надежность, то у коммерческих — сроки окупаемости. На сегодняшний день на рынке ЦОДов возникает и третий сегмент, заключающийся в развитии суперкомпьютеров, проведении супервычислений. Здесь ставятся очень сложные инженерные задачи, для решения которых используются «горячие» стойки. Мы сейчас совершенно четко видим наше присутствие во всех трех секторах. Команда, которой я руковожу, находится в состоянии очень активного диалога с менеджментом всех бизнес-юнитов Schneider Electric об опережающем выделении ресурсов по этим направлениям. В следующем году мы планируем собрать урожай серьезней, чем та пара-тройка проектов, которая была у нас в кризисный 2009 год. Понятно, что в 2009–2010 году реализовались лишь те решения, которые были заложены до кризиса, но сейчас мы ждем определенного бума во всех областях.

После окончания кризиса и, как следствие, изменения ситуации на рынке ЦОДов, компания находится в процессе выработки стратегии, которая сводится, прежде всего, к ответу на вопрос «кто мы на рынке». Поставщик компонентов, задающих ту или иную технологию? Или — поставщик «под ключ» тех или иных инженерных систем с их проектированием, монтажом и прочими сопутствующими работами? Или мы будем генконтрактором по строительству ЦОДов? Проекты, которые мы реализовали, позволили нам попробовать себя в разных качествах, поэтому сегодня мы ищем оптимум с точки зрения тех ресурсов, которые нужно будет добавить, и тех доходов, которые дополнительно появятся у компании в зависимости от выбранного нами пути.

Концепция EcoStruXure, применявшаяся при построении суперкомпьютера «Ломоносов»

Еще в 2001 году корпорации Schneider Electric представили на рынке концепцию PowerStruxure, которая объединяла в себе систему бесперебойного энергообеспечения и систему распределения энергии. Затем она трансформировалась в модульную архитектуру InfraStruxure, представляющую собой законченное решение для построения инженерной инфраструктуры ИТ-объектов любого уровня — от коммутационных узлов и серверных до крупных центров обработки данных, куда были добавлены система кондиционирования, а также средства мониторинга и управления окружающей средой. Сегодня концепция EcoStruxure выходит далеко за пределы машинного зала, охватывая все системы — от генерирующих мощностей до розеток.

К элементам EcoStruxure относится и оснащение машинного зала, основанное на архитектуре APC InfraStruxure

Для построения инженерной инфраструктуры суперкомпьютерного комплекса «Ломоносов» были использованы некоторые элементы EcoStruxure. В первую очередь, здесь надо говорить о системе электропитания, включающей распределительные щиты серии Schneider Electric Prisma, обеспечивающие электроснабжение ИБП и чиллерной группы. Также в нее входят два источника бесперебойного питания APC Symmetra MW мощностью 1600 кВт — модульная масштабируемая трехфазная система защиты электропитания с лучшей в отрасли энергетической эффективностью (КПД достигает 97%) и повышенной отказоустойчивостью, реализуемой за счет резервирования всех компонентов. ИБП Symmetra MW осуществляют электроснабжение вычислительной системы и защиту от сбоев в электропитании, а также обеспечивают работу суперкомпьютера с сохранением штатного режима охлаждения в течение 10 минут после отключения электропитания, что позволяет гарантировать сохранность данных в аварийных ситуациях. Кроме того, в системе применяются впервые используемые в российской практике в ЦОДах шинопроводы серии Schneider Electric Canalis, позволившие существенно оптимизировать распределение бесперебойного электропитания по потребителям.

В системе применяются впервые используемые в российской практике в ЦОДах шинопроводы серии Schneider Electric Canalis

К элементам EcoStruxure относится и оснащение машинного зала, основанное на архитектуре APC InfraStruxure, в данном случае основными компонентами которой являются 60 стоек для размещения серверов и прочих компонентов суперкомпьютера в комплекте с внутристоечными устройствами распределения электропитания (RM PDU); 40 прецизионных кондиционеров, обеспечивающих охлаждение суперкомпьютера; комплекты герметизации «горячего» коридора; датчики температуры, влажности и т. п., задающие работу прецизионных кондиционеров.

Кроме того, инженерами Schneider Eleсtric были выполнены все необходимые пусконаладочные работы по перечисленным системам. В результате суперкомпьютерный комплекс «Ломоносов» является сегодня самой мощной высокопроизводительной установкой на территории СНГ и Восточной Европы. На момент запуска «Ломоносов» занял 12 место в списке ТОП–500 самых мощных суперкомпьютеров мира, что является абсолютным рекордом для систем российского производства.

Строительство мега-ЦОДа SwitchNAP для компании Switch Communications

При участии концерна Schneider Electric, который являлся поставщиком части оборудования для инженерной инфраструктуры, недалеко от Лас-Вегаса (шт. Невада, США) был построен ЦОД SwitchNAP компании Switch Communications. В здании общей площадью 38 тыс м2 установлено более 7 тыс серверных стоек производства APC by Schneider Electric. Площадка имеет подвод электроснабжения с установленной мощностью 250 MВА (это абсолютный мировой рекорд по подведенной мощности) и характеризуется энергетической плотностью 16,5 кВт/м2. При этом суммарная мощность ДГУ составляет 146 MВА. АРС by Schneider Electric были представлены система ИБП с КПД, равным 97%, и устройства распределения питания с КПД 98,6%, а также комплексная система безопасности Pelco, включающая видеонаблюдение, контроль доступа и элементы системы пожаротушения.

При участии концерна Schneider Electric был построен ЦОД SwitchNAP компании Switch Communications

Охлаждение SwitchNAP обеспечивают четыре системы (чиллеры, фреоновая система, система прямого забора внешнего воздуха и теплообменники), которые могут включаться по отдельности и в любой комбинации в зависимости от ситуации. Система охлаждения полностью зарезервирована, но это не помешало создателям добиться среднегодового PUE, равного 1,21 (и это в условиях жаркого климата).

Особо стоит отметить, что разработчикам удалось сэкономить не только на операционных затратах, к которым относятся, в частности, счета за электричество, но и на капитальных издержках: на строительство было потрачено 350 млн долл., что при выходной мощности ИБП в 84 МВт дает около 4200 долл. на 1 кВт.

ЦОД гарантирует своим заказчикам полностью безотказную работу (коэффициент готовности равен 100%), что указано в SLA, предусматривающем серьезные штрафные санкции.

Перечень компаний, работавших с корпорацией Schneider Electric в разное время

• Московский государственный университет им М. В. Ломоносова (суперкомпьютерные комплексы «Чебышев» и «Ломоносов»)
• НПО «Сатурн» (суперкомпьютерный комплекс «АЛ-100»)
• Инвестиционная компания «Тройка Диалог» (ЦОД трейдинг-центра)
• Сибирский филиал компании «МегаФон» (внутренний ЦОД)
• Linxtelecom (коммерческий ЦОД Linxdatacenter)
• Пивоваренная компания «Балтика» (внутренний ЦОД)
• Центральная избирательная комиссия РФ (ГАС «Выборы»)
• Федеральный фонд обязательного медицинского страхования (внутренний ЦОД)
• Народный банк Казахстана (внутренний ЦОД)
• Компания «Ай-Теко» (коммерческий ЦОД «ТрастИнфо»)
• ФГУП «Почта России» (внутренний ЦОД)

Источник: cnews.ru