Прежде чем начать строительство ЦОД, давайте попробуем рассмотреть этот процесс со стороны клиента. Первоначально потребуется решить вопрос с помещением. Необходимо, чтобы оно имело достаточную мощность электроснабжения, нагрузочную способность и было приемлемой высоты. Далее придется определить место, где можно разместить систему охлаждения, проверить, достаточны ли проемы дверей для заноса оборудования, есть ли грузовые лифты, предусмотрены ли заезды крупного транспорта. Возможно, даже придется выбирать систему охлаждения как раз исходя из возможностей архитектуры. Вот один из примеров: длина фреоновых магистралей обычно ограничена, и проложить более 50-70 метров не получится, а если учесть еще и перепады высот — и того меньше, в то время как водно-гликолевые системы таких ограничений не имеют. Да и внешние блоки не всегда позволят размещать на фасадах здания — нарушение дизайна…
Далее клиент находит интегратора, который готов решить все эти вопросы. Успешно проходит фаза проектирования. Возможно, перед внедрением интегратору придется еще взяться и за саму стройку — перед началом строительства может оказаться, что здание придется усиливать, выполнять гидро-, шумо- и виброизоляцию. Потом следует фаза согласований как с клиентом, так и арендодателем, контролирующими органами. Затем идет реализация проекта. Она также может затянуться — то поставка оборудования задерживается, то организационные проблемы возникают. Но все проявляют оптимизм, а значит — все получится. И вот дата-центр готов. Дружеские рукопожатия, все довольны. Через полгода-год клиент вновь обращается к интегратору с просьбой расшириться — нет проблем, опытный интегратор и это предусмотрел. Все хорошо, но тут клиент говорит: «Наша компания надумала переезжать, у нас строится собственное здание. Офисное помещение уже готово, и нам потребуется быстро мигрировать на новую площадку». Что делать?
Если оборудование в стойках демонтируется за день, то системы жизнеобеспечения так просто не заберешь. Значит, нужно либо очень быстро строить новый ЦОД под текущие потребности, либо реализовывать временную площадку, запустить ее, а затем начинать строить полноценный ЦОД, предусмотрев его развитие в будущем.
Тут и кроется основная проблема: для динамично развивающихся компаний должно быть разработано техническое решение по ЦОД, которое должно быстро развертываться (всего несколько недель на поставку и несколько дней на установку), иметь малые сроки поставки и, самое важное, — быть мобильным, позволяя в случае переезда компании водрузить ЦОД на грузовик и перевезти на новое место. Спрос рождает предложение, и рынок быстро наполнился решениями от множества компаний.

Фотопортрет современного МЦОД
Прежде чем описывать мобильный ЦОД (МЦОД), обозначим, для каких задач он будет применяться.
Немного поразмыслив, можно сформулировать пять различных вариантов назначения мобильных дата-центров:

• основной ЦОД — возможность реализации проекта в кратчайшие сроки на неподготовленной площадке без использования специалистов со стороны заказчика;
• резервный ЦОД (РЦОД) — экономичное решение для создания дата-центра в сжатые сроки;
• расширение основного или резервного ЦОД — возможность расширения инфраструктуры в кратчайшие сроки, защита инвестиций;
• start-UP ЦОД — возможность старта бизнеса уже на этапе начала проекта строительства основной хостинговой площадки;
• временный ЦОД — возможность создания временной инфраструктуры для размещения ИТ-оборудования.

В техническом плане обобщенный портрет должен выглядеть так.
Стандартный морской контейнер ISO типоразмером 20 (для перевозки на грузовике) или 40 футов (для перевозки на полуприцепе), который имеет защиту от внешних воздействий. Внутри на раме размещается некоторое количество стоек с высокой плотностью. Охлаждение реализовано с помощью водяной системы, при этом чиллер выносится за пределы контейнера, а внутри размещаются лишь вентиляторные доводчики (фанкойлы).
Если МЦОД небольшой мощности, для удешевления можно использовать фреоновые кондиционеры (и тогда в дополнительных контейнерах нет смысла). ИБП также должен размещаться внутри контейнера для поддержания работы ИТ-оборудования на время запуска внешней дизель-генераторной электростанции (соответственно, в контейнере должен быть предусмотрен также автомат ввода резерва (АВР) для подключения питания от двух вводов или от дизель-генератора).
В технологическом плане все решения условно можно разделить на две полярные группы — высокой удельной мощности и высокой мобильности.
Первые позволяют эффективно использовать имеющуюся площадь контейнера для размещения мощ¬ного оборудования, однако, как правило, требуют использования внешних контейнеров для размещения чиллеров и ИБП. Главное достоинство таких МЦОД — быстрота развертывания.
Решения второго класса сосредоточены именно на увеличении показателя мобильности — при более низкой удельной мощности на единицу площади они целиком размещаются в одном контейнере и при необходимости позволяют быстро перевезти МЦОД в другое место.
Дополнительные требования к удобству монтажа и обслуживания оборудования в контейнере предусматривают либо подвижные рамы-направляющие для шкафов, либо дополнительные двери. Заботясь о безопасности людей и сохранности оборудования, необходимо предусмотреть автоматическую систему объемного газового пожаротушения (обычно это газ Хладон-227еа (FM-200) либо Novec 1230 (так называемая «сухая вода») и систему управления контролем доступа, ограничивающую проникновение в контейнер и в его отсеки и обеспечивающую видеосъемку происходящего в помещении. Поскольку мониторинг дата-центра планируется производить удаленно, потребуется внедрить централизованную систему мониторинга, позволяющую одновременно контролировать все инженерные системы в ЦОД. А вот структурированная кабельная система не предусмотрена ни в одном из существующих решений — предполагается, что интегратор, инсталлирующий дата-центр, выполнит ее монтаж, исходя из ситуационной необходимости.
Учитывая особенности продаж (точечные, для задач конкретных заказчиков), производитель должен обеспечивать оперативную модернизацию решений под конкретные нужды клиента. Мобильные ЦОД, в принципе, могут быть использованы в самых различных областях. Однако, исходя из общемировой практики, потребителями подобных решений в первую очередь являются телекоммуникационные и промышленные компании (особенно добывающей отрасли), государственные организации, крупные корпорации (в т.ч. в качестве резервной площадки).
Что касается стоимости решения, то, естественно, она значительно колеблется в зависимости от наполнения форм-фактора, конфигурации и фирмы-производителя комплекса. Например, в России ориентировочная стоимость МЦОД местного производства на пять 40-юнитовых стоек (и теплоотводом до 25 кВт) в стандартном 20-футовом контейнере, включая пусконаладочные работы, обойдется в $330-350 тыс. Нетрудно подсчитать, что это составляет примерно $66-70 в расчете на одну стойку, что в два-три раза выше, чем в стационарных ЦОД.

APC — мобильная InfraStruXure Express
Именно компании АРС в 2005 году пришла идея поставить на колеса свою интегрированную среду InfraStruXure, которая бы включала шкафы, кабельные каналы, блоки распределения питания, ИБП, фанкойлы и систему мониторинга. Белый трейлер (рис. 1) длиной 15 метров (53 фута), внутри которого находилось 12 стоек для размещения оборудования, позиционировался компанией как мобильное решение уровня TIER IV (правда, уровень эксплуатационной готовности касался лишь двойного резервирования по питанию и охлаждению).

Первоначально прототип позволял установить оборудование мощностью до 40 кВт, впоследствии возможности выросли до 130 кВт (при этом уровень резервирования системы электропитания составлял N+1). Также на прицепе можно было установить дизельный генератор мощностью 135 или 200 кВт, чиллер и спутниковую антенну для организации беспроводного канала связи.
Впоследствии модернизацией этого решения начал заниматься партнер АРС — компания Pacific Voice & Data. В обновленной версии, получившей название PVD Mobile Data Center, в 53-футовом контейнере размещалось уже 16 шкафов 42U, удельное тепловыделение на каждый шкаф могло составлять до 30 кВт, а общая мощность размещенного в контейнере оборудования доходила до 225 кВт.
Интересно, что в 2009 году компания АРС вернулась к идее контейнерного МЦОД, на этот раз сделав ставку на модульную конструкцию Datapod (рис. 2). По сути, это ЦОД, упрятанный в контейнеры, компонуя которые, можно развернуть систему требуемой мощности и конфигурации.

В конце 2006 года компания Sun Microsystems представила решение BlackBox (рис. 3) на базе 20-футового морского контейнера, в котором разместились восемь стоек, куда планировалась установка серверного оборудования. Именно с выходом Sun BlackBox началось активное продвижение МЦОД на рынке.

В этом решении для охлажде¬ния стоек использовалась водя¬ная система, поэтому предполага¬лось, что МЦОД будет подключен к чиллеру. ИБП также не входил в комплект поставки. А вот кон¬структив шкафов достаточно ори¬гинален — 40U шкафы в рабочем состоянии спрятаны в боковых частях контейнера. Для монтажа оборудования и перекоммутации шкаф нужно выдвинуть при помощи специальной тележки, которая подсовывается под осно¬вание шкафа, а ручка тележки играет роль домкрата. Основное новшество — организация потока воздуха по кругу. Система охлаждения внутри контейнера замкнутая — между стойками стоят плоские вентиляторные доводчики (фанкойлы) с 12 вентиляторами, которые охлаждают воздух с тыльных частей стойки. Таким образом, нагретый воздух с первой стойки охлаждается фанкойлом и поступает на воздухозаборники следующей в ряду стойки. Штатное исполнение BlackBox позволяет отводить по 12,5 кВт с каждой стойки, однако опционально возможна модификация контейнера с отводом тепла до 25 кВт на стойку. Дополнительно производитель гарантирует, что конструкция может выдержать землетрясение до 6 магнитуд по шкале Рихтера — этому способствуют специальные демпферы в виде пружин, на которые устанавливаются стойки.
Решение Sun Microsystems выглядело достаточно смело и необычно. С одной стороны, высокая скорость ввода в эксплуатацию (решение поставляется в собранном виде), высокая удельная мощность на стойку. В то же время — особенность обслуживания стоек, которые не заменялись, а значит, не было возможности установить нестандартное оборудование увеличенной глубины или требующее дополнительного бокового поля в шкафах для коммутаций. Да и сама концепция «ЦОД в контейнере» не совсем соответствовала действительности — скорее это серверное помещение в контейнере, ведь рядом необходимо было установить еще несколько контейнеров — как минимум два: для ИБП и чиллера. В процессе постановки в серию проект BlackBox был переименован в SunMD. На сегодняшний день доступно две модификации — с четырьмя и восьмью стойками глубиной 780 мм (MD D20 и MD S20 соответственно). Кроме того, есть модификация для более габаритного оборудования, в которой устанавливаются три стойки глубиной 1150 мм. МЦОД сертифицирован по уровню эксплуатационной надежности TIER II.
Возросший интерес к мобильным решениям сразу породил на рынке появление МЦОД от других производителей. Так, в марте 2007 года компания Rackable Systems представила свое решение — Integrated Concentro Environment, или же просто ICE Cube (рис. 4). Напомним, что RS недавно приобрела компанию Silicon Graphics и теперь эксплуатирует торговую марку SGI.

Проект ICE Cube был реализован в двух форм-факторах — стандартном 20-ти и в большом — 40-футовом контейнерах. Если 20-футовый вмещал 8 стоек 55U, то 40-футовая версия уже 28! Производитель заявлял высокий уровень энергоэффективности такого решения — этому способствовало как жидкостное охлаждение, так и система питания постоянного тока для серверного оборудования. ИБП устанавливался в каждой стойке и, по сути, представлял собой батарейный комплект с системой мониторинга. Обслуживать стойки можно было только с фронтальной стороны. Цена оригинального дизайна также оказалась высокой, ведь туда устанавливались лишь ICE-совместимые серверы либо серверы собственной разработки, имеющие небольшую глубину. В каждой стойке располагалось 56 розеток питания, обеспечивавших возможность мониторинга потребления тока.
Для системы кондиционирования стоек использовалась специальная конструкция фанкойлов, которые размещались между стойками с оборудованием. Чиллер подключался снаружи. Фанкойлы забирали горячий воздух с тыла стоек, охлаждали его и выдували на фронтальную сторону. Схема охлаждения — общий холодный коридор. Как и в решении Sun, чиллер не входил в комплект подставки и устанавливался рядом.
А вот самым маленьким МЦОД можно назвать детище компании NAAT. Компания умудрилась втиснуть стойки с ИТ-оборудованием внутрь фургона, смонтированного на базе легкого грузовика. Mobile Emergency Datacenter (MED) был предназначен специально для новостных компаний, которым требуется разместить коммуникационное оборудование в месте проведения крупных мероприятий либо спасательных операций. Этим объясняется и наличие спутникового канала связи. Внутри присутствуют 4 стойки для размещения оборудования, ИБП, система кондиционирования, предусмотрена подача питания от генератора.

Mobile Data Center (MDC) компании SunGard (рис. 5) базируется внутри длинного грузового полуприцепа. В базовом варианте располагаются мини-серверная для установки 25 серверов и рабочие места операторов. Также имеется возможность объединять контейнеры между собой. По сути, такой подход к МЦОД продиктован бизнес-стратегией компании, а именно — обеспечить клиенту сверхбыстрое развертывание сервисов и мобильного офиса.

Компания IBM в рамках большого проекта Project Big Green представила целый конструктор:

• Portable Modular Data Center (PMDC) — 20-ти или 40-футовые контейнеры (рис. 6), в которых размещались инженерные системы, реализованные на основе APC InfraStruXure. Стойки допускают установку стандартного оборудования. В состав входят системы кондиционирования, электропитания, ИБП. Количество стоек — от 8 (для 20-футового) и 17 высотой 47U (для 40-футового).
• Enterprise Modular Data Center (EMDC) — модульный дата-центр, который может развертываться из стандартных модулей для построения систем площадью от 500 до 2000 кв. м. Для дальнейшего наращивания и модернизации инженерной инфраструктуры предусмотрен модуль модернизации.
• High Density Zone (HDZ) — модуль, обеспечивающий дополнительное питание и охлаждение; предназначен для модернизации существующих дата-центров; его внедрение происходит без перерыва в работе оборудования.

Брат-близнец предыдущего решения — Smart Shelter Container (SSC) — представлен компанией AST. Хотя учитывая, что решение от AST все-таки появилось чуть раньше, возможно, что именно продукт IBM можно считать братом¬близнецом. Емкость — 19 стоек, удельная мощность на каждую из них может составлять от 5 кВт (в стандартном исполнении) до 30 кВт (специальный вариант для мейн-фреймов). Производитель заявляет возможность поставок вариантов 10-, 20-, 30-, 40- и 53-футовых ISO-контейнеров как в моноблочном исполнении, так и в виде мульти-контейнерных сборок. Проектный уровень эксплуатационной надежности — TIER III или TIER IV. Базовое решение поставляется в двух 40-футовых контейнерах: серверном (для размещения ИТ-оборудования) и сервисном (где размещаются чиллер, щиты, ИБП). Контейнеры поставляются в собранном виде, каждая из стоек располагается на подвижной платформе, которая позволяет перемещать шкафы с оборудованием во время работы для обеспечения доступа к ним как с тыла, так и с фронта. Кабели к шкафам подведены в гибких коробах, над шкафами расположены подпотолочные доводчики, позволяющие отводить тепло от них. Конструкция контейнера позволяет обеспечить уровень огнестойкости два часа. Все оборудование размещается на демпферных подставках. Для погрузочно-разгрузочных работ в серверном контейнере есть кран-балка. В каждом шкафу с тыльной стороны могут устанавливаться специальные двери, имеющие водяной теплообменник — такое решение позволяет увеличить отводимую мощность с каждой стойки. Контейнеры допускают установку друг на друга — вплоть до 4 этажей — и объединение их в модульное строение с внутренними и внешними коридорами (при этом это уже будет скорее легковозводимый модульный ЦОД).
Еще одна компоновка 40-футового контейнера — от компании Altron. Производитель предлагает полностью сконфигурированный дата-центр в составе 5 стоек, между которыми размещены рядные фанкойлы, позволяющие отвести до 50 кВт мощности (10 кВт на стойку). В контейнере присутствуют также чиллеры и ИБП. Основное достоинство такого решения — полнота, ведь весь комплекс размещается внутри контейнера. Уровень эксплуатационной готовности такой системы — Tier III.

Компания Verari презентовала систему FOREST (Flexible, Open, Reliable, Energy efficient, Scalable and Transportable — гибкое, отрытое, надежное, энергоэффективное, масштабируемое, передвижное решение). Все тот же контейнер в 40 футов (рис. 7), мощность ИТ-оборудования до 350 кВт. Возможны поставки с опциональным резервируемым ИБП, кондиционированием и возможностью подключения электропитания от двух энерговводов. Используется водяная система охлаждения с вертикальным расположением фанкойлов (они находятся на крыше) с организацией продувки стоек снизу вверх. При этом холодный воздух подается не к фронту оборудования, а проходит сквозь саму стойку. Для охлаждения воды требуется внешний чиллер. Производитель заявляет уровень надежности МЦОД — не ниже TIER III. Единственное, что почему-то не приводится в явном виде, — количество стоек и их габариты (лишь сказано, что можно разместить до 2880 блейд-серверов, используя платформу BladeRack2). Возможна также поставка контейнера с интегрированным ИБП, который не входит в комплект стандартного решения — в контейнере реализовано лишь распределение питания, кондиционирование (система пожаротушения с использованием газа FM-200), фанкойлы и мониторинг.
Не осталась в стороне и компания Hewlett Packard, представившая свое видение МЦОД — Performance Optimized Datacenter (POD) — рис. 8.

Система исполнена в контейнере 20 или 40 футов, емкость — до 22 стоек 50U при удельной мощности на стойку в 27 кВт. Компоновка стоек — длинный ряд. А вот чтобы перейти из холодного коридора в горячий, придется выйти из контейнера и зайти в другую дверь с тыльной стороны. Если быть точным, в контейнере присутствуют шесть дверей — четыре двойных для заноса оборудования и две одинарных для обслуживания. Воздушные доводчики в виде турбинных центробежных вентиляторов расположены напротив стоек (по два на каждую из них) и создают прямоточный вентиляционный канал, при этом выдувая воздух перед стойками. За потолком расположены теплообменники, которые подключаются к внешнему чиллеру и позволяют отводить тепло из контейнера.
Если у рассмотренных производителей вертикальное расположение контейнеров друг на друге только опция, то компания Dell сделала это штатным решением и назвала свой МЦОД Humidor. Как и в случае с решением AST, это два контейнера — сервисный и серверный. Серверный находится снизу, сервисный сверху (видимо, это сделано исходя из количества посещений каждого их них — в серверный ИТ-специалисты будут заходить чаще). Серверный контейнер содержит 24 шкафа для размещения любого 19-дюймового оборудования, идеология унификации также присутствует — Dell решила пожертвовать компактностью решения взамен стандартизации узлов (используются только универсальные устройства и узлы, что позволит ускорить время замены и снизить стоимость сервисного обслуживания). К сожалению, более детальная информация о данном дата-центре отсутствует — возможно, это связано с позиционированием решения: Dell предлагает выпускать МЦОД поштучно под конкретных заказчиков, а не как массовый продукт.
Компания Lampertz, известная в первую очередь своими катастрофоустойчивыми решениями для помещений, также решила сделать шаг для завоевания рынка МЦОД. Логично предположить, что все наработки в области защиты от внешних воздействий (огня, воды, пыли, взлома) также были воплощены в данном решении. Таким образом, собранное катастрофоустойчивое помещение, названное Outdoor Room, было вписано в габариты стандартного 20-футового контейнера. Инженерный комплекс традиционный — для охлаждения предполагается установка рядных кондиционеров с выдувом из-под фальшпола. Емкость контейнера составляет 7 шкафов 47U с удельной средней мощностью 4,3 кВт на шкаф. Сами же кондиционеры, ИБП и шкафы в комплект поставки не входят. Также заявлена и возможность размещения такого решения и в 40-футовом контейнере, и возможность стыковки контейнеров между собой. Однако в свете недавнего слияния компаний Lampertz и Rittal в качестве внутреннего наполнения предпо¬лагается инженерный комплекс на базе Rimatrix5, позволяющий отводить уже 30 кВт со стойки, используя внешний чиллер и водяную систему охлаждения.
Компания Bull, видимо чувствуя насыщение рынка привычными системами, решила сделать шаг в сторону оригинальности технического решения. В своем продукте Mobull она использует для охлаждения шкафов с ИТ-оборудованием двери с теплообменниками, при этом удельная мощность на шкаф 42U может достигать до 40 кВт. Выпускаются две версии — в 20-ти и в 40-футовом контейнере. В 20-футовой версии максимальная мощность составляет 240 кВт, позволяя разместить 6 стоек с оборудованием, в то время как 40-футовая — 15 шкафов при общей мощности до 550 кВт. Пока это наиболее высокий показатель по мощности ИТ-оборудования МЦОД в стандартном контейнере.
Упомянем также и компанию ActivePower, которая предлагает систему PowerHouse. Хотя это и не полностью законченное решение МЦОД, однако, его можно использовать в качестве сервисного контейнера, например, с продуктами Sun, HP либо аналогичными. Компания выпускает линейку продуктов мощностью от 200 кВт до 800 кВт (рассчитанных на питающее напряжение 400 В) или же от 240 кВт до 960 (для напряжения питания 480 В). Младшие модели в линейке выпускаются в 20-футовых контейнерах, остальные — в 40-футовых. Самая интересная деталь такого решения — применение исключительно динамических ИБП (инерционный маховик, совмещенный с дизельной электростанцией).
Однако не «зарубежом» единым жив рынок МЦОД. В странах СНГ также есть производители таких решений.

Компания «СИТРОНИКС Информационные Технологии» предлагает решение «СИТРОНИКС Датериум» (рис. 9). Главной его отличительной чертой является компактность и завершенность — дата-центр помещается в 20-футовый контейнер и включает в себя все необходимые инженерные системы. Внутри располагается 7 стоек высотой 42U, при этом общая мощность ИТ-оборудования составляет до 32 кВт, а удельная мощность — 2,5 кВт на единицу площади контейнера. Внутри контейнера находятся ИБП и фреоново-воздушные подпотолочные кондиционеры-доводчики (резервируемые по схеме N+1). Одна из главных особенностей данного МЦОД — стойки располагаются на подвижной платформе (приводимой в движение как вручную, так и электрическим приводом). Сверху над стойками находится тепловой экран, позволяющий изолировать потоки холодного и горячего воздуха в коридорах для увеличения эффективности работы кондиционеров. Стойки заменяемы и стандартны, как и все узлы в МЦОД (за исключением подвижной рамы и теплового экрана), что упрощает ремонт и обслуживание.
В контейнере организовано два входа: один для заноса оборудования, второй — для обслуживающего ИТ-персонала (выполняется непосредственно в холодный коридор). После загрузки серверное помещение может изолироваться от тамбура, благодаря металлическим ролетам, позволяя разграничить доступ к инженерным системам (для обслуживающего персонала) и серверному помещению (для ИТ-персонала). Предусмотрен также центральный мониторинг всех установленных инженерных систем.
Совсем недавно стали доступны и модели повышенной мощности, позволяющие разместить в 40-футовом контейнере до 80 кВт ИТ-оборудования с сохранением резервирования N+1 или 2N (в зависимости от модели).
Существуют две модификации решения — базовая MDC-20-T2 (уровень эксплуатационной надежности — TIER II, мощность устанавливаемого оборудования — до 32 кВт, компоновка в стандартном контейнере) и MDC-20-T3 (уровень эксплуатационной надежности — TIER III, мощность ИТ-оборудования — до 40 кВт, контейнер собственного изготовления).
Компания «Черус» предложила свое решение для МЦОД — CHERUS-MDC-24-1. В нем используется 20-футовый контейнер, в котором размещены 4 стойки для оборудования (допустима установка ИТ-оборудования мощностью до 30 кВт). Для охлаждения используются три моноблочных кондиционера (с резервированием N+1), размещенных на боковой стенке контейнера. А вот ИБП предусмотрены как для ИТ-оборудования, так и для кондиционеров — установлены два независимых модульных источника бесперебойного питания мощностью 30 кВт. Предусмотрены также две конфигурации решения с уровнями эксплуатационной готовности TIER II и TIER III.

МЦОД: концептуальные решения
Интересно, что далеко не всегда МЦОД появляются как заранее очерченное решение. Иногда мобильное решение появляется в рамках работы над конкретным проектом. Например, совсем недавно компания «Техносерв» также ступила на тропу инновационного течения, построив для корпорации «Иркут» резервный дата-центр в виде перемещаемого 40-футового контейнера, где размещаются стойки с оборудованием и инженерные системы. К сожалению, информации об этом проекте достаточно мало (возможно, в связи с тем, что МЦОД был создан во время работы над проектом нового пассажирского самолета МС-21).
Также невозможно не упомянуть и о концептах мировых брендов. Так, компания Google в 2008 году запатентовала «дата-центр водного базирования». Он содержит контейнеры с ИТ-оборудованием, которые размещаются на плавучей платформе в море, а вот энергию МЦОД получает от волн — для этого вокруг платформы дрейфуют генераторы цилиндрической формы, которые располагаются в воде. Охлаждение МЦОД организовано забортной водой.
Тем не менее, основные дата-центры Google, как и Microsoft, построены на базе более привычных контейнеров с высокой удельной мощностью на единицу площади (такое понятие еще называется footprint) и конструктивно схожи с решениями HP и Sun. При этом они располагаются внутри ангаров в несколько этажей и подключаются к общей системе энергообеспечения и охлаждения.
А вот для действительно сложных условий компания Smartronix выпускает систему Smart VMD (Virtual Mobile Datacenter). Изначально она задумывалась как высоконадежный передвижной вычислительный центр на время боевых действий — комплекс состоит из трех МЦОД, два из которых последовательно разворачиваются на передовом фронте сражений, а третий осуществляет поддержку всей системы, располагаясь в тылу. Один из этих МЦОД состоит из шести боксов класса 7U производства Hardigg и еще одного бокса, предназначенного для резервного копирования данных на магнитную ленту.

Взгляд в будущее МЦОД — перспективы и тенденции
Решений МЦОД, представленных сегодня на рынке, как видим, вполне достаточно, чтобы решить практически любую задачу клиента. Прослеживается и тенденция к стандартизации — если в ранних решениях все компоненты, включая контейнеры, выполнялись в виде заказных позиций, то в более поздних разработках все чаще используются стандартные элементы (например, большинство производителей используют именно стандартные ISO-контейнеры, ИБП, стойки и пр.).
Кроме того, наблюдается сегментация решений, которую инициируют сами производители: МЦОД может использоваться в качестве самостоятельного комплекса либо как специализированное дополнение к фирменному серверному и коммутационному оборудованию (пример — ICE Cube).
Несмотря на обилие игроков, рынок МЦОД относительно невелик, а высокая стоимость пока еще сдерживает потенциальных клиентов. Но как только деловая сфера начнет приходить в себя после затянувшейся экономической депрессии, реальный спрос на МЦОД значительно возрастет, ведь главные преимущества решений такого типа — мобильность, компактность и оперативность — всегда востребованы в условиях активного развития бизнеса.

Константин КОВАЛЕНКО,
главный инженер проектов,
отдел инженерных систем компании
«СИТРОНИКС Информационные
Технологии Украина»
KKovalenko@sitronics.com

Источник

Спокойная сельская местность в окрестностях реки Колумбия на северо-западе Соединенных Штатов стала местом крупного и, возможно, неожиданного противостояния между Интернет-гигантами. Именно там Google, Microsoft, Amazon и
Yahoo построили крупнейшие в мире и наиболее современные компьютерные центры: гигантские помещения с десятками тысяч серверов, являющиеся движущей силой следующего поколения Интернет-приложений. Впору назвать это гонкой вооружений дата-центров.

Данный регион привлек компании в силу дешевизны земли, наличия оптоволоконных каналов, достаточного количества воды, и, что еще более важно, недорогой электроэнергии. Сегодня эти факторы являются наиболее важными при строительстве крупных дата-центров, размеры и энергопотребление которых превосходят свои ранние аналоги на один или даже два порядка.

Эти новые дата-центры физически олицетворяют то, что Интернет-компании называют «облачными вычислениями». Идея заключается в следующем – распределенная сеть серверов, систем хранения данных и сетевого оборудования образует единую инфраструктуру для удаленной работы приложений и хранения данных, в то время как персональные компьютеры пользователей будут не более чем интерфейсом для взаимодействия с получившим новые возможности Интернетом.

Все это означает, что удаленные дата-центры, ранее являвшиеся незначительными и второплановыми игроками технического мира, теперь начинают играть ведущую роль. Однако эффективная разработка их конструкции, режима эксплуатации, определение местонахождения – сложнейшая задача. Инженеры, разрабатывающие современные масштабные дата-центры (их также называют Интернет-дата-центры, чтобы обозначить отличие от более ранних объектов), используют множество новых стратегий и технологий для сокращения строительных и эксплуатационных расходов, уменьшения энергопотребления, использования более экологичных материалов и процессов, и, в целом, создания более гибких и легко расширяемых объектов. Помимо прочего, в дата-центрах используется современное оборудование для управления питанием, водные системы охлаждения и более компактные конфигурации серверов, что в итоге значительно отличает современные дата-центры от традиционных серверных с воздушным кондиционированием.

Рассмотрим дата-центр компании Microsoft в Квинси, штат Вашингтон. Его площадь превышает 43600 м2, что примерно равно 10 полям для американского футбола. Компания не разглашает количество размещенных там серверов, но при этом сообщает об использовании 4,8 км охлаждающих трубопроводов, 965 км электропроводки, 92900 м2 гипсокартона и полутора метрических тонн источников резервного питания. Дата-центр потребляет 48 мегаватт электроэнергии – этого достаточно для питания 40000 домов.
Yahoo, штаб-квартира которого располагается в Саннивэйл, Калифорния, также выбрал небольшой городок Квинси (население 5044 жителей, расположен в долине, заполненной картофельными фермами) для размещения новейшего дата-центра площадью 13000 м2 – второй дата-центр компании в данном регионе. Компания рассчитывает эксплуатировать оба дата-центра без каких-либо выбросов в атмосферу за счет использования, помимо прочего, гидроэлектроэнергии, систем водного и воздушного охлаждения. Как отметили некоторые обозреватели, картофельные фермы понемногу вытесняются серверными.

Переместимся южнее. Google (штаб-квартира в Мантин-Вью, Калифорния) открыл огромный дата-центр на берегах реки Колумбия в Даллесе, штат Орегон. Объект состоит из двух зданий площадью по 6500 м2, причем ходят слухи о строительстве третьего здания. Так или иначе, Google пока никак не комментирует планы по расширению дата-центра. Также компания не раскрывает информацию о количестве установленных там серверов, потреблении энергии и воды. Сегодня тема дата-центров характерна интенсивным экспериментированием, так что желание компаний сохранить свои результаты в тайне вполне понятно.

Другой закрытый проект по строительству дата-центра реализуется в ста километрах к востоку – в Бордмане, штат Орегон. В прошлом году появились слухи, что его владельцем является крупнейший онлайн-ритейлер Amazon (штаб-квартира в Сиэтле), один из ведущих претендентов на рынок облачных вычислений. Считается, что объект будет включать три здания и подстанцию мощностью 10 МВт, однако компания отказывается уточнять детали.

Amazon, Google, Microsoft и Yahoo стараются идти в ногу с постоянно растущим спросом на такие Интернет-сервисы, как поиск информации, обмен изображениями и видео, социальные сети. Однако они рассчитывают и на взрывной рост Web-приложений, работающих на основе компьютерных вычислений. Данные приложения будут передавать пользователям информацию через Интернет-браузер, тогда как обработка и хранение данных будут производиться на удаленных серверах. Спектр приложений широк – от простой почты вроде Gmail и Hotmail до таких более сложных сервисов, как инструменты создания документов и таблиц Google Docs. К приложениям относятся и различные промышленные системы вроде системы управления взаимоотношениями с клиентами Salesforce.com. Так что гонка в облаках идет полным ходом. Ее ареной является не только тихоокеанский северо-запад, но и многие другие регионы в США и мире.
Уже имея более миллиона серверов, размещенных в трех дюжинах дата-центров по всему миру, Google тратит миллиарды долларов на строительство крупных объектов в Прайоре, Оклахома; Каунсил-Блафс, Айова; Ленуаре, Северная Каролина; и Гуз-Крике, Южная Каролина.

В прошлом году компания открыла сервис Google App Engine – «облачная» платформа, которую физические и юридические лица могут использовать для работы приложений. Microsoft, чей дата-центр в Квинси будет базой для первых версий «облачной» операционной системы Windows Azure, строит дополнительные объекты в Чикаго, Сан-Антонио и Дублине стоимостью приблизительно 500 миллионов долларов каждый. Также ходят слухи, что компания ищет место для строительства в Сибири.
Проектирование более крупных и совершенных дата-центров требует инноваций не только в системах питания и охлаждения, но и в компьютерной архитектуре, структуре сети, операционных системах и т.д. Некоторые инженеры заинтересованы самой возможностью проектировать компьютерные системы такого масштаба – или, как их иногда называют в самой Google, «компьютеры со склад».

Крупные дата-центры, созданные во время бума доткомов в конце 1990-х и начале 2000-х, состояли из тысяч и даже десятков тысяч серверов. Тогда их управляющие могли почти неограниченно увеличивать вычислительные мощности. Сервера, системы хранения данных, сетевое оборудование как в те дни, так и сегодня относительно дешевы в соответствии с Законом Мура. Для получения необходимых вычислительных мощностей надо было всего лишь установить или усовершенствовать оборудование и включить кондиционирование воздуха.

Однако в последние годы данный подход перестал быть удачным. Управление, питание и охлаждение огромного количества серверов, используемых компаниями, стало слишком затратным. Сегодня крупнейшие дата-центры состоят из десятков тысяч серверов, а некоторые уже перешли через отметку в 100 000. Дата-центры эпохи доткомов потребляли 1-2 МВт электроэнергии. Сегодня дата-центр, требующий 20 МВт – обычное явление, а потребление некоторых объектов вскоре превысит это значение в 10 раз.
Настройка столь большого количества серверов – их установка в стойки, подсоединение кабелей, установка программного обеспечения – требует массу времени. Что еще более важно, при росте цен на электроэнергию расходы на питание и охлаждение такого количества оборудования становятся попросту огромными. Исследование рынка, проведенное компанией IDC, показывает, что в течение следующих шести лет компании-владельцы дата-центров будут тратить больше денег в год на электроэнергию, чем на оборудование.

Дата-центры эпохи доткомов потребляли 1 или 2 МВт электроэнергии. Сегодня дата-центр, требующий 20 МВт – обычное явление, а потребление некоторых объектов вскоре превысит это значение в 10 раз. Более того, сегодня внимание регулирующих органов и заинтересованных экологией акционеров обращается на влияние дата-центров на окружающую среду. Согласно исследованиям консалтинговой компании McKinsey & Co., на 44 миллиона серверов во всем мире приходится 0,5% мирового потребления электроэнергии и 0,2% выбросов углекислого газа, что составляет 80 мегатонн в год и почти равно выбросам таких стран, как Аргентина или Нидерланды.

Проектировщики дата-центров понимают, что они должны сделать многое для повышения эффективности каждой системы на их объектах. Но что именно?

И снова компании не намерены сдавать свои позиции. При этом в попытках продемонстрировать растущую экологичность своей работы, Google, Microsoft и другие компании обнаружили некоторые интересные детали. Разумеется, некоторые инновации следует отнести на счет разработчиков оборудования, готовых обсудить свои идеи.
В первую очередь, рассмотрим серверную инфраструктуру дата-центра. Традиционно сервера устанавливаются в стойки. Каждый сервер – это отдельный компьютер с одним или более процессором, оперативной памятью, жестким диском, сетевым интерфейсом, блоком питания и кулером – все это заключено в металлическую оболочку размером с коробку для пиццы. Обычный двухпроцессорный сервер потребляет 200 Вт при максимальной загрузке, причем на долю процессора (CPU) приходится около 60% этого значения. Заполненная стойка, содержащая до 40 серверов размером с коробку для пиццы, потребляет 8 кВт. Если в стойке размещены блейд-сервера (компактные компьютеры, устанавливаемые вертикально на специальной подставке, наподобие книг на полке), то общее потребление стойки может быть в два раза больше.

Как правило, новые крупные дата-центры продолжают использование конфигурации в виде серверных стоек. Однако и здесь есть место для усовершенствований. Так, Microsoft заявила о возможности увеличить количество серверов в своих дата-центрах просто за счет более рационального управления их энергопотреблением. Смысл в том, что большое количество серверов крайне редко выходят на пиковый уровень загрузки одновременно, соответственно их энергопотребление следует рассчитывать исходя не из общей пиковой мощности, а из их среднего потребления. Согласно данным Microsoft, такой подход позволит разместить в некоторых дата-центрах на 30-50% больше серверов. Тем не менее, компания отмечает, что такая стратегия подразумевает тщательный контроль серверов и использование методов управления питанием во избежание перегрузки системы питания в экстренных ситуациях.

Способ организации серверов в дата-центрах Google – тайна. Однако известно следующее – компания полагается на дешевые компьютеры с традиционными многоядерными процессорами. Для снижения энергопотребления Google оснащает машины эффективными блоками питания и регуляторами напряжения, кулерами с изменяемой скоростью вращения, материнскими платами без каких-либо лишних компонентов вроде видеокарт. Google также проводил эксперименты с такой функцией CPU, как динамическое масштабирование напряжения/частоты. Она снижает напряжение или частоту процессора в определенные периоды (например, при отсутствии потребности в расчетах в данный момент). Сервер работает более медленно, снижая тем самым энергопотребление. В некоторых тестах инженеры Google добились 20-процентной экономии энергии.

Однако дата-центр состоит не только из серверов. Рассмотрим системы питания и охлаждения – именно в этой области на некоторых объектах добились максимальных усовершенствований. В обычном дата-центре электроэнергия проходит через множество трансформаторов и распределительных сетей, понижающих высокое напряжение переменного тока до стандартных 120 или 208 вольт, используемых в серверных стойках. В итоге к моменту подачи электроэнергии на сервера ее потери могут достигать 8-9%. Кроме того, в процессорах, оперативной и долговременной памяти, сетевых интерфейсах сервера используется исключительно постоянный ток, поэтому для каждого сервера необходимо выполнять AC/DC преобразование, что приводит к дополнительным потерям. В связи с этим в некоторых дата-центрах для снижения энергопотребления применяются высокоэффективные трансформаторы и распределительные сети, а некоторые эксперты предлагают использовать распределение постоянного тока высокого напряжения, что, по их словам, приведет к снижению потерь на 5 – 20%.

Еще более важной является экономия электроэнергии за счет использования современных технологий охлаждения. Как правило, в дата-центрах используются фальшполы над зоной холодного воздуха (так называемая пазуха) и системы вытяжки горячего воздуха в верхней части помещения. Основным недостатком такой схемы является возможность упущения перегревшегося устройства (например, загруженного сервера или коммутатора) и, как следствие, его сбоя. Во избежание этого в некоторых дата-центрах применяется охлаждение всей серверной до стабильно низкой температуры (обычно около 13°C). Сегодня в дата-центрах начинают использовать новые системы охлаждения, допускающие нагрев помещений до 27°C. Компания American Power Conversion Corp. (штаб-квартира в Вест-Кингстоне, Род-Айленд) предлагает специальную серверную стойку с кондиционером, направляющим холодный воздух непосредственно на сервера. Технологии «умного охлаждения» компании Hewlett-Packard предполагают использование датчиков внутри серверной для позиционирования вентиляционных решеток в полу и направления холодного воздуха непосредственно на нагретые машины, что повышает допустимую среднюю температуру дата-центра и снижает затраты на охлаждение на 25-40%.

Традиционные системы воздушного кондиционирования постепенно сменяются более эффективными системами водного охлаждения. Сегодня в крупных дата-центрах вместо энергоемких традиционных охладителей используются охлаждающие башни, удаляющие тепло из хладагента за счет испарения. Несколько производителей оборудования предлагают устройства для охлаждения на водной основе. Устройство Rear
Door Heat eXchanger от IBM устанавливается на задней стенке стойки и по сути представляет собой водную оболочку, удаляющую до 15 кВт тепла. Возвращаемся в эпоху мэйнфреймов!

Также ведутся работы по использованию холодного воздуха извне – метод, известный как воздушная экономизация. Согласно заявлениям Yahoo, в своем дата-центре в Квинси вместо традиционного круглогодичного кондиционирования компания применяет высокоэффективные воздушные кондиционеры на основе водяных охладителей и холодного воздуха извне для охлаждения серверов в течение трех кварталов из четырех.
Наконец, наиболее радикальным изменением, внедряющимся сегодня в некоторых крупнейших дата-центрах, является использование контейнеров для разворачивания серверов. Представьте себе расширение дата-центра с помощью простого добавления модулей, сочетающих вычислительные мощности, системы питания и охлаждения, вместо сооружения помещений с фальшполами, установки систем воздушного кондиционирования и постоянной сборки стоек.

Именно этот подход начинает использоваться такими компаниями, как IBM, HP, Sun Microsystems, Rackable Systems и Verari Systems. Модули представляют собой стандартные грузовые контейнеры, вмещающие около 3000 серверов, что в 10 раз больше, нежели можно разместить в традиционном дата-центре аналогичного размера. Их основным преимуществом является быстрота развертывания. Необходимо всего лишь ввезти модули в здание, опустить их на пол и подключить к сети питания. Кроме того, контейнерная конфигурация позволяет с легкостью обновлять оборудование – просто отвезите контейнер поставщику и дождитесь прибытия новой версии. Компания Sun первой выпустила контейнерный модуль. Модель MD S20 содержит 280 двуядерных серверов размером с коробку для пиццы, а также оборудование Sun для мониторинга и контроля. В целом модуль потребляет 187,5 кВт, или 12,6 кВт/м2. Потребление традиционных дата-центров с фальшполами является куда более скромным – в районе 0,5 кВт/м2. Контейнер от Verari Systems состоит из 1400 блейд-серверов, при этом можно использовать как встроенное, так и внешнее водное охлаждение. Потребление – 400 кВт, или 12,9 кВт/м2. Контейнер ICE Cube от Rackable Systems снабжен встроенной системой охлаждения и системой питания постоянного тока, потребляя при этом 16 кВт/м2.
В Чикагском дата-центре Microsoft, нацеленном на реализацию облачных проектов компании, применяется гибридный дизайн, сочетающий традиционные серверные с фальшполами и контейнерный модуль примерно на 200 серверов. Помещение, где размещены контейнеры, больше напоминает склад, нежели обычную охлаждаемую серверную. С потолка свешиваются трубы, готовые для подключения к контейнерам и подведения холодной воды и питания. По словам одного инженера Microsoft, все это похоже на «индустриализацию мира IT».

Так чего же добились Google и Microsoft? Чтобы интерпретировать некоторые опубликованные ими значения, сначала необходимо сказать пару слов про показатель энергоэффективности, ставший весьма распространенным в данной отрасли. Речь идет об эффективности использования энергии (power usage effectiveness, PUE), рассчитываемой как общее потребление электроэнергии объекта, разделенное на мощность, потребляемую только серверами, системами хранения и сетевым оборудованием. Если PUE близок к единице, то дата-центр использует большую часть электроэнергии на компьютерную инфраструктуру, а на системы охлаждения и потери в распределительной сети приходится лишь малая часть. PUE не является универсальным показателем, так как он не показывает эффективность самого вычислительного оборудования, но, тем не менее, это весьма удобный критерий.

Исследование, проведенное Агентством по защите окружающей среды США (EPA) в 2007 году, показывает, что PUE среднестатистического дата-центра составляет 2,0 или более. Это означает, что на каждый ватт, потребляемый серверами, системами хранения и сетевым оборудованием, приходится один ватт на системы охлаждения и распределения энергии. В исследовании предполагается, что к 2011 году большинство дата-центров благодаря улучшениям в оборудовании достигнет PUE, равного 1,7, кроме того, с использованием дополнительных технологий некоторые объекты достигнут показателя в 1,3, и небольшое количество новейших дата-центровс жидкостным охлаждением добьется значения в 1,2.

Интересно, что именно о таких достижениях уже сегодня отчитывается Google. Компания сообщает о среднем значении PUE в 1,21 в шести «крупных дата-центрах по собственному проекту», причем в одном из них PUE достигает 1,15 (по заявлениям компании, усовершенствования обеспечивают ежегодную экономию в 500 киловатт-часов, 300 кг выбросов углекислого газа и 3785 литров воды на один сервер). Как именно Google добился таких результатов – тщательно охраняемый секрет. Некоторые обозреватели считают, что случай Google является исключительным в силу того, что размеры компании позволяют ей приобретать исключительно эффективное оборудование, что слишком затратно для других компаний. Другие сомневаются в том, что достигнуть PUE в 1,15 возможно с учетом современного уровня технологий водного охлаждения, и делают предположения о нестандартной конфигурации объекта – например, об использовании контейнерной конструкции. В Google говорят только то, что на объектах используется различная архитектура питания и охлаждения. Так или иначе, очевидно, что инженеры Google мыслят нестандартно – компания запатентовала «водный дата-центр», контейнерные серверные модули которого помещаются на барже, а электроэнергия генерируется за счет волнения моря.

В свою очередь, недавно Microsoft сообщила о показателях PUE контейнерной части своего Чикагского дата-центра. Модули оказались весьма экономными, показав среднегодовое значение PUE в 1,22. Результат убедил компанию в том, что полностью контейнерные дата-центры – весьма разумное решение, несмотря на свою новизну. По сути, Microsoft выступает за контейнерную конфигурацию в своих дата-центрах следующего поколения, намереваясь использовать готовые модули, содержащие не только сервера, но и системы охлаждения и питания. При этом компания намеревается создать объект без крыши – дата-центр, который легко можно спутать с контейнерной площадкой.
Однако у контейнерной конфигурации есть и свои противники. Они считают, что заявляемое простое подключение контейнеров может быть невозможным – сначала потребуется подключение дополнительных регуляторов мощности, а для ремонта серверов потребуется отправка всего контейнера обратно к поставщику, что приводит к огромным трудозатратам. Так или иначе, сегодня Агентство по защите окружающей среды США следит за PUE множества дата-центров как контейнерной, так и традиционной конфигурации, и в ближайшие годы следует ожидать появления новых показателей и рекомендаций.

ОЧЕВИДНО, что по сравнению с сегодняшним днем дата-центры будущего будут представлять собой результат куда более глубоких усовершенствований. Прежде всего необходимо оборудование с намного более совершенным управлением питанием. Инженеры Google призывают системных архитекторов разрабатывать серверы, потребляющие энергию пропорционально объему производимых вычислений. Конструкция мобильных телефонов и портативных устройств обеспечивает экономию энергии с помощью режима ожидания, при котором устройство потребляет 1/10 или менее энергии по сравнению с пиковой мощностью. Сервера, в свою очередь, в незагруженном режиме потребляют до 60% от пиковой мощности. По сведениям Google, моделирование энергопотребления для серверов, способных изменять свое потребление в зависимости от загрузки, показало возможное снижение общего энергопотребления дата-центра в два раза.
Проектировщикам также необходимо найти иной способ доставки электричества к дата-центрам. Сегодня электроэнергия становится все более дорогой, и использование единственного источника (например, ближайшей электростанции) весьма рискованно. Для снижения зависимости от электросетей компании-операторы дата-центров должны изучить иные технологии получения энергии – солнечная энергия, ТВЭЛ, энергия ветра. То же самое относится и к воде и иным энергоемким материалам вроде бетона или меди. В крайнем случае, для повышения производительности и эффективности конструкция крупных вычислительных центров должна быть полностью пересмотрена.
Наконец, остается программное обеспечение. Сегодня все более популярными становятся инструменты виртуализации – что-то вроде операционных систем для операционных систем. Благодаря им один сервер может работать как несколько независимых машин. Некоторые исследования показывают, что средняя загрузка серверов в дата-центрах составляет 15% от их максимальной производительности. Это неплохой показатель, однако необходимы иные инструменты для автоматизации управления серверами, регулирования их энергопотребления, обмена распределенными данными, обработки сбоев оборудования. Программное обеспечение обеспечит развитие дата-центров, состоящих из недорогих серверов.

И они вырастут – но что потом? Станут ли дата-центры просто еще более обширными зданиями, забитыми серверами? Сегодняшние объекты создаются на основе существующего оборудования и традиционных методов строительства и эксплуатации. Как правило, дата-центры выполняют роль пристанища кучи компьютеров, вокруг которых снует технический персонал, налаживая работу или устраняя неполадки. Контейнеры являются более интересным вариантом, однако они также состоят из существующих серверов, стоек, блоков питания и т.д. Некоторые эксперты предполагают, что необходимо разрабатывать системы исключительно для дата-центров. В этом есть смысл, однако остается только догадываться, что будут представлять собой подобные объекты.

Английский вариант статьи