«Я назову компанию «Яблоко» (Apple), если к пяти часам утра следующего дня никто не предложит более удачного названия…»
Стив Джобс, из истории создания компании Apple

Продукция Apple, как и сам бренд, уже давно стала символом инновационности и креативности. Пришло время поговорить и о дата-центрах этой компании.

Компанию Apple, созданную креативным идеологом и харизматичным лидером Стивом Джобсом, всегда отличал оригинальный подход к выпуску своей продукции и сервисов, большая часть которых были пионерами в своей области. В то же время в Apple всегда была продуманная финансовая составляющая, которая позволяла компании активно развиваться и удерживаться на плаву, не просто следуя рыночным тенденциям, а создавая новые рыночные сегменты.

Интересно, что стратегически компания всегда не смущалась позиционировать свои продукты как некую «элитную», закрытую архитектуру, которая максимально дружественна пользователю и в то же время максимально закрыта. Поэтому с развитием интернета, когда появилась возможность хранить музыкальные записи, устанавливать приложения и развивать web-сервисы, компания сразу же пошла по пути развития своих дата-центров, способных предоставить касте фанатов собственные мощности и максимально предложить централизовать все сервисы на едином портале компании Apple, минуя промежуточный путь с арендой помещений и ресурсов. Именно поэтому в дальнейшем компания одной из первых начала предоставлять облачные сервисы, которые отлично согласовывались с глобальной стратегий Apple.

Информации относительно дата-центров Apple крайне мало: компания не старается сделать их публичными, размещая подробные отчеты и проводя экскурсии. В то же время в эпоху интернета сложно что-либо утаить от широкой общественности, поэтому проследим краткую историю становления дата-центров Apple

Итак, начало строительству первого дата-центра было положено в 2001 году. Дата-центр располагался в Купертино, недалеко от самой штаб-квартиры Apple в штате Калифорния (США). В дата-центре помещалось немногим более 2000 серверов.

Второй дата-центр был куплен Apple в 2006 году в Ньюарке (фото 1), штат Калифорния. Ранее этот ЦОД был построен компанией WorldCom. Площадь его составляла около 10 000 кв. метров. После этой сделки был приобретен дата-центр площадью 8300 кв. метров в Санта-Кларе, но его мощности так и не были до конца использованы.

Фото 1. Дата-центр в Ньюарке

Со временем стало понятно, что надолго мощностей данных площадок не хватит — потребуется ЦОД значительно большего размера и мощности. Поэтому возникла идея построить более масштабный дата-центр под задачи тогда еще только начинающего набираться обороты облачного сервиса iCloud.

Работы над созданием нового дата-центра начались в 2007 году с поиска площадки под будущий ЦОД. По результатам анализа были выбраны две площадки: одна в Вирджинии, вторая в Северной Каролине. Благодаря более выгодным налоговым льготам, которые получила компания Apple в Северной Каролине, чашу весов склонилась в сторону этого региона. Интересно, что в этом же регионе построили ЦОДы такие компании, как Facebook, AT&T. (Даже Google перед началом строительства ЦОД в Ленуар-Сити рассматривал данную местность в качестве возможной площадки.)

Первоначально планировалось выкупить здание текстильной фабрики, но его площадей по меркам компании оказалось недостаточно для дата-центра даже на непродолжительное время. Власти городка Мейден, дабы не терять инвестора, предложили большой участок земли всего в пяти километрах от этого места. В 2009 году недалеко от трассы № 321 была приобретена площадка 1 032 000 кв. метров, за которую Apple заплатила $3,5 млн. Интересный факт: часть земли пришлось приобрести у семейной пары, и 4 000 кв. метров частных владений были куплены у них за рекордные $ 1,7 млн. Торги длились достаточно долго, эта сделка получила большую огласку, а в прессе ее назвали «золотым акром». Семья, которая 43 года назад купила эту землю всего за $6000, после сделки с представителями Apple на вырученные деньги приобрела 200 000 кв. метров земли и построила роскошный дом. Вот что значит удачно расположить свой дом около центральной транспортной магистрали!

Участок земли разделили условно на две части — соответственно очередям строительства. Программа первой очереди строительства называлась Dolphin («Дельфин»), программа второй очереди — Dolphin 2 (фото 2).

Фото 2. Планировка площадки: белое здание на фото — дата-центр первой очереди, рядом резервное место для второго здания (второй очереди)

Символично, что дата-центр получил букву «i» (как и большинство продуктов Apple) и стал называться iDataCenter . Очереди возводятся по типовому проекту, поэтому дата-центры имеют зеркальные планировки. Площадь каждого здания — около 48 000 кв. метров (Кстати, в переводных русскоязычных материалах достаточно часто вместо квадратных футов фигурировали метры, из-за чего в прессе возник курьез: дата-центр называли чуть ли не самым большим в мире  ), полная проектная мощность дата-центра — 20 МВт. Предполагается возможность расширения дата-центра с помощью модульных контейнерных ЦОД вблизи от здания производства NxGen. Рядом с этой площадкой — два массива солнечных батарей общей мощностью 20 МВт (фото 3). Второй источник электроснабжения, который также используется для данного дата-центра, — электростанция, работающая на биогазе. Его получают от разложения биомассы, которая берется с ближайшей свалки. Производимый из биогаза метан проходит очистку и аккумулируется. Мощность электростанции составляет 5 МВт. Технология не нова, но здесь и не используется привычный принцип когенерационной установки для выработки электроэнергии — она получается химическим путем: путем окисления метана в твердооксидных топливных элементах Bloom Box Energy Server (фото 4). Но это не финальные цифры: планируется увеличение мощности обоих источников до 40 МВт (фото 5).

Фото 3. Общая планировка местности: вверху — ферма топливных элементов (зеленый прямоугольник), в центре — дата-центр (белый многоугольник), справа — массив солнечных элементов (большой зеленый многоугольник).

Фото 4. Топливные элементы на биогазе Bloom Box.

Фото 5. Солнечные батареи на фоне восходящего солнца смотрятся феерично

Что же касается системы охлаждения, то здесь используется водяная система с экономайзером, благодаря которому теплообменники охлаждаются наружным воздухом (без задействования чиллерной групп) около 75 % времени в году. Более того, компанией Apple заявлено, что чиллерная группа включается редко: только в то время, когда действуют льготные тарифы на электроэнергию.

Охлажденный теплоноситель хранится в аккумуляторных баках, расположенных около здания (фото 6). Такой подход позволяет сэкономить на охлаждении около 10 МВт/час в сутки.

Фото 6. Емкости для хранения воды и мощный защитный периметр

В iDataCenter применены также и другие меры снижения затрат на электроэнергию: дата-центр снаружи выкрашен в белый цвет — для уменьшения нагрева солнцем; электроснабжение оборудования в стойках трехфазное; во всем здании используются LED-светильники и вентиляторы с переменной скоростью вращения. За подобную «дружественность» к окружающей среде данный дата-центр был отмечен сертификатом LEED Platinum.

В качестве ИТ-оборудования активно применяется оборудование HP, системы хранения данных — TerraData и NetApp.

Впрочем, строительство дата-центров Apple не закончено: в октябре 2012 года начались работы над еще одним крупным ЦОД — в Прайнвиле, штат Орегон (кстати, через дорогу от этой площадки уже построен дата-центр Facebook, кроме того, в этом же регионе находятся дата-центры Google и Amazon). Причина популярности этой местности — освобождение от налога на недвижимость, которое предоставляют местные власти. Информация о данном объекте покрыта завесой тайны, как и дата окончания его строительства, но, предположительно, мощность дата-центра составит около 20 МВт. Планируется построить две очереди, каждая из которых будет представлять собой независимое здание площадью 31 500 кв. метров. В планах компании — перевести данный объект на электропитание от альтернативных источников электроэнергии. Также предполагается широкое использование контейнерных дата-центров NxGen (фото 7).

Фото 7. Модульный дата-центр NxGen, который активно использует Apple

Рассматривая историю становления дата-центров Apple, можно увидеть определенные тенденции, характерные для этой компании. Во-первых, четко обозначены цели дата-центров: если первый был стартовой площадкой, то второй и третий — это дата-центры для хранения контента iTunes и AppStore. Развертывание облачных технологий iCloud потребовало от компании создания больших собственных дата-центров с высокими требованиями к энергоэффективности и экологичности, чтобы уменьшить затраты на их содержание.

Во-вторых, компания изменила концепцию покупки готового дата-центра на концепцию построения своего ЦОД. И все это несмотря на то, что купленные дата-центры обошлись ей более чем в два раза дешевле среднерыночной стоимости. Можно предположить, что реализация крупных дата-центров слишком привязана к бизнес-модели клиента, и дата-центр одной крупной компании будет совершенно нецелесообразен для другой, имеющей отличный от нее бизнес. Соответственно купить дата-центр, удовлетворяющий идеально всем характеристикам, у Apple бы не вышло.

В-третьих, перевод дата-центров на 100-процентное электроснабжение от возобновляемых источников электроэнергии дает эффект не только в плане усиления имиджа компании, но и вполне реальный экономический эффект и стабилизацию стоимости содержания. Примечательно, что компания Apple делает упор именно на этом факторе, а не на рекордном уменьшении PUE. Энергонезависимость дата-центров позволяет не привязываться к нахождению вблизи больших электростанций, а значит, и уменьшает стоимость инфраструктуры энергоснабжения.

Константин Коваленко

Журнал ЦОДы.РФ №3 май 2013