Корпорация General Motors сильно изменилась с момента выхода из процедуры банкротства, который имел место три года назад. Сейчас в ее распоряжении имеются огромные деньги, часть которых недавно пошла на устранение зависимости автопроизводителя от IT-аутсорсинга, благами которого GM пользовалась на протяжении последних 20 лет. Одним из плодов трансформации бизнес-модели американцев стал новый корпоративный центр обработки данных в городе Уоррен, штат Мичиган (США), стоимость которого превышает $ 150 млн.

Ожидается, что устранение множества небольших серверных ферм по всему миру с последующей консолидацией вычислительных мощностей в Уоррене позволит сократить потребление электроэнергии корпоративной IT-инфраструктуры автопроизводителя на целых 70 процентов. По словам технического директора General Motors Рэнди Мотта, если этот прогноз окажется правдивым, инвестиции в строительство нового дата-центра в Уоррене окупятся в течение трех лет.

Мотт недавно сообщил, что благодаря усилиям GM по повышению экологичности нового дата-центра объект прошел сертификацию на соответствие стандарту LEED с присвоением категории «Gold». Эксперты организации Green Building Council, которая разработала данный эко-стандарт, оценили важность мероприятий по повышению энергосберегающих функций как самого ЦОД, так и расположенных рядом с ним строений. Особая похвала досталась создателям зарядных станций на солнечных батареях для электрических автомобилей, которые разместились на парковке рядом с серверной фермой.

Немаловажную роль сыграл и тот факт, что создателям дата-центра удалось утилизировать или использовать повторно 99 процентов строительных отходов, в том числе 8700 тонн асфальта, картона, бетона, металла, пластика и дерева. Кроме того, они повторно использовали более 86000 кубических метров почвы для озеленения близлежащих территорий и создания пешеходных дорожек. Примечательно, что только 5 процентов дата-центров во всем мире прошли сертификацию на соответствие требованиям эко-стандарта LEED с присвоением категории «Gold».

По словам Мотта, строительство этого дата-центр является частью гораздо более масштабного «цифровой трансформации» компании. General Motors консолидирует свою IT-инфраструктуру из 23 дата-центров, которые разбросаны по всему миру (большинство объектов арендуется), в нескольких гипермасштабных ЦОД, для обслуживания которых нанимаются дополнительные инженеры. Причем происходит такое впервые с 1996 года. В ближайшие три-пять лет GM планирует нанять 8500 новых IT-специалистов, причем 1600 из них будут работать в городе Уоррен. Топ-менеджер отметил, что компания уже увеличила численность IT-специалистов с начальных 1700 до 7000 человек.

Так выглядит машзал внутри корпоративного дата-центра в GM Уоррене. Сейчас с помощью доступной IT-инфраструктуры организована работа 2500 виртуальных серверов, но это лишь крошечная доля потенциальной мощности нового ЦОД

В начале сентября исполнительный директор General Motors и директор по информационным технологиям и инженерной инфраструктуре компании Джефф Лидел устроил для представителей профильных СМИ экскурсию по дата-центру в городе Уоррен. В ходе этой экскурсии стало понятно, что, несмотря на различия потребностей GM и крупных интернет-компаний вроде Amazon, Facebook или Google, автопроизводитель успешно перенял опыт IT-гигантов в области строительства серверных ферм.

Эксперты отмечают, что для достижения прогнозной производительности ЦОД в Уоррене GM потребуется несколько лет, но компания уже начала строительство другого крупного объекта в Милфорде – рядом со своим испытательным полигоном.

«В IT-бизнесе строительство дата-центров подобного масштаба явление довольно редкое, а сам процесс – очень затратный», сказал Лидел. «Поэтому нам нужно, чтобы все было сделано, как следует».

Создание облака под крышей

Центр управления сетью и IT-операциями GM, с помощью которого контролируется вся IT-инфраструктура компании, системы OnStar, а также программно-аппаратные комплексы для дизайна и проектирования автомобилей

«Теперь, когда большая часть вычислительных мощностей сконцентрирована в одном кампусе ЦОД, нам больше не нужно платить за использование высокоскоростных сетей, как это было раньше», объяснил Лидел. «Этот ЦОД уже связан оптоволоконной линией со строящимся объектом на полигоне в Милфорде».

Специалисты GM также добились централизации механизма управления всеми IT-ресурсами компании, дополнив серверную ферму в Уоррене новым центром управления сетью и IT-операциями. Оттуда специалисты General Motors осуществляют среди прочего и мониторинг состояния облачной инфраструктуры компании.

«Облако является неотъемлемой частью нашего дата-центра», сказал Лидел. «Наши инженеры получают доступ к вычислительным мощностям в рамках модели IaaS (Infrastructure-as-a-Service, Инфраструктура как услуга). Это существенно упрощает разработку и использование специализированного ресурсоемкого ПО, а также проведение моделирования и тестирования».

Для GM облако означает возможность автоматизированного предоставления виртуальных серверов, развернутых с помощью доступного аппаратного обеспечения (которое в значительной степени состоит из блейд-серверов Hewlett-Packard в корпусах HP C7000). Виртуализация вычислительных мощностей и создание облачной инфраструктуры осуществляются с помощью инструментов HP, IBM и VMware. Автоматизированная система предоставления виртуальных серверов, которую использует General Motors, позволяет команде Лидела развертывать новые серверы уже через пару часов после поступления соответствующего запроса. Это не так быстро, как в случае Amazon, но специфичность задач, возникающих перед операторами дата-центра GM, приводит к некоторому замедлению процесса.

СХД производства HP, развернутая внутри дата-центра в Уоррене

А настоящее время на базе физической IT-инфраструктуры корпоративного дата-центра автоконцерна работает около 2500 виртуальных серверов. 88 процентов виртуальных машин работают под управлением одной из двух стандартных для General Motors операционных систем: SUSE Linux и Microsoft Windows Server 2008 R2. Остальные 12 процентов виртуальных серверов используются в связке с другими ОС для обеспечения работоспособности специализированого программного обеспечения.

Хранилище данных General Motors состоит из СХД производства HP, а также кластера серверов IBM, на которых работает Hadoop, и системы аналитики Teradata. Лидел сказал, что GM использует Hadoop для нормализации массивов данных, после чего для выполнения углубленного анализа информации применяется аналитический движок Teradata.

Охлаждение серверов

В корпоративном дата-центре General Motors имеется 47-дюймовый фальшпол, посредством которого к каждой стойке подведены избыточные каналы охлаждения, электропитания и сетевая инфраструктура

«При разработке системы охлаждения серверов мы решили воспользоваться холодным климатом, который характерен для штата Мичиган восемь-девять месяцев в году», объяснил Лидел. «Система охлаждения дата-центра включает в себя три блока испарительного охлаждения. При этом три огромных чиллера выступают в качестве резервного механизма для оптимизации температурного режима серверного оборудования. Иногда они используются и для нагрева воды».

На данном этапе двух чиллеров достаточно, чтобы справиться с IT-инфраструктурой дата-центра. Наряду с системой испарительного охлаждения операторы ЦОД активно используют механизмы теплоаккумуляции. Эти механизмы способны снабжать систему охлажденной водой в течение 30 минут в случае, если чиллеры и система испарительного охлаждения выйдут из строя.

Повышению эффективности системы охлаждения дата-центра также способствует использование внутрирядных кондиционеров. Шесть таких устройств установлены в каждом кластере их серверных стоек. Стойки расположены в форме прямоугольного блока и имеют общий «горячий» коридор. Вентиляторы внутри серверов автоматически регулируют интенсивность нагнетания воздуха внутрь машин в зависимости от текущей нагрузки.

Лидел отметил, что использование в серверных фермах центральной системой вентиляции и кондиционирования воздуха может обернуться весьма неприятными последствиями для операторов ЦОД, так как могут появляться так называемые «горячие» и «холодные» зоны. Но с помощью небольших вычислительных кластеров с индивидуальными внутрирядными кондиционерами система эффективнее доставляет охлажденный воздух в те области, где он действительно необходим. Если в одном из кластеров фиксируется отказ системы распределения воздуха, изоляция автоматически снимается, и серверы некоторое время охлаждаются с помощью общей системы вентиляции и кондиционирования воздуха дата-центра.

ИБП почти не нужны

Один из двух дизельных генераторов в уорренском дата-центре

Повышенная экологичность дата-центра GM в Уоррене достигается не только благодаря энергоэффективной системе охлаждения серверов. В случае чрезвычайной ситуации, влекущей за собой нарушение в системе централизованного электроснабжения, операторы ЦОД не прибегают к помощи массива свинцово-кислотных аккумуляторов – тут используются маховиковые агрегаты бесперебойного питания от Piller, которые вырабатывают электроэнергию за счет вращения практически семитонных маховиков со скоростью в 3300 оборотов в минуту. К слову, эта уникальная технология используется менее чем в 2 процентах дата-центров по всему миру.

Маховики способны снабжать мощный дата-центр электроэнергией около 15 секунд. Этого вполне достаточно для включения двух гигантских дизельных электрогенераторов мощность по 5800 лошадиных сил каждый. В ЦОД имеются резервуары на 24 тыс. литров дизельного топлива, которого хватит, чтобы ДГУ вырабатывали 3 мегаватта электроэнергии в течение 48 часов. Эти резервуары могут непрерывно заправляться, что позволяет дата-центру работать произвольно долго без центрального электроснабжения.