Облачные дата-центры Baidu щеголяют инновациями

Компания Baidu, которой принадлежит самый популярный китайский поисковик, решила вывести процесс проектирования и построения центров обработки данных для облачных вычислений на принципиально новый уровень. Инженеры Baidu добиваются повышения производительности своих облачных ЦОД путем перехода на новое высокотехнологическое оборудование, включая серверы на базе процессоров с архитектурой ARM, разработанные по специальному заказу серверные стойки типа “все-в-одном”, уникальные 10-гигабитные коммутаторы, устанавливаемые на верху каждой стойки (Top-of-Rack; ToR), и твердотельные диски (SSD) собственной разработки. Представители компании отмечают, что использование передовых технологий в китайских ЦОД позволит сделать их ориентиром для всей индустрии.

Коммутаторы для установки в верхней части серверной стойки (ToR) собственной разработки

В одном из своих новых ЦОД для облачных вычислений Baidu используют 10-гигабитные коммутаторы типа ToR собственной разработки. К настоящему моменту такие устройства были установлены в более чем 5000 серверных стойках. Так китайцы создали серверный кластер, который считается крупнейшим кластером на базе 10-гигабитных ToR-коммутаторов на местном рынке.

С помощью аппаратного и программного обеспечения собственной разработки, помощи ODM-производителей (Original Design Manufacturing – изготовление изделий по оригинальному проекту), а также за счет использования кабелей с прямым подключением (Direct Attached Cable; DAC) стоимость 10-гигабитных ToR-коммутаторов Baidu почти такая же, как у доступных на рынке ToR-коммутаторов на 1 Гб. Baidu начала исследования и разработки в области ToR-коммутаторов в 2011 году. Устройства первого поколения появились уже в 2012 году.

Масштабное внедрение ARM

Облачный ЦОД Baidu под названием Baidu Pan в Нанкине (столица провинции Цзянсу), на создание которого компания планирует в течение 4 лет выделить порядка 754 млн. долларов США, стал одним из первых объектов такого рода (на международном уровне), где произошло масштабное внедрение серверов с процессорами на базе архитектуры ARM. Представители Baidu говорят, что благодаря интеграции платформ X86 и ARM, доработке и миграции приложений в соответствии с наборами инструкций, а также улучшению средств контроля и наладки и их адаптации под экосистему серверов ARM новые ЦОД для облачных вычислений обладают всеми преимуществам 32-разрядных серверов на базе архитектуры ARM.

В ЦОД Baidu Pan были установлены серверы с 4-ядерным процессором Armada XP, контроллером хранения данных Marvell и 10-гигабитным коммутатором Ethernet. Все эти элементы интегрированы в одну систему на кристалле (System-on-a-Chip; SoC).. Процессор Armada был разработан специально для облачных сред. Он работает на частоте 1.6 ГГц, а энергопотребление чипа ниже 10 Вт. Представлен он был в ноябре 2010 года. Marvell адаптировала решение специально под нужды облачного хранилища Baidu.

По словам представителей китайской компании, платформа Marvell позволяет увеличить емкость модуля формата 2U до 96 ТБ. В случае ее использования в среде Baidu, энергозатраты ЦОД могут быть существенно снижены. Объем потребляемой ARM-сервером электроэнергии значительно ниже, чем в случае даже самых энергоэффективных x86-серверов. Специалисты Baidu говорят, что ARM-серверы позволяют добиться уменьшения совокупной стоимости владения ЦОД на 25% и повысить плотность установки систем хранения данных на 70%.

Baidu запатентовала десять технологий при разработке своих ARM-серверов. Чипы ARM изготавливаются по лицензии британцев производителями полупроводниковой продукции по всему миру, а не самой ARM Holdings. Значительное преимущество данной платформы перед разработками конкурентов заключается в ее открытости. Китайцы отмечают, что масштабный переход на 64-разрядные процессоры на базе архитектуры ARM намечен на 2014 год, когда данная технология, как ожидается, станет еще более совершенной.

Твердотельные накопители (SSD) собственной разработки

ЦОД для облачных вычислений в Нанкине отличается от остальных и в том плане, что в нем впервые была развернута крупная система хранения данных на базе твердотельных накопителей (Solid State Disk; SSD) собственной разработки Baidu.

В дата-центрах Baidu хранятся сотни петабайт информации. В день поисковик обрабатывает десятки петабайт данных. Чтобы выполнить эту незаурядную задачу, необходимо создать очень быструю систему хранения больших объемов данных, позволяющую обрабатывать огромное количество запросов в режиме реального времени. Поэтому специалисты Baidu разработали SSD-накопители, заточенные под конкретные задачи.

По сравнению с современными SSD-накопителями с SATA портом производительность твердотельных накопителей, которые были разработаны Baidu, в шесть раз лучше, при этом их стоимость на 10% меньше. Если сравнивать с современными устройствами на базе порта PCI Express, то производительность SSD-накопителей Baidu в два раза производительнее, а их стоимость меньше на целых 40%.

Созданные по индивидуальному заказу стоечные серверы

ЦОД для облачных вычислений в Нанкине также обзавелся разработанными по специальному заказу стоечными серверами. Причем это проект опять же стал самым крупным по масштабу в Китае. В состав новых стоечных серверов вошли предварительно интегрированные серверы, коммутаторы и структурированные кабельные системы. Использование подобных устройств помогло значительно повысить эффективность развертывания серверного оборудования в машзалах ЦОД.

По словам Чжу Енджона, который выполняет обязанности вице-президента Baidu по разработке новых систем, созданные по индивидуальному заказу стоечные серверы помогли китайской компании решить многие проблемы, который присущи традиционным ЦОД с площадками для размещения клиентского оборудования (колокейшн). Речь идет о таких проблемах, как ограничения по занимаемому пространству и плотности вычислительной мощности. Кроме того, до перехода на новые серверы компания Baidu испытывала проблемы со структурированием всевозможных кабелей, эффективностью развертывания систем, интеллектуальным управлением инфраструктурой и оценкой доступных ресурсов.

«Благодаря серверам с инновационной конструкцией нам удалось на 10% снизить полную стоимость владения серверами в ЦОД для облачных вычислений в Нанкине и увеличить максимальную эффективность развертывания оборудования почти в десять раз», сказал топ-менеджер Baidu.

Стоечные серверы были созданы по открытым стандартам, что позволяет избежать зависимости от конкретного вендора и дает больше свободы операторам дата-центра для экспериментов с оборудованием. Оператор крупнейшей в Китае поисковой системы при работе над серверами обратился за помощью к тайваньским ODM-производителям Quanta Computer и Wistron, участвующим в проекте Open Compute Project (OPC), инициатором которого является крупнейшая соцсеть Facebook.

Как известно, целью данной программы является стандартизация оборудования ЦОД, чтобы впоследствии появилась возможность напрямую поставлять его участникам OPC, одним из которых и является Baidu. Как и другие инициативы в области стандартизации, данный проект ставит своей задачей упростить переоборудование ЦОД и снизить расходы. Примечательно, что помимо Baidu, заказы на поставку «white-box» серверов (не имеющих фирменной маркировки) у Quanta и Wistron разместила и корпорация Microsoft. К слову, параллельно OPC китайцы участвуют и в местном проекте по разработке серверов с открытыми спецификациями под названием Project Scorpio (Проект Скорпион).

Энергоэффективность дата-центров Baidu

Нужно отметить, что к настоящему моменту Baidu создала одни из самых энергоэффективных ЦОД для облачных вычислений в Китае. Инженеры компании используют целый ряд энергосберегающих методов и технологий, специальным образом оптимизированную структуру системы электропитания для уменьшения потерь электроэнергии при преобразовании из переменного тока в постоянный и обратно. Кроме того, специалисты китайской компании стараются максимизировать использование естественного охлаждения путем оптимизации температуры подаваемого / возвращаемого хладагента, циркулирующего в контуре СЖО. Инженеры Baidu также используют программное обеспечение для вычислительной гидродинамики (Computational Fluid Dynamics; CFD), чтобы добиться улучшения температурного режима в серверах.

Все это позволяет операторам ЦОД Baidu использовать естественное охлаждение на протяжении шести месяцев в году. Сообщается, что среднегодовой по всем ЦОД Baidu коэффициент эффективности использования энергии (Power Usage Effectiveness; PUE) составляет 1.37. Представители компании отмечают, что при оптимальных условиях показатель можно довести до 1.18.