Facebook Open Compute Project формирует аппаратные платформы для больших данных

Представители Facebook и Open Compute Project (OCP) на днях объявили о том, что им удалось сделать огромный шаг на пути к установлению стандартов наиболее эффективных аппаратных средств для серверов, систем хранения данных и дата-центров, а также для организации масштабируемых вычислений (применительно к суперкомпьютерам).

Напомним, 18 месяцев назад соцсеть Facebook дала старт инициативе OCP, надеясь вовлечь специалистов и организации извне в процесс создания улучшенного оборудования для крупномасштабных вычислений. Свою деятельность группа начиналась с одной компании (самой Facebook) и 200 специалистов. В настоящее время в ее состав входят более 50 компаний. Более 2000 участников инициативы присутствовали на мероприятии Open Compute Platform Summit, которое прошло на минувшей неделе в Санта-Кларе, штат Калифорния (США).

Представители OCP отмечают, что разрабатываемые стандарты в перспективе помогут создавать аппаратное обеспечение, которое будет в среднем на 24% более энергоэффективными и на 38% более экономичным, чем стандартные аналоги. Группа работает над техническими требованиями для систем хранения, проектирования материнских плат и серверов, стоек, обеспечения совместимости, управления оборудованием, а также проектирования центров обработки данных.

«Мы знаем, что нам нужно, и мы видим текущие и будущие проблемы, которые несут с собою такие факторы как рост объемов данных и интенсификация аналитики, увеличение вычислительных мощностей и появление масштабных центров обработки данных», сказал Франк Франковский, вице-президент Facebook по дизайну оборудования и обеспечению поставок. Франковский также явялется председателем Open Compute Foundation в составе ОСР. Этот фонд был смоделирован по образу и подобию Apache Software Foundation.

Поставщики аппаратного обеспечения также присоединились к OCP и занимаются проектированием «железа» в соответствии с предложенными группой техническими характеристиками. В мае AMD и Intel объявили о начале совместной работы с членами OCP — Fidelity и Goldman Sachs – по созданию новых плат для обработки финансовой информации. Отметим, что оба чипмейкера представили готовые продукты во время мероприятия на минувшей неделе.

Корпорация Intel внесла свой вклад в развитие технических характеристик OCP, представив спецификации для технологии соединений на базе кремниевой фотоники (Silicon Photonic). Уже сейчас эта технология позволяет передавать данные со скоростью выше 100 гигабит в секунду — почти в два раза больше самого быстрого традиционного аналога, доступного в настоящее время. Во время презентации технологии главный технический директор Intel, Джастин Раттнер, отметил, что в скором времени в продаже появятся продукты Intel, которые позволят ликвидировать ограничения для ввода / вывода данных как внутри серверов, так и при объединении серверов в рамках стоек, а стоек – в рамках дата-центров.

«На создание этой технологии ушли десятилетия. Она имеет огромный потенциал благодаря сочетанию скорости, низкого энергопотребления и низкой стоимости», сказал Раттнер.

Dell также представила на мероприятии свои разработки, демонстрируя OCP-совместимые серверы на базе Intel и ARM, которые скоро попадут в продажу. К числу других производителей, которые работают над OCP-совместимыми аппаратными платформами и компонентами или уже наладили поставки подобных продуктов, относятся Applied Micro, Calxeda, Delta, Emerson и Hyve Solutions.

Снижение издержек в OCP-совместимых продукты сводится к двум парадигмам проектирования: унифицированность (совместимость) и дезагрегация (разукрупнение). В качестве примера парадигмы совместимость OCP представила «общую архитектуру слота» (common slot architecture), которая позволит чипам ARM и х86 сосуществовать на одной материнской плате. Такой дизайн даст конечному пользователю организационную гибкость для тестирования и настройки серверов, чтобы добиться наилучшей производительности. При этом пользователь впоследствии сможет перенастроить систему, когда изменятся нагрузки, и ему не придется принимать во внимание ограничения, накладываемые проприетарным дизайном. Технические характеристики поддерживаются AMD, Applied Micro, Calxeda и Intel.

Дезагрегация предполагает разделение и модулизацию систем хранения данных, вычислительных блоков, соединений, блоков питания, систем охлаждения и других компонентов. С ее помощью компании могут создавать заказные (кастомные) конфигурации, ориентируясь на свои требования касательно рабочей нагрузки.

Этот подход также поддерживает интеллектуальные технологические обновления, поэтому компании могут менять стремительно развивающиеся компоненты (например, процессоры), продолжая эксплуатировать медленно развивающиеся компоненты, такие как память и сетевые интерфейсные карты.

«Ваш процессор может на пять поколений отставать от современных аналогов, в то время как 80% других компонентов сервера все еще будут пригодны к использованию и будут обладать достаточной производительностью», заявил Франковский, отметив, что монолитные конструкции не позволяют заменять компоненты с ограниченным сроком службы, такие как процессоры. «Интеллектуальные технологические обновления имеют смысл не только с финансовой точки зрения — подумайте о том, насколько меньше ИТ-оборудования будет попадать в поток отходов».

Несмотря на то, что многие члены OCP являются гипермасштабными интернет-компаниями, на мероприятии было отмечено, что уже через несколько лет усилия этой группы принесут пользу компаниям с обычными требованиями к вычислительным системам.

«Hadoop, Hive, Hbase и другие новые платформы ускоряют рост принятия больших данных, поэтому задачи в разрезе работы с большими данными, решаемые нами в данный момент, являются задачами, с которыми столкнутся все остальные в ближайшее время», сказал Джей Парх, вице-президент Facebook по проектированию инфраструктуры.