Реализация проектов по возведению гипермасштабных дата-центров требует наличия огромных финансовых ресурсов и готовности отказаться от стандартного серверного и вспомогательного оборудования в пользу проектируемых собственными силами аналогов.
Это, пожалуй, главные «подводные камни» такого подхода к развертыванию вычислительной инфраструктуры, у которого на самом деле гораздо больше плюсов, чем минусов. Ведь владелец мега-ЦОД может сократить эксплуатационные расходы за счет внедрения заточенного под собственные нужды «железа», лишенного ненужных энергопотребляющих компонентов. Это, в свою очередь, также способствует удешевлению оборудования и ведет к снижению капитальных затрат. Кроме того, владельцы гипермасштабных дата-центров могут заказывать оборудование оптом и диктовать условия вендора, выбирая более сговорчивых партнеров.
Некоторые интернет-компании пока только делают первые шаги в направлении внедрения этой концепции, тогда как другие уже вовсю строят гипермасштабные ЦОД во многих уголках мира. Это наглядно демонстрируют примеры компаний LinkedIn и Facebook.
LinkedIn закладывает основу для нового мега-ЦОД в Сингапуре
Социальная сеть LinkedIn объявила об открытии своего первого дата-центра за пределами США. Причем речь идет не о стандартном ЦОД, а о дата-центре, который впоследствии может превратиться в гипермасштабный.
Первая очередь сингапурского проекта LinkedIn завершилась вводом в эксплуатацию дата-центра общей площадью в 23.5 тыс. квадратных футов (без малого 2,2 тыс. квадратных метров). Чтобы укрепить присутствие в Азиатско-Тихоокеанском регионе, компания планирует по мере необходимости расширять эту серверную ферму.
Строительство нового ЦОД обошлось компании в $ 58,3 млн. Этот проект был запущен в ответ на значительное увеличение пользовательской базы соцсети в Азиатско-Тихоокеанском регионе. Согласно официальным данным LinkedIn, число пользователей соцсети из данного региона за период с января 2013 года по январь 2016 года увеличилось более чем в два раза и достигло отметки в 85 миллионов человек, включая 16 миллионов юзеров в Юго-Восточной Азии, 34 млн. в Индии и 7 миллионов в Австралии. Для справки: во всем мире насчитывается более 414 миллионов пользователей LinkedIn. Представители компании также сообщили, что выручка LinkedIn от бизнеса в Азиатско-Тихоокеанском региона выросла более чем в три раза за последние три года.
Сингапурский дата-центр LinkedIn будет обрабатывать весь интернет-трафик соцсети в регионе, а также одну треть мирового трафика, идущего через серверы LinkedIn. ЦОД мощностью в 4,2 мегаватт будет соответствовать в плане энергопотребления дата-центру соцсети в Орегоне (США), ввод которого в эксплуатацию намечен на 2016 год. У компании также есть дата-центры в американских штатах Вирджиния и Техас.
При строительстве нового ЦОД в Сингапуре инженеры LinkedIn использовали передовые технологии и новейшие инфраструктурные решения. Конструктивные особенности этого ЦОД, как ожидается, позволят сократить ежегодное потребление электроэнергии дата-центра на величину, эквивалентную спросу на электричество со стороны около 100 среднестатистических домохозяйств Сингапура. По данным компании Singapore Power, которая отвечает за передачу и распределение электроэнергии в Сингапуре, среднее энергопотребление одного домохозяйства азиатской страны составляет 602 кВт*ч в месяц.
Представители компании отметили, что в ее сингапурском ЦОД команда инженеров LinkedIn впервые начала устанавливать стойки высотой в 52U вместо стандартных аналогов высотой 48U. Это позволяет разместить по четыре дополнительных сервера внутри каждой монтажной стойки. Увеличение количества серверов в стойках позволило более эффективно использовать потенциал коммутаторов и других элементов сетевой инфраструктуры.
В своем сингапурском ЦОД компания также впервые развернула трёхфазную электросеть на 415 вольт, аналог которой впоследствии также появится в новом орегонском дата-центре LinkedIn. По словам представителей компании, завершение строительства нового ЦОД в штате Орегон будет для LinkedIn еще большим шагом в строну внедрения концепции гипермасштабных дата-центров, поскольку внутри этой серверной фермы будут размещены созданные по индивидуальному проекту электрораспределительные и механические системы, а также уникальные сетевые коммутаторы. Согласно проекту, внутри этого ЦОД будет размещаться по 96 серверов на стойку при плотности мощности чуть ниже 18 кВт на одну монтажную стойку, при этом конструкция системы охлаждения позволит доводить плотность мощности до 32 кВт на стойку.
Для сравнения: средняя плотность мощности в центрах обработки данных Facebook составляет около 5,5 кВт на одну монтажную стойку (такой информацией ранее поделился вице-президент Facebook по инфраструктуре Джейсон Тейлор).
Специалисты Facebook начали строительство ирландского центра обработки данных
Социальная сеть Facebook объявила о начале реализации проекта стоимостью в 200 млн. евро по возведению нового кампуса ЦОД на территории ирландского графства Мит. Дата-центр будет построен в два этапа в течение следующего десятилетия. Его возведение будет вестись на земельном участке площадью в 220 акров (89 гектаров). Этот кампус ЦОД станет для Facebook первым в Ирландии и вторым в Европе (напомним, что у американской компании уже имеется кампус неподалеку от города Лулео в Швеции).
Ожидается, что участие в осуществлении строительных работ примут около 600 специалистов. При этом к концу следующего года соцсеть собирается создать постоянные рабочие места в этом ЦОД для 100 штатных сотрудников. Проект предполагает, что после полного ввода кампуса ЦОД в эксплуатацию на его территории разместятся две серверных фермы с общей площадью машзалов в 50.8 тыс. квадратных метров. На кампусе размесятся восемь машзалов и несколько офисных помещений. Все стойки, серверы и другие компоненты внутри кампуса ЦОД будут спроектированы и изготовлены в соответствии со спецификациями Facebook Open Compute Project.
Еще одной интересной особенностью этого мега-ЦОД будет 100-процентное электроснабжение его инфраструктуры с помощью возобновляемых источников энергии. Соцсеть уже заключила соглашение о партнерстве с энергетической компанией Brookfield Renewable, в рамках которого последняя обязуется предоставить Facebook доступ к генерирующим мощностям на 150 мегаватт в своих ветряных фермах.
