Большинство интернет-компаний не предоставляют доступ внутрь машзалов корпоративных центрам обработки данных даже своим сотрудникам (за исключением членов относительно небольшой группы специалистов, который поддерживают работоспособность миллионов серверов внутри зданий ЦОД). Соцсеть Facebook взяла на вооружение другой подход. Руководство американской компании не только периодически демонстрирует начинку своих серверных ферм всем желающим, но и делится полезными техническими наработками с владельцами других ЦОД и производителями аппаратного обеспечения в рамках инициативы Open Compute Project. На минувшей неделе операторы кампуса ЦОД Facebook в городе Прайнвилл, штат Орегон (США), пригласили небольшую группу журналистов в свою обитель. К слову, самый первый пресс-тур на этот кампус имел место около пяти лет назад (подробнее в нашем материале), и за это время там многое изменилось.
Отметим, что на кампусе в Прайнвилле располагается первый дата-центр Facebook, который был спроектирован и построен американской компанией самостоятельно. Теперь местный вычислительный комплекс состоит из трех массивных зданий ЦОД и еще одного строения поменьше для холодного хранилища данных (фотоэкскурсия по этому объекту доступна по этой ссылке). Площадь самого маленького из трех дата-центров на кампусе составляет около 32,5 тыс. квадратных метров, тогда как площадь новейшего здания, которое пока еще только строится, будет составлять более 41,8 тыс. квадратных метров. Каждый из них мог бы легко вместить современный авианосец класса Нимиц – и еще бы осталось место в запасе. Общая площадь кампуса превышает 100 тыс. квадратных метров.
Кампус располагается в пустынной местности в центральной части Орегона, где с северо-запада в летнее время обычно дует прохладный ветер. В городе Прайнвилл, с которым он соседствует, проживает около 9 тыс. человек. При этом в местных дата-центрах Facebook хранит данные, принадлежащие сотням миллионов пользователей.
В одном из зданий кампуса ЦОД инженеры Facebook установили новые мощные серверы Big Sur, чтобы помочь своим коллегами программистам, занимающимся исследованиями в области искусственного интеллекта. Эти серверы комплектуются GPU-ускорителями с мощными чипами от Nvidia (зеленые карты в центральной части изображения). Мощные машины также используются для решения многих других задач вроде перевода текста сообщений между различными языками, распознавания изображений, обслуживания пользователей виртуального помощника или синтеза голоса для озвучивания текстов.
В каждом сервере Facebook Big Sur имеется до восьми графических процессоров, сделанных компанией Nvidia, которая является ведущим поставщиком таких чипов, и входящих в состав ускорителей Tesla GPU M40 с энергопотреблением до 33 ватт. Представители соцсети отказались назвать точное количество таких серверов, которые были развернуты на местном кампусе к настоящему моменту, но заявили, что американская компания использует «тысячи» графических процессоров.
Поскольку графические процессоры являются чрезвычайно прожорливыми с точки зрения электропотребления, инженерам Facebook приходится устанавливать серверы Big Sur внутри стоек менее плотно по сравнению с серверами других типов, чтобы избежать формирования “горячих точек” внутри машзалов ЦОД. Ведь подобные температурные аномалии существенно повышают нагрузку на систему охлаждения, что в конечном итоге оборачивается потреблением дополнительной электроэнергии и ростом эксплуатационных расходов. В фирменную монтажную стойку Facebook высотой примерно в 2,1 метра вмещается восемь серверов Big Sur. Если бы вместо них использовались стандартные серверные системы Facebook, количество машин внутри стойки можно было бы довести до 30 штук. Такие машины потребляю меньше электричества и выделяют не так много тепла, при этом отлично справляясь с рутинной работой по обслуживанию пользовательских данных.
Общая емкость дискового пространства систем хранения данных и серверов, которые находятся внутри ЦОД, составляет несколько петабайт. Инженеры Facebook постоянно модернизируют эти машины путем замены компонентов на более совершенные аналоги. При этом из 165 человек, которые работают на местном кампусе ЦОД, лишь только 30 специалистов имеют допуск в машзалы для обслуживания серверов и вспомогательного оборудования, а также замены источников питания, процессоров, памяти и других компонентов.
Благодаря огромному количеству свободных средств Facebook может себе позволить роскошь хранить несколько копий данных в других ЦОД по всему миру, включая кампус в Лулео (Швеция) и в Алтуне, штат (Айова). Кроме того, компания не жалеет денег на закупку вспомогательного оборудования для каждого из своих кампусов. Именно поэтому на кампусах ЦОД соцсети имеется по одному резервному генератору электроэнергии на каждые шесть главных дизель-генераторов. Операторы ЦОД Facebook прекрасно понимают, что стабильное электроснабжение имеет решающее значение для нормальной работы дата-центров компании.
Температура серверов регулируется с помощью комбинации кондиционеров и огромных вентиляторов, втягивающих в сухой воздух из пустыни и позволяющих использовать технологию фрикулинга. Целевой диапазон рабочих температур подаваемого в машзалы воздуха составляет от 16 до 28 градусов по Цельсию. Благодаря тому, что команда операторов ЦОД удерживает температурный режим в заданном диапазоне и использует при этом фрикулинг, коэффициент эффективности энергопотребления (PUE) кампуса ЦОД составляет 1,07 единицы. Это означает, что на долю холодильного оборудования, системы освещения, увлажнителей и других вспомогательных устройств (словом, всего, что не является вычислительным оборудованием), приходится только 7 процентов от общего энергопотребления кампуса.
Экономический эффект от строительства кампуса ЦОД Facebook для региона просто огромен. Он обусловлен созданием новых рабочих мест, улучшением телекоммуникационной инфраструктуры и многими другими факторами. При этом соцсеть активно способствует развитию местного сообщества. Так, компания пожертвовала более $ 1 млн. в местные школы и благотворительные организации. В то же время администрация штата Орегон отказывается от серьезного количества денег, предоставляя компании налоговые льготы.
