Генеральный директор Yahoo Марисса Майер не так давно занялась реструктуризацией бизнеса американского интернет-гиганта. Эта инициатива предполагает сокращение затрат, увольнение тысяч сотрудников, акцентирование внимания на повышение доли Yahoo на рынке рекламы для мобильных устройств, продвижение в сегментах видео-контента и социальных сетей. Для достижения поставленных задач требуются дополнительные инвестиции в инфраструктуру дата-центров.

Новый дата-центр Yahoo

В настоящее время корпорация не предоставляет своим партнерам возможность использовать облачные сервисы, так что ей не нужно ежегодно тратить миллиарды долларов США на дата-центры, как это делают некоторые из крупнейших конкурентов Yahoo. Тем не менее, корпорация Мариссы Майер продолжает расширять свою вычислительную инфраструктуру, чтобы поддерживать менее ресурсоемкие сервисы.

На днях представители Yahoo объявили о вводе в эксплуатацию нового дата-центра на кампусе в городе Локпорт, штат Нью-Йорк (США). ЦОД был построен с использованием уникальной концепции “вычислительный курятник Yahoo” (Yahoo Computing Coop; YCC), которая предполагает возведение серверных ферм по принципу создания курятника.

В данном случае вентиляционные каналы размещаются вдоль стен здания и скрываются за горизонтальными жалюзи, позволяющими регулировать доступ холодного наружного воздуха к серверам. Нагретый серверами воздух, в свою очередь, отводится через изолированные “горячие” коридоры и поступает в верхнюю часть здания, где может быть либо рециркулирован, либо направлен в окружающую среду. Эта концепция позволяет полностью отказаться от энергозатратных механических чиллеров и опираться исключительно на фрикулинг.

Если вы используете какую-либо интернет-сервис Yahoo (будь то электронная почта, социальная сеть Tumblr или фото сервис Flickr), велика вероятность того, что время от времени вас обслуживают серверы из Локпорта. Компания впервые объявила об очередном расширении кампуса ЦОД в штате Нью-Йорк в начале 2013 года, о чем мы в свое время писали. Проект оценивался в $170 млн.

На днях работы в рамках этого инвестиционного проекта подошли к концу, в результате чего было введено в эксплуатацию здание с двумя машзалами общей площадью в 30 000 квадратных футов (без малого 3 тыс. квадратных метров). При этом общая мощность кампуса ЦОД выросла на 7,2 мегаватта. Электроснабжение серверной фермы как и прежде организовано с использованием электричеств с гидроэлектростанций.

Изначально проект по возведению кампуса ЦОД Yahoo в Локпорт была частью инициативы по консолидации вычислительных мощностей, рассредоточенных по арендованным дата-центрам. В настоящее время Yahoo почти полностью избавила себя от необходимости арендовать площади внутри чужих ЦОД в США.

Остальные ее кампусы находятся в городе Куинси, штат Вашингтон (США), в городе Ла-Виста, штат Небраска (США), а также в Сингапуре. Кампус в Сингапур является единственным собственным кампусом Yahoo за пределами родины американской корпорации. При этом корпорация активно арендует площади для размещения своего серверного оборудования во многих странах за пределами США.

Тот же проект с тысячей небольших изменений

Кампус ЦОД в Локпорте и недавнее расширившийся кампус в Куинси являются единственными местами, где инженеры Yahoo в настоящее время используют описанную выше концепцию YCC. При этом во время расширения кампуса в Локпорте использовалась слегка модифицированная версия оригинального проекта.

Инженеры компании отмечают, что создание серверной фермы в форме курятника позволяет максимизировать интенсивность притока наружного воздуха внутрь здания. Как упоминалось ранее, в ЦОД нет никаких механических чиллеров. Когда погода становится слишком жаркой, в дата-центре используется система испарительного охлаждения. По словам представителей Yahoo, эта систем применяется не так уж и часто.

Представители корпорации отметили, что в ходе очередного расширения кампуса ЦОД в оригинальный проект была внесена “1000 незначительных корректировок”, в результате чего удалось добиться улучшения в разрезе практически всех инфраструктурных системе, а также повышения надежности и производительности ЦОД.

Изменения вроде, к примеру, увеличения числа датчиков температуры и влажности в машзалах и улучшенная система управления инфраструктурой, способствуют повышению надежности ЦОД.

Проект самого “курятника” был переработан для облегчения доступа к осушителям воздуха, которые отвечают за обработку нагреваемых серверами воздушных масс. Операторы ЦОД признаются, что предыдущая конструкция делала техобслуживание устройств крайне сложной задачей: специалисты попросту не могли добраться до нужных компонентов без разборки систем.

Команда инженеров Yahoo также добавила некоторые нововведения непосредственно в процессе строительства нового здания на кампусе ЦОД. В частности, были добавлены нововведения, которые позволят повысить гибкость при обновлении дата-центра в будущем (когда придет время добавить / обновить IT-оборудование или увеличить плотность размещения вычислительных мощностей внутри монтажных стоек).

Команда специалистов Yahoo также внедрила ряд программных инструментов, которые в совокупности образуют полноценный комплект программного обеспечения для управления инфраструктурой дата-центра (DCIM). Это DCIM-решение интегрировано с системой управления зданием (BMS) и системой управления электропитанием.

Эволюция дата-центров Yahoo и их систем охлаждения

Компания начала строить свои собственные центры обработки данных в 2007 году. Первый проект был предельно стандартным. В ЦОД был свой машзал с фальшполом и механическая система воздушного охлаждения.

Впоследствии появилась концепция Yahoo Thermal Cooling (YTC), которая использует другой подход. Машзал ЦОД в данном случае считается холодной зоной. Горячий воздух, выходящий из серверных стоек, нагнетается в замкнутое пространство и прогоняется через промежуточные охладители. Уникальной концепцию YTC делает тот факт, что воздух в ЦОД перемещается практически целиком и полностью за счет серверных вентиляторов.

На фоне успеха концепции YTC специалисты Yahoo решили сделать следующий шаг и создали описанную выше концепцию Yahoo Compute Coop. 13 января 2011 года Патентное ведомство США даже выдало Yahoo патент, касающийся данной системы. Документ номер 20110009047 А1 получил заголовок “Интегрированная в здание система кондиционирования воздуха для охлаждения серверных систем в ЦОД”.

Практика показала, что концепция Yahoo Compute Coop в целом и интегрированный в нее механизм фрикулинга являются себя весьма эффективными. Через несколько лет использования этой концепции специалисты Yahoo получили следующие статистические данные:

• Инженеры Yahoo определили, что испарительное охлаждение приходится использовать в среднем лишь по семь дней в году (два процента от общего времени аптайма). В остальное время применяется стандартный фрикулинг.
• Благодаря концепции Yahoo Compute Coop компании удалось сэкономить примерно 36 миллионов галлонов (136.2 млн. литров воды) по сравнению с обычными чиллерами (в случае использования сравнимой IT-нагрузки).
• Концепция Yahoo Compute Coop позволила добиться почти 40-процентного сокращения количества электроэнергии, используемой для охлаждения серверов.
• Коэффициент эффективности энергопотребление (Power Usage Effectiveness; PUE) удалось довести до 1.08 единицы.

Yahoo пока не собирается проектировать собственные серверы

В отличие от некоторых других интернет-гигантов, владеющих гипермасштабными дата-центрами (вроде Facebook, Microsoft и Google), Yahoo пока не использует серверное оборудование, производимое по индивидуальному проекту. В ЦОД корпорации устанавливаются лишь стандартные машины. Представители Yahoo, отметили, что корпорация покупает серверы, СХД и коммутаторы у различных производителей.

Также отмечается, что в рамках корпорации действует группа инженеров, которые постоянно оценивают новейшие технологии и решения, пытаясь определить, какой будет инфраструктура ЦОД следующего поколения. Рекомендации относительно целесообразности приобретения тех или иных решений, вырабатываемые данными инженерами, помогают Yahoo не отставать от технологического прогресса. При этом у корпорации нет каких-либо планов на ближайшее будущее относительно производства аппаратного обеспечения на заказ.

Идеальный город для целей Yahoo

В западной части штата Нью-Йорк специалисты Yahoo нашли идеальное место для размещения дата-центров. В Локпорте или рядом с ним нет собственного кластера ЦОД, где представлены серверные фермы разных компаний, что способствует развитию телекоммуникационной и электрораспределительной инфраструктуры. Но для Yahoo этот момент оказался не принципиальным. Компания получает доступ к электроэнергии с гидроэлектростанций, климат достаточно прохладный для системы охлаждения без чиллеров, при этом в регионе предостаточно людей с высоким уровнем квалификации в области эксплуатации инфраструктуры дата-центра.

Корпорация Yahoo также получила хороший пакет налоговых льгот от местных органов власти в 2013 году. Чиновники предусмотрительно освободили крупного инвестора от необходимости погашать задолженность перед бюджетом по налогу на недвижимость на 10 лет вперед. Кроме того, корпорация была освобождена от уплаты налога с продаж на приобретаемые строительные материалы и оборудование для ЦОД на 20-летний срок.