Если вы хотите проследить изменение подходов к проектированию и строительству дата-центров в разрезе двух последних десятилетий, отправляйтесь в Квинси, штат Вашингтон (США). В этом маленьком фермерском городке с численностью населения около 7 тыс. человек, есть пять различных кампусов ЦОД, включая принадлежащие интернет-гигантам Microsoft и Yahoo. Эти компании отдали предпочтение в пользу подобного месторасположения ЦОД ввиду близости Квинси к гидроэлектростанциям, генерирующим электричество благодаря интенсивному потоку воды в реке Колумбия. Заинтересовал их помимо прочего и относительно прохладный, а также засушливый климат, который может быть использован с большой пользой, позволяя охлаждать серверы, системы хранения данных и коммутаторы с минимальными затратами.
Все операторы местных дата-центров являются довольно скрытным людьми, не афишируя понапрасну информацию о своих ЦОД. Но иногда они открывает двери, чтобы впустить внутрь посторонних людей. В ходе конференции Ignite софтверный гигант Microsoft предложил журналистам посетить свой ЦОД в городе Квинси. Результатом этого визита стала фотоэкскурсия и своего рода урок истории в области проектирования дата-центров, демонстрирующий, как Microsoft удалось благодаря основанному на инновациях походу стать владельцам одного из самых лучших гипермасштабных ЦОД в мире, конкурируя в этом плане с Google и Amazon.
Первый ЦОД на кампусе Microsoft в Квинси запустился в 2007 году и получил название Columbia 1. В 2008 году заработал дата-центр Columbia 2. Общая площадь этих двух объектов в совокупности сопоставима с площадью дюжины футбольных полей. Первоначально для оснащения этих ЦОД инженеры Microsoft использовали машзалы с обычной конфигурацией и стандартными серверными стойками. Внутри каждого из дата-центров имеется по пять машзалов с 18 рядами стоек. Каждый машзал рассчитан примерно на 2,5 МВт полезной нагрузки. Общая мощность оборудования внутри десяти машзалов составляет 27,6 мегаватта.
Благодаря улучшению системы охлаждения и повышению плотности размещения вычислительного оборудования при модернизации дата-центров до 2-го поколения сотрудникам Microsoft удалось вывести коэффициент PUE этих ЦОД в диапазон от 1,4 до 1,6. Это означает, что на долю систем распределения электроэнергии и охлаждения приходится лишь от 40 процентов до 60 процентов от общего энергопотребления ЦОД. Это был большой шаг вперед.
3-ий этап модернизации ЦОД предполагал эксперименты с различными конструкциями для оптимизации воздушных потоков. Результатом этих экспериментов стало внедрение “горячих коридоров” и “холодных коридоров”, позволяющих разделять теплых и холодный воздух, а также дополнительно снижать коэффициент PUE. Помимо герметизации воздуховодов инженеры использовали экономизацию с воздушной стороны, что позволило сократить PUE до 1,2.
Результаты работы над дата-центрами 4-го поколения инженеры Microsoft показали в 2009 году. Они решили отказаться от “горячих коридоров” и “холодных коридоров” в пользу грузовых контейнеров.
Контейнеры назывались ITPAC. Благодаря им коэффициент PUE удалось сократить вплоть до диапазона от 1.12 до 1.2 единицы, что на тот момент было гораздо ниже по сравнению со средним уровнем по индустрии ЦОД. Достичь этого удалось помимо прочего и благодаря расположению серверных ферм в городе Квинси, где в прошлом году температура поднималась только выше 29 градусов по Цельсию (85 градусов по Фаренгейту) лишь в течение 21 дней.
Контейнеры ITPAC, которые были изготовлены двумя различными поставщиками, инженеры Microsoft проектировали с учетом специфических потребностей вроде поддержки подачи тока с напряжением 440 вольт на входе.
На протяжении многих лет инженеры Microsoft вносили определенные доработки в конструкцию дата-центров 4-го поколения. В частности, они избавились от крупных источников бесперебойного питания. Вместо них было решено использовать батареи, размещаемые непосредственно внутри серверов.
Решив, что создание здания со стенами и крышей для размещения контейнеров ITPAC доставляет слишком много хлопот и отнимает слишком много времени, инженеры Microsoft избавились от здания. При очередном расширении кампуса ЦОД в Квинси с использованием технологий 4-ого поколения решено было поместить контейнеры на открытом воздухе. Сетевые и силовые кабели были размещены под бетонными плитами, на которых размещены ITPAC.
Кампус ЦОД корпорации Microsoft в Квинси, на территории которого представлены технологические решения нескольких поколений, сегодня занимает площадь около 28 гектаров. Но объект 5-ого поколения, который строится на окраине города будет иметь площадь в общей сложности в 81 гектар. Он является свидетельством роста облачной инфраструктуре Microsoft Azure.
В настоящее время Microsoft использует стойки, которые совместимы с 19-дюймовым шасси Open Cloud Server. В ЦОД 5-ого поколения будут использоваться стоечные решения высотой в 48U (84-дюймовые). Их конструкция позволяет размещать до 96 серверных узлов на стойку. Общая мощность ЦОД 5-ого составит 168 мегаватт. Внутри него разместятся 4 машзала. Представители Microsoft пока не хвастаются прогнозным уровнем PUE серверной фермы пятого поколения, но, похоже, что результат будет не хуже, чем в случае ЦОД предыдущей генерации.
