Google: от 112 серверов до многомиллиардного счета за электричество для ЦОД

Всего лишь 15 лет назад в ведении поискового гиганта Google находилось чуть более 100 серверов. Машины размещались в монтажных стойках, которые Сергей Брин и Ларри Пейдж создали самостоятельно, используя дешевые детали, чтобы сократить затраты на инфраструктуру для своей поисковой системы. Эта любовь к самостоятельной разработке оборудования никуда не делась: инженеры компании охотно создают серверы и по сей день. Изменился лишь масштаб происходящего, став на порядок больше.

Во втором квартале 2014 года корпорация Google потратила на свои центры обработки данных более $ 5 млрд. Примерно $ 2.65 млрд. руководство поискового гиганта направило на строительство новых серверных ферм и расширение существующих, а также на покупку недвижимости и оборудования.

Чуть менее $ 2.82 млрд. было израсходовано американской корпорацией на эксплуатацию своей массивной вычислительной инфраструктуры, а также на инвентаризацию оборудования и амортизацию активов. На долю эксплуатационных расходов, связанных с инфраструктурой ЦОД, пришлось 18 процентов от совокупной выручки корпорации по итогам второго квартала текущего года, тогда как по итогам второго квартала прошлого года соответствующий показатель был равен 17 процентам.

Крупнейший заказ на покупку серверов за всю историю корпорации Google

Количество денег, которые Google в настоящее время тратит на поддерживание работоспособности инфраструктуры ЦОД, намного выше тех сумм, которые поисковый гигант тратил на эти же цели 15 лет назад, при этом американская корпорация также тратит гораздо больше денег на приобретение серверов, чем в конце 90-х гг. прошлого века.

«Оглядываясь назад, могу отметить что, конструкция наших первых монтажных стоек не была оптимизирована с точки зрения надежности и работоспособности. Тем не менее, учитывая тот факт, что у нас был только две недели на их разработку, а также не так уж и много денег на эти цели, результат оказался вполне хорошим», отметил вице-президент корпорации Google по инфраструктуре ЦОД Урс Хёльцле в посте на своей странице в соцсети Google Plus.

Так выглядела одна из первых монтажных стоек Google. В настоящее время она является экспонатом Национального музея американской истории в Вашингтоне, округ Колумбия (США)

В своем посте Хёльцле поделился с читателями историей о том, как Google направила в адрес одного из вендоров самый крупный заказ на приобретение серверов в своей истории. Речь шла о 1680 машинах. Было это в 1999 году, когда в распоряжении поисковика находилось «всего» 112 серверных систем.

Руководство Google согласилась выплатить вендору около $ 110 000 за каждые 80 серверов. Кроме того, вендору был предложен бонус в размере $ 2000 за каждый дополнительный вычислительный кластер из 80 узлов (ровно столько машин умещалось в одну стойку), поставленный после первых 800 машин (или 10 кластеров) в период до 20 августа. И это притом, что заказ был направлен 23 июля. То есть на сборку 800 машин вендору было предоставлено менее одного месяца. Но производитель все же смог получить у Google бонусные средства, и не один раз.

Хёльцле прикрепил к посту копию заказа на поставку серверов в адрес компании King Star Computer, которая в то время работала в Санта-Кларе, штат Калифорния (США). В заказе говорится об оборудовании для установки в стандартные монтажные стойки, каждая из которых содержала по 60 вентиляторы и два блока питания для запитки этих вентиляторов.

На каждую полку монтажной стойки приходилось по четыре сервера, и эти четыре сервера делили между собой:
• 400-ваттный блок питания;
• Коннектор питания, соединяющий отдельные машины с общим источником питания;
• Два монтажных кронштейна;
• Одну пластиковую панель с отсеками для жестких дисков;
• Кабель питания;

Каждый сервер состоял из следующих комплектующих:
• Материнская плата Supermicro;
• 265 мегабайт оперативной памяти;
• Процессор Intel Pentium II (частота 400 МГц) с вентилятором от Intel;
• Два 22-гигабайтных жестких диска IBM Deskstar;
• Сетевая карта Intel 10/100;
• Кнопка перезагрузки;
• LED-индикатор для жесткого диска;
• Два кабеля IDE, соединяющие матплату с жесткими дисками;
• 7-футовый Ethernet-кабель (Cat. 5);

Основатели Google еще в самом начале существования интернет-гиганта выяснили, что лучшим способом экономически эффективного масштабирования вычислительной инфраструктуры является самостоятельная разработка серверных систем, а не покупка готовых решений «под ключ». Причем разрабатываемые машины должны отличаться простотой конструкции и оптимизацией под конкретные рабочие нагрузки. Поисковый гигант и по сей день разрабатывает свое оборудование. Другие интернет-гиганты, в распоряжении которых имеются гипермасштабные дата-центры, также последовали примеру Google.