Обычным пользователям остается только гадать о том, как крупным поставщикам облачных сервисов удается повышать эффективность своих продуктов и внедрять новые функции, снижая при этом их стоимость. Недавно вице-президент и ведущий инженер Amazon Джеймс Гамильтон приоткрыло завесу тайны над IT-инфраструктурой, которая лежит в основе облака Amazon Web Services. Гамильтон озвучил исчерпывающий доклад по этой теме, а также ответил на вопросы IT-специалистов во время конференции AWS re:Invent 2013, которая завершилась на минувшей неделе.

В основе бизнес-модели AWS лежит принцип экономии от масштаба. Чтобы проиллюстрировать масштабы IT-инфраструктуры своей компании, Гамильтон отметил, что ежедневный прирост вычислительной мощности и емкости систем хранения данных AWS соответствует и даже превосходит объем ресурсов, которые используются для обеспечения работоспособности одно из крупнейших интернет-магазинов в мире – Amazon.com.

По словам Гамильтона, глобальная IT-инфраструктура AWS расширяется семь дней в неделю: ежедневно специалисты компании участвуют в проектировании и производстве IT- и вспомогательного оборудования, занимаются его тестированием, доставкой в ЦОД и монтажом серверов, СХД и сетевого оборудования в стойки. В настоящее время серверы Amazon Web Services развернуты в девяти странах по всему миру. Причем в некоторых странах (например, в США) находится сразу несколько центров обработки данных. Топ-менеджер заявил, что чем больше новых объектов строится, тем выше эффективность работы компании и меньше риск. По его словам, “самым лучшим стимулом для инноваций является снижение риска даунтайма и ускорения цикла обновления аппаратного обеспечения”.

Гамильтон выступает на конференции AWS re:Invent 2013

“Себестоимость доставки сервиса при условии использования концепции экономии от масштаба упирается в физическую инфраструктуру. Расходы на разработку программного обеспечения можно свести к нулю”, сказал Гамильтон.

Топ-менеджер полагает, что именно поэтому в течение последних 5 лет в мире компьютерных технологий было создано больше инновационных технологий, чем за предыдущие 20 лет. Крупные интернет-компании вроде Amazon, Facebook, Google и Microsoft научились крайне рационально и продуктивно расширять свою IT-инфраструктуру, создавая при этом передовые аппаратные платформы. Индустрии ЦОД в целом это идет лишь на пользу.

Гамильтон отметил, что в свое время он был в команде специалистов IBM, которая установила мировой рекорд производительности базы данных при обработке интернет-транзакций (результат составил невероятные на то время 69 транзакций в секунду). Сегодня управляемая база данных NoSQL DynamoDB, обслуживая всего лишь один регион, обрабатывает более 2000 миллиардов запросов в месяц, тогда как облачная система хранения данных Amazon S3 в часы пик принимает 1.5 миллиона запросов в секунду.

Ниже вы можете обнаружить информацию о том, как именно AWS минимизирует свои расходы на расширение инфраструктуры, сохраняя при этом высокий темп внедрения инноваций.

Серверы

Компания Amazon – как Google и Facebook – разрабатывает свои собственные серверы. Это крайне специализированные машины, спроектированные для решения конкретных задач. Примечательно, что еще несколько лет назад все тот же Гамильтон заявлял, что компания использует всего пару разноплановых машин, чтобы минимизировать сложности при техобслуживании. Но времена изменились. Как только специалисты компании в полной мере овладели тонкостями проектирования серверных систем, они направили проекты машин с нестандартной компоновкой свои партнерам из числа крупных OEM-вендоров для внедрения в серию. Оптимизация конструкции помогла снизить закупочные цены на 30 процентов – не говоря уже о повышения производительности IT-инфраструктуры, которая достигается за счет устранения лишних компонентов и ускорения цикла обновления.

“Сегодня если вы не занимаетесь непрерывной оптимизации аппаратного обеспечения, вы по сути воруете деньги у своих клиентов”, сказал докладчик.

Хранилище

Гамильтон практически не распространялся по поводу созданных по индивидуальному заказу систем хранения данных, которые используются в дата-центрах AWS, но интересная информация в его докладе все же прозвучала. Выяснилось, что высокоплотные серверы хранения данных, аналогичные используемым в ЦОД Amazon Web Services, любой желающий может купить уже сегодня. Их производит известный тайваньский вендор Quanta. Топ-менеджер отметил, что наполненная такими системами монтажная стойка будет весить приблизительно три четверти тонны.

“У нас есть и более высокоплотные системы – весом больше тонны на одну стойку”, заметил Гамильтон.

Сеть

Сетевая инфраструктура в настоящее время является для многих провайдеров облачных платформ огромным источником проблем. Стоимость эксплуатации собственных корпоративных ЦОД продолжает расти, что заставляет руководителей многих компаний отдавать предпочтение облаку, а это, в свою очередь негативно отражается на пропускной способности облачных дата-центров.

Расчеты аналитиков показывают, что в настоящее время только 1 из каждых 60 серверов во всех дата-центрах мира передает данные с использованием полной пропускной способности сети в определенный промежуток времени. Для дата-центров AWS, операторы которых не могут контролировать рабочие нагрузки своих пользователей, такой вариант неприемлем. Гамильтон пояснил, что если пользователи запускают на облачных серверах что-то вроде MapReduce, то каждая машина в кластере, вероятно, будет передавать данные со 100-процентным использованием доступной пропускной способности сети.

Так что – равно как Google и, в ближайшее время, Facebook – AWS полагается на разработанное своими силами сетевое оборудование и собственный стек протоколов. К сожалению, пока технологическая база AWS далека от идеала: многие пользователи все еще рапортуют о несоответствии показателей эффективности сети заявленным спецификациям. Но определенный прогресс налицо.

Руководство AWS также направляет серьезные ресурсы на расширение сетевой инфраструктуры за пределами своих дата-центров, чтобы выйти на необходимый уровень пропускной способности сети. Гамильтон подтвердил, что компания создает свои собственные магистральные оптоволоконные линии.

Электроснабжение

AWS также строит свои собственные электрические подстанции. Это довольно мощные объекты (от 50 до 100 МВт). “Пятьдесят мегаватт – это много серверов. Десятки тысяч”, пояснил Гамильтон.

Оборудование внутри этих подстанций может быть довольно дорогим (хотя если учитывать скидки оптовым покупателям, итоговая стоимость будет относительно демократичной). Примечательно, у американской компании даже имеется отдельное подразделение занимающееся разработкой и улучшением специализированного микропрограммного обеспечения для элементов инженерной и электромеханической инфраструктуры. Это может показаться излишним, но подобный поход позволяет избежать повреждения дорогих генераторов и источников бесперебойного питания внутри ЦОД в случае возникновения проблем в центральной электросети.

“Тем не менее, нашей основной целью является скорее не защита генераторов и ИБП, а обеспечение работоспособности серверов”, сказал Гамильтон.

Использование ресурсов

Самые разнообразные компании, в чьем распоряжении имеются собственные ЦОД, непрерывно работают над повышением эффективности использования имеющихся IT-ресурсов. Они в большинстве своем изначально покупают достаточное количество серверов, чтобы справляться с пиковыми нагрузками, а затем эти машины простаивают большую часть времени, расходуя ценную электроэнергию впустую. Пусть отключение серверов, когда они не используются, и экономит немного денег за счет снижения потребления электроэнергии, но это не меняет тот факт, что на покупку машин уже были потрачены значительные средства.

“На самом деле повышение эффективности использования имеющихся ресурсов на сегодняшний день является самым значительным инструментом AWS, когда речь идет о сокращении расходов”, сказал Гамильтон. “Когда вы работаете с гипермасштабными дата-центрами, даже небольшое повышение эффективности использования серверов может обернуться огромной экономией”.

К счастью, провайдеры облачных сервисов могут загружать свои серверы значительно выше обычных 20 процентов (среднестатистический показатель по индустрии ЦОД). Гамильтон также отметил, что специальные алгоритмы помогают AWS постоянно “агрегировать разноплановые рабочие нагрузки и более эффективно использовать свои ресурсы”.

Кроме того, с недавнего времени пользователи AWS могут приобретать ресурсы по спот-ценам (Spot Instance), благодаря чему практически все простаивающие по тем или иным причинам серверы вновь включаются в работу. Пусть это и приносит компании меньшую прибыль, но более рациональное использование вычислительной инфраструктуры ЦОД того стоит: любые – даже самые незначительные поступления со стороны клиентов лучше упущенной прибыли. Благодаря этой и ряду других концепций руководству AWS удалось за последние 7 лет снизить среднюю стоимость своих сервисов в 38 раз.