Использование робота-собаки в ЦОД: опыт Novva Data Centers

Представьте следующий сценарий. Посещая ЦОД с рабочим визитом в преддверии Нового года и двигаясь по одному из машзалов, Вы встречаете четвероногого робота, напоминающего собаку и одетого в новогодний свитер. Робот приветствует Вас по имени, прежде чем вернуться к обходу серверной фермы.

Это не сцена какой-то второсортной киноленты из жанра научной фантастики, а практически реальность. Недавно сформированная американская компания Novva Data Centers, поддерживаемая крупным инвестиционным фондом CIM Group, открыла ЦОД в штате Юта (США) и объявила о размещении там робота-собаки Spot, купленного у принадлежащей Google фирмы Boston Dynamics и оптимизированного в сотрудничестве с местным Университетом Бригама Янга.

Модифицированный робот получил кодовое имя Wire (Wes’ Industrious Robot Employee). По словам разработчиков Wire, робот способен выполнять множество функций, включая мониторинг температуры и оборудования в машзалах, приветствие гостей ЦОД, подтверждение допуска посетителей к отдельным помещениям внутри здания с помощью сканирования и распознавания лиц и т.д.

Постоянным читателям портала TelecomBloger отлично известно, что дискуссии об использовании роботов в дата-центрах ведутся не первый год. Иногда прогрессивные компании переходят от теории к практике. К сожалению, подобные инициативы редко продвигаются дальше стадии прототипа / пилотного проекта.

Но в Novva Data Centers убеждены, что все более и более крупные дата-центры уже сегодня нуждаются в автоматизации и робототехнике для обеспечения оптимальной работы оборудования. Следовательно, спрос на устройства вроде Wire будет стабильно расти.

Предыдущие проекты по автоматизации ЦОД с использованием роботов

Субъекты индустрии ЦОД неоднократно предпринимали попытки развертывания роботов внутри машзалов, стремясь создать автоматизированные серверные фермы. Полная автоматизация на данном этапе пока недостижима, а развертывание роботов, соседствующих с операторами-людьми, дало неоднозначные результаты.

Еще в 2013 году инженеры IBM представили устройство iRobot (робот, похожий на автономный пылесос Roomba), разработанное для самостоятельного перемещения по дата-центру с отслеживанием температуры и иных параметров. Пилотный проект был «заморожен» без лишней шумихи.

Корейский передовой институт науки и технологий (KAIST) опробовал аналогичную идею. Созданный корейцами робот «патрулировал» дата-центр iCubeCloud, используя продвинутую систему визуального мониторинга для поиска проблем. Исследователи обещали в последующем прикрепить к корпусу робота манипулятор, позволяющий обслуживать серверы. Итоги пилотного проекта в открытом доступе опубликованы не были.

Команда строящегося дата-центра Naver Cloud Ring в южнокорейском городе Седжонг объявила о намерении использовать несколько роботов для обслуживания инфраструктуры, мониторинга оборудования и обеспечения безопасности. Ввод соответствующего ЦОД в эксплуатацию намечен на 2022 год.

Однако некоторым компаниям, похоже, удалось успешно развернуть роботов на определенных объектах. Немецкая фирма DE-CIX, занимающаяся организацией обмена интернет-трафиком, выпустила семейство патч-роботов, включая Patchy McPatchbot , Sir Patchalot и Margaret Patcher, позволяющих автоматизировать управление оптоволоконными кабелями.

Китайская Alibaba Cloud использует в собственных дата-центрах инспекционного робота Tianxun , разработанного инженерами из подразделения Alibaba Cloud Intelligence и сравнительно недавно обновившегося до второго поколения.

Робот Tianxun второго поколения оснащен искусственным интеллектом и способен функционировать без вмешательства человека, автоматически заменяя любые неисправные жесткие диски внутри ЦОД. Весь процесс замены, включая автоматическую проверку, обнаружение неисправного диска и замену, выполняется быстро. По словам китайских инженеров, данный процесс отнимает в среднем четыре минуты.

Колокейшн-провайдер Switch разрабатывает собственного робота Switch Sentry , представляющего собой 360-градусную камеру и тепловые датчики на колесной платформе. Устройство способно выступать в роли охранника. Робот перемещается по ЦОД в автономном режиме. Управление переходит к удаленному оператору, когда происходит инцидент. Компания надеется превратить роботизацию ЦОД в отдельное бизнес-направление, но подробностей о сроках коммерциализации наработок пока нет.

Собакоподобный робот Spot от Boston Dynamics используется целым рядом компаний, включая Tesla, где устройства применяются для мониторинга на производственных объектах. Однако, вопреки тому, что поисковый гигант Google, являющийся материнской компанией Boston Dynamics, располагает огромным пулом дата-центров, компания Novva, по-видимому, стала первопроходцем в области использования Spot для патрулирования ЦОД.

Зачем возиться с роботами?

Флагманская серверная ферма Novva представляет собой кампус стоимостью 1 млрд $ на территории просторного земельного участка площадью 40 гектаров, расположенного в Уэст-Джордане, штат Юта. Строительство пока не завершилось. Работы будут проходить в четыре этапа. По завершении общая площадь ЦОД составит более 140 тыс. квадратных метров.

Первая фаза, включающая возведение дата-центра площадью 28 тыс. кв. м., завершилась в конце 2021 года. Теперь у компании имеется подстанция мощностью 120 МВт и офисное здание площадью 7,5 кв. м., где размещается штаб-квартира Novva.

Учитывая масштабы кампуса, инженеры компании решили использовать нестандартный подход к обслуживанию инфраструктуры. Для обеспечения безопасности и мониторинга они используют роботов Spot внутри машзалов, дополняемых летающими дронами снаружи. Возможно, внутри ЦОД в будущем также будут развернуты гуманоидные роботы Atlas от Boston Dynamics.

Эксперты исследовательской компании Gartner недавно опубликовали прогноз о том, что к 2025 году половина облачных дата-центров станет использовать передовых роботов. В Gartner отмечают, что разрыв между растущим пулом серверов и хранилищ данных внутри типичного гипермасштабного ЦОД и количеством достаточно квалифицированных работников, способных управлять всеми устройствами, постоянно увеличивается. Нехватка кадров заставляет владельцев гипермасштабных ЦОД обращаться к автоматизации и роботизации.

По мнению аналитиков Gartner, крупные современные дата-центры — идеальная площадка для объединения роботов и ИИ с целью создания более безопасной, отлаженной и эффективной среды, требующей гораздо меньшего вмешательства человека.

В 2022 году сразу несколько крупных компаний объявили о намерении использовать Spot и иных роботов для строительства и обслуживания объектов. Так, IBM заключила партнерское соглашение с Boston Dynamics, чтобы изучить возможности полезного использования мобильных роботов в промышленных условиях. Автопроизводитель Hyundai также сообщил о начале использования роботов для патрулирования производственных объектов.

Строительная фирма Robins and Morton задействовала Spot при создании дата-центра HostDime в Итонвилле, штат Флорида (США). Поставщик телекоммуникационных услуг Verizon сотрудничает с Ghost Robotics, чтобы изучить возможности применения роботов с поддержкой 5G для обеспечения безопасности (выполнение инспекций, наблюдение за критически важными объектами) и картографирования.

Практическое применение командой Novva робота-собаки

Возвращаясь к Novva, отметим, что компания намерена использовать Spot / Wire преимущественно для выполнения ряда повседневных / повторяющихся задач, от которых люди могут устать «на большой дистанции». Например, многие операторы ЦОД не любят патрулировать / инспектировать помещения либо сканировать QR-коды при инвентаризации.

Машина безоговорочно и не испытывая усталости выполняет заранее определенные миссии по всему дата-центру, чтобы собирать данные, контролировать оборудование и сообщать обо всем необычном. Сейчас Spot измеряет температуру и выполняет задачи по обеспечению безопасности, позволяя минимизировать риск попадания в машзалы посторонних / неавторизованных посетителей.

Робот передает всю собранную информацию операторам-людям в центр управления, где персонал осуществляет статистический анализ, контроль качества и отслеживает аномалии. Помимо считывания температуры окружающей среды в помещении, машина способна считывать данные с дисплеев на оборудовании и передавать показания в центр управления.

Робособака дополнительно играет роль сотрудника службы безопасности. Машина интегрирована с базой данных безопасности Novva и способна сканировать лица людей внутри дата-центра, сверяя полученные снимки с фотографиями авторизованного персонала компании. Опознанных посетителей робот приветствует по имени через сгенерированный аудиофайл. О незнакомцах машина сообщает в центр управления, отмечая местоположение с использованием GPS и делая автоматический снимок. Затем робот либо остается на месте, либо продолжает обход.

Оптимизация серийного робота-собаки для использования в дата-центре

Компания Novva заключила партнерское соглашение с Университетом Бригама Янга, чтобы использовать набор разработки программного обеспечения Spot (SDK), требующий знания языка программирования Python, и создать более удобный программный пакет, допускающий упрощенное редактирование и усовершенствование в будущем.

Оператор ЦОД привлек инженерный отдел ВУЗа, которому потребовался почти год для выполнения поставленной задачи. Проектом занималась команда из семи специалистов, включая инженеров-механиков, электриков и инженеров-программистов.

В частности, специалисты интегрировали в программную платформу Spot уникальную систему распознавания лиц, разработанную ВУЗом. Данный инструмент через проприетарный API (программный интерфейс приложения) подключается к собственной базе данных распознавания лиц Novva. Специалисты также разработали модуль, позволяющий генерировать аудиофайлы с именем распознанного человека, которые «произносит» робот.

Машина обладает расширенными возможностями в плане передвижения на четырех ногах и уклонения от движущихся / неподвижных объектов. Команда разработчиков добавила программное обеспечение, позволяющее использовать камеры маневренного Spot для считывания показаний со счетчиков / индикаторов, предусмотрев возможность автономной навигации в рамках заранее проложенного маршрута. Дорабатывая аппаратное обеспечение, команда добавила термометр для измерения температуры воздуха в машзалах.

На этапе оптимизации машины для нужд операторов ЦОД использовался устаревший робот, поэтому команда ВУЗа не имела возможности подзаряжать аккумуляторы, ввиду чего специалистам приходилось регулярно менять аккумуляторы вручную. С тех пор компания Novva обновила Spot до более поздней версии, избавленной от подобного ограничения.

Дополнительным ограничением старой версии Spot являлось отсутствие возможности подключения к сетям WPA Enterprise Wi-Fi, поэтому команде пришлось настраивать собственную сеть на этапе оптимизации машины.

Хотя часть проекта выполнялась с использованием инструментов с открытым исходным кодом, Novva теперь владеет уникальными программными пакетами, разработанными в ходе проекта, и вряд ли сейчас станет лицензировать / перепродавать их какому-либо конкуренту. Однако компания рассматривает возможность передачи части наработок фонду ПО с открытым исходным кодом / проекту, посвященному робототехнике.

Растущий пул роботов Spot в Юте

Сейчас в распоряжении Novva есть два робота Spot. Но компания намерена увеличивать число роботов по мере расширения кампуса, а также использовать Spot на иных объектах. Внутри каждого ЦОД на кампусе в Юте инженеры планируют использовать от трех до четырех робособак. Следовательно, общий пул машин может достичь 2 десятков. Причем, учитывая приверженность компании резервированию инфраструктуры по схеме N+1, потребуется дополнительная машина для быстрой замены вышедшего из строя робота.

Компания Novva приобрела землю для возведения второго кампуса ЦОД в американском штате Колорадо в сентябре 2021 года, где разместятся три дата-центра. Ожидается, что после ввода в эксплуатацию всех трех зданий на кампусе будут использоваться около шести робособак. На иных запланированных объектах компании, находящихся в разработке, также разместятся роботы.

Текущая версия Spot поставляется с панелью управления. Машину требуется провести по зданию, чтобы она смогла его изучить. Помимо обучения Spot текущей планировке дата-центра, компания дополнительно нанесла на карту оборудование, которое еще не установлено, поэтому маршруты патрулирования Spot не нуждаются в регулярном обновлении.

В видеороликах на YouTube инженеры Boston Dynamics часто размещают вывески, похожие на QR-коды, вокруг объектов, с которыми взаимодействуют машины. Компания Novva внедрила аналогичную систему. Специалисты разработали систему QR-кодов, размещаемых примерно в метре над фальшполом по всему зданию.

В ближайшем будущем компания надеется развернуть собак Spot/Wire снаружи, чтобы те оказывали наземную поддержку летающим дронам. В конечном итоге специалисты собираются использовать роботов для доставки полезных грузов со склада в дата-центры. Компания собирается использовать обновленного робота от Boston Dynamics, который получит манипулятор, позволяющий одному роботу открывать дверь другому и решать прочие задачи.

«Зловещая долина»

Любой, кто смотрел тщательно поставленные видеоролики Boston Dynamics, наверняка испытал жуткое чувство, связанное с наблюдением за машинами. Облик гуманоидного робота Atlas и собакоподобного Spot явно далек от человеческого / собачьего, соответственно, но движения машин выглядят достаточно естественными.

Данное явление называется эффектом «зловещей долины», подразумевающим, что робот, выглядящий / действующий примерно как человек, вызывает неприязнь / страх у людей-наблюдателей.

Но в Novva отмечают, что роботы обладают определенным завораживающим очарованием – особенно с точки зрения разработчика, понимающего, что машина выполняет лишь команды оператора. Да, есть некоторая ограниченная программным обеспечением автономия, но робот не будет бродить сам по себе.

Некоторые люди все же немного нервничают, когда робособака подходит слишком близко, поскольку Spot довольно большая машина, весящая без малого 3 десятка килограмм и способная выглядеть немного мрачно.

Поэтому одной из причин добавления возможности приветствовать посетителей по имени выступало стремление «сломать» любые барьеры и стереотипы, возникающие у людей в отношении машины вследствие пресловутого эффекта «зловещей долины».

Многие члены команды Novva питают определенную привязанность к собакоподобному роботу, воспринимая его как живое существо. Они даже сделали для робота свитер с собакой на новогодние праздники.

Отмечается, что после развертывания машин снаружи ЦОД, они будут по-прежнему использоваться лишь для наблюдения и не станут выполнять никаких «героических» действий по примеру прототипов из отрядов служебных собак K9, то есть атаковать нарушителей / защищаться.

Неидеальный инструмент мониторинга

Как правило, машина выполняет миссии, а затем возвращается в «собачью конуру», где садится на платформу и перезаряжается, не требуя никакого вмешательства человека. Персоналу иногда приходится чистить 360-градусную камеру. На этом техобслуживание заканчивается.

Но, вопреки вышесказанному и впечатляющим характеристикам машины, она еще не полностью готова к работе в ЦОД с точки зрения повседневной эксплуатации. Если дата-центры нацелены на постоянный аптайм и безотказную работу, Spot по-прежнему требует регулярных простоев и не совсем готов к непрерывному развитию с точки зрения обновлений программного обеспечения.

В рамках контракта Novva с Boston Dynamics машины подвергаются регулярным обновлениям с точки зрения программного и аппаратного обеспечения, но вместо обновлений / обслуживания на месте эксплуатации, команда Novva обязана отправить машины изготовителю.

Причем перед отправкой робота на завод Boston Dynamics инженерам Novva приходится снимать внешнее оборудование, включая LiDAR, камеру 360° и т.д. После возвращения обновленного робота / поступления замены, команде Novva приходится устанавливать оборудования снова и выполнять процесс оценки качества, чтобы убедиться в том, что реализованные обновления программного обеспечения не конфликтуют с собственными пакетами программного обеспечения Novva. В случае необходимости приходится вносить правки / доработки. Подобные процедуры немного сложны и обременительны.

Еще одна проблема — подключение. Хотя машина теперь поддерживает корпоративные сети Wi-Fi, необходимо обеспечивать постоянное подключение. Сейчас робот не поддерживает LTE / беспроводные протоколы IoT, поэтому приходится ограничиваться Wi-Fi. В случае потери подключения робот просто остановится, ляжет и предупредит центр управления.

В компании надеются, что Boston Dynamics скоро добавит поддержку 4G/5G в свои машины. В противном случае Novva придется самостоятельно дорабатывать технику, чтобы добавить эту опцию. И если подобная задача окажется чересчур трудной, компания расширит сеть Wi-Fi, чтобы охватить более широкую часть кампуса за пределами офисов и машзалов.

Инженеры дополнительно отмечают, что в некоторых областях просто невозможно конкурировать с человеческим пониманием и интуицией. Робот не думает самостоятельно и не принимает решений, когда что-то видит.

Больше роботов, но не меньше людей

Модель Spot Explorer стоит 74 500 $, а модель Enterprise обходится еще дороже. Дополнительно оплачивается спецоборудование наподобие 360-градусной инспекционной камеры (29 750 $) и датчика LiDAR (18 450 $). Компания тратит около 200 тыс. $ на одну собаку, если учитывать техническое обслуживание и дополнительное оборудование. В Novva данную цену считают оправданной, учитывая возможность добавить дополнительный уровень мониторинга и безопасности.

Компания Novva также заинтересована в развертывании гуманоидного робота Atlas от Boston Dynamics и стремится в числе первых проверить возможности данной машины в среде дата-центра, когда производитель сделает ее доступной для покупки. Преимущества гуманоидного робота очевидны: он способен открывать двери, а также нести полезную нагрузку и поднимать серверы, монтируя их в стойки.

Но в Novva уверены, что даже широкомасштабное развертывание роботов Atlas не приведет к массовой замене людей. Человека невозможно заменить в некоторых областях. Робот лишь дополняет оператора ЦОД. На самом деле при развертывании роботизированных устройств той же Novva пришлось добавить персонал для программирования машин и решения ряда иных задач.