Многие IT-специалисты полагают, что центры обработки данных по всему миру в настоящее время используется стандартное оборудование одинаковой конструкции. Но на самом деле реальная картина от этого весьма далека. Инфраструктура ЦОД меняется. И в инновационном авангарде находятся серверные стойки, а также системы охлаждения серверов.

Да, серверы стали устанавливаться в ныне стандартные 19-дюймовые стойки еще до появления центров обработки данных. Технология охлаждения воздуха в зданиях также была разработана до появления ЦОД. Равно как и системы распределения электроэнергии внутри промышленных объектов.

Учитывая все это, можно понять людей, которые думают, что конструкция оборудования внутри среднестатистического центра обработки данных приближается к универсальному стандарту, и будущие изменения будут исключительно косметическими.

Однако, озвучивая такие утверждения, они будут не совсем правы. Существует множество радикальных подходов к конструированию серверных стоек, систем охлаждения и распределения электропитания. Некоторые открыто создавались годами, другие появились неожиданно. Не все из них получат поддержку рынка. Но некоторые решения кажутся крайне перспективными и приковывают внимание растущего числа корпоративных клиентов.

Стоечная революция

Для человека, привыкшего видеть серверные стойки, скомпонованными в стройные ряды внутри дата-центра, посещение одного из облачных центров обработки данных французского провайдера OVH может стать крайне дезориентирующим опытом.

Компания OVH стремится стать крупнейшим европейским облачным провайдером. Для этого она предлагает клиентам публичные облака на основе платформ VMware и OpenStack (PaaS) и возможность создавать частные корпоративные облака.

Но при этом инженеры компании размещают свою IT-инфраструктуру внутри стоек, конструкция которых идет вразрез со стандартным решениями, типичными для отрасли ЦОД в целом. Вместо того, чтобы стоять вертикально, стойки OVH лежат горизонтально.

Рядом со своими французскими ЦОД в коммуне Рубе компания OVH разместила небольшую фабрику, на которой производятся ее собственные каркасы для серверных стоек. Эти стойки, также известные как Hori-Racks, имеют те же размер, что и обычные стойки высотой в 48U, но обладают совершенно иной конфигурацией. Внутри каждой из них находятся по три маленькие стойки высотой 16U.

На заводе эти стойки предварительно заполняются серверами, после чего они отправляются в дата-центры OVH, которые в основном сосредоточены во Франции, при этом некоторые ЦОД компании находятся в более отдаленных от Старого света уголках мира.

Причиной нестандартного подхода к конструированию стоек с целью размещения серверов в горизонтальной плоскости, по-видимому, является скорость производства и простота логистики: их можно быстрее развертывать в центрах обработки данных с помощью вилочного погрузчика и укладывать в штабеля.

Стойки изготавливаются и тестируются очень быстро. При этом компания инициирует производство новых стоек только в том случае, когда в этом возникает реальная необходимость, и изготавливает их точно в срок, то сводит к минимуму размер неиспользуемых запасов и, соответственно, затраты.

Всего трех сотрудников, работающих бок о бок, будет достаточно, чтобы проверить и загрузить оборудование, а затем вилочный погрузчик, грузовик или трейлер (или судно) могут переместить стойку к месту назначения в Гравелине, Страсбурге или Сингапуре. После развертывания в здании ЦОД до трех уровней стоек могут накладываться друг на друга, обеспечивая такую же плотность размещения серверов, что и обычные (вертикальные) стойки.

Но инженеры OVH отнюдь не одиноки в своем стремлении переосмыслить конструкцию серверных стоек. Наиболее очевидными примерами аналогичного мышления являются группы производителей и пользователей вспомогательного оборудования для ЦОД на базе открытых спецификаций, сотрудничающие в рамках инициатив Open Compute Project (OCP), запущенной Facebook, и Open19, запущенной LinkedIn.

Обе инициативы предполагают обмен нестандартными проектами аппаратного обеспечения, как правило, направленными на упрощение конструкции, а также на уменьшение количества затрачиваемого при изготовлении материала и минимизацию расхода энергии в конечном продукте.

Данные проекты показали, что традиционные стойки и IT-оборудование содержат много расходуемого впустую материала: от ненужного силового оборудования до фирменных этикеток производителей.

Проект OCP был запущен компанией Facebook в 2011 году для разработки и публикации в открытом доступе спецификаций на стандартизированные конструкции стоек и другого оборудования. Целевой аудиторией проекта были интернет-компании с гипермасштабными ЦОД, стремящиеся минимизировать затраты за счет оптимизации оборудования путем его стандартизации, максимально эффективного использования ресурсов и удаления всего лишнего.

Сотрудничающие в рамках OCP инженеры представили новую конструкцию стоек Open Rack v1, которая позволяет разместить больше IT-оборудования в том же пространстве, что и обычная стойка. Предполагая использование как можно большего объема внутристоечного пространства, она позволяет размещать в стойках оборудование шириной в 21 дюйм вместо обычных 19 дюймов. Это решение также имеет вместительные слоты для IT-оборудования, получившие название OpenU (48 мм), которые существенно превосходят по высоте обычные аналоги (44,5 мм).

В ЦОД на базе спецификаций OCP также используется электропитание постоянного тока, распределяемое через шинопровод на задней панели стойки. Вместо использования системы распределения питания переменного тока и его преобразования в постоянный ток в каждой отдельной IT-системе, этот подход позволяет осуществлять такое преобразование в одном месте, минимизируя потери.

В версии стойки Open Rack v1 использовалась система электропитания с напряжением 12 В, тогда как в случае второй версии (Open Rack v2) появилась возможность использования канала электропитания на 48 В. При этом также появилась возможность размещения литий-ионных аккумуляторов внутри стоек в качестве основы для распределенной системы ИБП.

Для некоторых это было слишком радикально, и в 2016 году компания LinkedIn запустила группу Open19, которая предлагала упрощение идей OCP для массового рынка, не нарушая парадигму 19-дюймовых стоек. Стойки Open19 разделены на блоки с упрощенной системой распределения питания, аналогичной фирменным блейд-серверам, предлагаемым многими поставщиками оборудования.

Сейчас OCP и Open19 продолжают развиваться параллельно. Системы OCP используются для обслуживания гигантских гипермасштабных центров обработки данных, тогда как решения на базе спецификаций Open19 нацеленные на менее крупные ЦОД, используемые небольшими компаниями, которые, тем не менее, имеют свои собственные серверные фермы.

Недавно появилась информация о новой версии стойки OCP (Open Rack v3), конструкция которой будет направлена помимо прочего на стандартизацию коллекторов для циркуляции жидкого хладагента внутри стоек, а также на оптимизацию теплообменников для дверей стоек. Кроме того, ведется разработка полностью погружных систем охлаждения (иммерсионное охлаждение серверов).

Жидкостное охлаждение

В течение последних нескольких десятилетий концепция жидкостного охлаждения серверов демонстрировала огромные перспективы. Жидкость обладает гораздо большей способностью улавливать и отводить тепло, чем воздух, но перемещение жидкости через дебри аппаратного обеспечения внутри стойки является сложной задачей и предполагает кардинальное изменение существующих практик и процедур, используемых опереттами ЦОД.

Не в последнюю очередь из-за этого перспективные системы жидкостного охлаждения серверов долгое время оставались в списке экзотических технологий, которые на самом деле не стоят дополнительных затрат и головной боли.

При мощности IT-оборудования менее 20 кВт на стойку использование воздуха для охлаждения является экономически эффективным. И в этом случае нет необходимости подавать жидкость в стойку. Плотность мощности серверов в стойках, как правило, намного ниже этой цифры, поэтому большинство центров обработки данных можно легко построить без жидкостного охлаждения. Однако есть два фактора, способные выдвинуть жидкостное охлаждение на первый план.

Во-первых, современные графические процессоры и другое специализированное оборудование для обслуживания ресурсоемких и востребованных систем искусственного интеллекта и тому подобного софта могут с легкостью повысить плотность мощности IT-оборудования внутри стойки, делая воздушное охлаждение малопригодным.

Во-вторых, те инженеры и операторы ЦОД, которые фактически развертывают жидкостное охлаждение серверов, отмечают и другие преимущества. Например, после реализации системы жидкостного охлаждения она резко повышает гибкость инфраструктуры ЦОД.

Стойки с воздушным охлаждением серверов в стандартных дата-центрах являются частью централизованной системы, которая обязательно включает решения для кондиционирования воздуха, его очистки и перемещения по зданию, а также изолирующие коридоры , занимающие ценное пространство.

Стойки с жидкостным охлаждением требуют лишь соединения шлангокабелем и могут устанавливаться отдельно — на цементном полу, в офисах внутри перепрофилированных зданий или даже в небольшом шкафу. Этот подход позволяет избавиться помимо прочего от системы изоляции воздушных потоков типа «холодные коридор» и «горячий коридор».

Ранние мэйнфреймы комплектовались водяным охлаждением, исходя не в последнюю очередь из технологичности и эксклюзивности такого подхода. Но в современную эпоху жидкостное охлаждение развертывается в ЦОД по иным причинам. Так, опасения по поводу изменения климата и растущей плотности мощности IT-оборудования в стойках привели к тому, что разработчики суперкомпьютеров перешли на прямоконтактное охлаждение горячей водой.

Некоторые фирмы, в том числе Asperitas, Submer и GRC, полностью погружают стойки в резервуары с диэлектрической жидкостью. Такой подход к охлаждению серверов практически не требует электроэнергии, но техническое обслуживание является сложным, поскольку конструкция стойки полностью изменяется, а серверы и коммутаторы должны быть извлечены из резервуара и осушены до любых модификаций оборудования.

Компания Iceotope, которая с недавнего времени может похвастать именитым партнером в лице Schneider, предлагает систему, конструкция которой предполагает погружение компонентов в лотки внутри вертикальных стоек.

Другие вендоры предлагают решения на базе концепции прямой циркуляции жидкости через радиаторы на энергоемких компонентах серверов для удаления выделяемого тепла. Такие фирмы, как CoolIT, разработали системы циркуляции для бизнес-оборудования в стойках, но они были нишевой продукцией, нацеленной, в частности, на суперкомпьютеры.

У инженеров из северной Франции, работающих в компании OVH, есть свой взгляд не только на стойки, о которых говорилось ранее, но и на жидкостное охлаждение серверов внутри них. Они строят центры обработки данных на переоборудованных фабриках, на которых раньше производились гобелены, безалкогольные напитки и медицинские принадлежности.

При этом инженеры используют существующую трубопроводную и иную инфраструктуру для развертывания жидкостного охлаждения в стойках, комбинируя ее с фальшполом и кондиционированием воздуха на уровне здания при необходимости.

Возникающая при этом гибкость помогает провайдеру подстраиваться под изменяющиеся рыночные реалии. Компании не нужно строить гигантский мега-дата-центр мощностью 100 МВт, — она может начать с 1 МВт и начать анализировать спрос.

Таким образом, операторам и владельцам, казалось бы, современных ЦОД, не следует поддаваться ложному чувству безопасности и «почивать на лаврах» . Конструкция аппаратного обеспечения меняется так же быстро, как и раньше, и те, кто строит и эксплуатирует центры обработки данных, должны пристально следить за развитием событий.