Google эффективно использует флэш-память в своих центрах обработки данных

Флэш-память может предложить высокую скорость, а ее внедрение в ЦОД сулит существенный рост производительности системы хранения данных по сравнению с жесткими дисками, но твердотельные накопители все еще остаются более дорогостоящей альтернативой из расчета на один байт в сравнении со старыми-добрыми жесткими дисками. Именно ценовой аспект мешает нам хранить всю свою информацию на флэш-памяти. Даже такие состоятельные компании как Google знают об этом, и, возможно, именно поэтому инженеры интернет-гиганта придумали систему интеллектуального определения того, когда и как наиболее целесообразно следует использовать флэш-память в целях оптимизации производительности всей системы хранения данных дата-центра.

После внедрения этой системы в нескольких дата-центрах Google, которые используются для организации работы механизма MapReduce, распределенных облачных систем хранения данных, а также для обработки видео, инженеры пришли к выводу, что уже сейчас флэш-память можно считать «экономически эффективным дополнением к традиционному массиву жестких дисков в дата-центрах». Более подробное описание системы было представлено в отдельном докладе на конференции USENIX, которая прошла в Сан-Хосе (США) в начале минувшей недели.

В основе системы, которую специалисты Google называют Janus, лежит аналитический механизм, определяющий, когда информация должна быть переписана с диска на флэш-память и наоборот. Если система определяет, что интенсивность работы с отдельным файлом преодолела определенный порог, она переписывает файл с диска на флэш-память – но не сразу: сначала система рассматривает, насколько стары эти данные (и приоритет отдается той информации, которая новее). Это происходит потому, что большинство операций ввода / вывода осуществляется с использованием вновь созданных файлов.

При принятии решения, как долго данные могут остаться на флэш-памяти перед тем, как будут переведены на диск, система также учитывает и то, как давно и как часто поступали запросы на их чтение. Данные, которые считываются наименее часто, вероятно, должны быть направлены на медленный диск. Иными словами, новый контент первоначально размещается в основном на флэш-памяти, и со временем он переводится на жесткий диск, при этом движение фала между двумя типами запоминающих устройств со временем становится все менее интенсивным.

В целом система Janus позволяет серьезно повысить эффективность использования флэш-ресурсов. Специалисты интернет-гиганта отмечают, что тестирование системы показало возможность проводить целых 28% операций чтения с помощью флэш-памяти, размещая на ней всего 1% данных.

Google не единственная компания, специалисты которой хотят повысить производительность системы хранения данных. Инженеры и программисты социальной сети Facebook потратили огромное количество времени, чтобы придумать аппаратное и программное обеспечение нового образца для хранения данных, которые системе не нужно выдавать очень быстро. Тут речь идет о миллиардах старых фотографий, которые находятся в самой глубине бесчисленных фотоальбомов пользователей Facebook, или, возможно, об аналитических данных, которые компания хотела бы сохранить на будущее, чтобы быть выполнять те или иные нормативные требования.

Флэш-память вполне может быть ключевой частью стратегии хранения данных, которую Facebook использует в своих дата-центрах. С помощью этой технологии старые картинки смогут отображаться на экране вашего гаджета намного быстрее. Но твердотельными накопителями дело не ограничивается: даже диски Blu-ray могут использоваться для хранения определенных видов данных. Программисты Facebook также разработали хранилище пар ключ / значение McDipper (кэш-сервер) для повышения эффективности работы флэш-памяти. С помощью этой технологии данные передаются на высоких скоростях, при этом система не полагается на более дорогую память типа DRAM.

Из вышеприведенного материала можно сделать один важный вывод: вскоре внутри крупнейших центров обработки данных планеты и ЦОД размером поменьше отнюдь не все данные будут храниться на носителях одного типа. Они будут распределяться между быстрыми и медленными накопителями, и при этом распределении будут учитываться очень многие факторы.