Ученые IBM сооружают дисковое хранилище емкостью 120 петабайт. Это примерно в 8 раз больше самого крупного современного проекта.
Ученые исследовательского центра IBM Almaden в Сан-Хосе, Калифорния, разрабатывают крупнейший в мире дата-центр, емкость которого составит 120 петабайт. Этого было бы достаточно, чтобы записать примерно 24 млрд MP3-файлов или сохранить 60 копий архива интернета Wayback Machine, содержащего 150 млрд страниц. Только лишь для записи имен, свойств и атрибутов всех файлов, хранимых в такой системе, потребовалось бы 2 петабайта свободного пространства.
Подобного хранилища оказалось бы достаточно, чтобы сохранять данные всех пользователей Facebook в течение примерно 13 лет. Согласно официальной статистике, ежедневно на серверы социальной сети записывается около 25 терабайт пользовательской информации.
«Новое хранилище будет значительно больше тех, которые я когда-либо видел, – комментирует аналитик IDC в области высокопроизводительных систем Стив Конвей (Steve Conway). – Самые крупные доступные на сегодняшний день хранилища предлагают емкость около 15 петабайт».
Имя клиента, заказавшего столь крупное хранилище, не сообщается. Говорится лишь, что оно необходимо для «симуляции событий глобального масштаба». По словам Конвея, дополнительная емкость помогает решать вычислительные задачи, связанные с прогнозированием погоды, землетрясений и изучением живых организмов на клеточном уровне.
Для хранения информации были выбраны традиционные жесткие диски. Для того чтобы собрать массив из 200 тыс. винчестеров – именно столько включает в себя система – ученым пришлось решить ряд проблем. Во-первых, они сконструировали более широкие стойки, чтобы в каждую из них поместилось больше накопителей. Во-вторых, вместо воздушного охлаждения – которое здесь оказалось неэффективным – было использовано водяное.
Для того чтобы защитить данные от сбоев ученые применили стандартный метод резервирования на нескольких накопителях, но и здесь не обошлось без нововведений – специальные технологии в случае сбоев позволяют системе продолжать работу практически без снижения производительности. Когда из строя выходит какой-либо жесткий диск, после его замены, данные на нем начинают восстанавливаться постепенно. Если же сбой затронул несколько накопителей, скорость восстановления возрастает для того, чтобы не возникла нехватка данных. По словам руководителя проекта Брюса Хиллсберга (Bruce Hillsberg), цель разработок – сделать так, чтобы система могла надежно работать бесконечно долго.
Кроме того, в проекте была использована файловая система GPFS, разработанная IBM еще в конце прошлого века. Она способна распределять один файл по нескольким жестким дискам, таким образом, процессы его чтения и записи могут разделяться на множество параллельных операций. Именно программные усовершенствования, по словам Хиллсберга, позволяют строить подобные массивы. Так как производительность самих дисков повысить гораздо сложнее, на помощь приходят специальные алгоритмы.
Несмотря на то, что в IBM поступил заказ на строительство одного такого хранилища, в будущем технологии, которые будут разработаны и внедрены на пути реализации проекта, обязательно найдут применение в обычных коммерческих системах, считает Хиллсберг.
Источник:
