От ленты VTR до ленты LTO … Работа ленточных библиотек на примере Metus MAM
Хранение и каталогизация медийных данных в профильных компаниях всегда представляли собой непростую задачу, не только в плане организации размещения данных для удобства поиска, но также занимали достаточное большие объемы пространства. Сначала это были видеокассеты форматов BetaCAM, DVCAM и др. Как правило на одном носителе располагалось примерно 60 минут контента с прилагаемым описанием. Это описание имело принятую на предприятии структуру метаданных, а также его привязку к таймкоду на ленте. В результате архив получался просто гигантских по размеру, а его стоимость из-за использования профессиональных носителей также получалась очень высокой. Когда появилась возможность использования цифрового материала в виде аудио и видео файлов, качество которого соответствовало вещательному или монтажному, начался процесс перехода архивов с видеокассет на цифровые носители информации. Если контент находился в работе, его хранили на дисковом массиве, позже переносили на DVD или видеокассету, а когда материал требовался снова, его «перегоняли» на жесткий диск обратно. Однако дисковые массивы все еще были дорогим удовольствием, поэтому особой популярностью не пользовались.
Примерно в 2000-м году началось широкое применение технологии LTO. Она была разработана в 1998-м году и подразумевала хранение цифровых данных любых форматов на ленточном носителе. Носители поколения LTO-1 вмещали до 100 Гб данных (примерно 10 часов в формате DV). Мы не будем рассматривать вопрос стоимости хранения одного часа материала на разных носителях. Но совершенно очевидно, что обычная видеокассета проигрывает по занимаемому пространству любому цифровому носителю примерно в 10 раз, а значит, и помещение архива должно быть в 10 раз меньше. Таким образом классическая лента начинает потихоньку уступать место более компактным носителям, не говоря уже о скорости чтения данных, где скорость переноса и поиска данных также существенно выше и ограничена только скоростью считывания с носителя или скоростью записи на него.
Технология постоянно совершенствуется, и на сегодняшний день уже доступны LTO-накопители емкость до 6.25 Тб (с компрессией), с поддержкой защиты от перезаписи, шифрованием данных и др. В это же время начали появляться решения для работы с цифровыми архивами данных. Компания Metus Technology, которая была основана еще 1998 году, занимается разработкой профессиональных решений для работы с цифровым контентом. В списке продуктов в данной статье мы рассмотрим Metus MAM и его возможности по хранению и обработке контента и интеграции с LTO-решениями.
Если объективно смотреть на проблематику хранения материалов на цифровых носителях, то, кроме несомненных достоинств (скорость и компактность), у них всех есть один очень существенный недостаток – это количество потерянной информации в случае механического повреждения носителя, что, впрочем, легко исправляется созданием резервных копий. Вопрос хранения на DVD или Blue-Ray не будем даже рассматривать, так как их надежность оставляет желать лучше, а стоимость хранения, как ни странно, не дает реальных преимуществ.
В основе решения Metus лежит использование цифровых носителей и дисковой подсистемы. Все материалы хранятся на сетевых или локальных дисковых массивах, а также могут быть перемещены или скопированы на ленточные LTO-носители. Первоначально материал копируется на дисковый массив архива, генерируется его прокси-копия, заполняются поля метаданных. Таким образом в медиаархиве появляется ассет, представляющий собой единицу материала с прикрепленными к ней данными. Вся описательная и текстовая часть сохраняется в базе данных MS SQL или Oracle, а вот прочие данные (видео, аудио и т.п.) могут быть размещены в различных местах согласно заранее определенным правилам.
По степени важности их можно разделить на следующие группы:
• Материал, который нужен в данный момент, он актуален и должен быть доступен для быстрого просмотра,
редактирования и скачивания;
• Материал, который временно помещен в архив и в скором времени будет удален;
• Материалы, ставший неактуальным после определенной даты или проекта, но удалять его нельзя в силу
различных причин;
• Материал, который можно спокойно удалить за ненадобностью.
Без сомнения, было бы просто замечательно сделать огромный дисковый массив на SAS 15K дисках или SSD носителях, постоянно расширять его и иметь весь материал в доступе с высокой скоростью доступа к нему большого количества пользователей. В реальности же это будет тяжелым решением, которое потребует больших финансовых затрат и работ по обслуживанию массива данных. Приведенные выше SAS 15K диски являются довольно дорогими, имеют механические части, а следовательно будут выходить из строя при интенсивной эксплуатации довольно часто, а SSD так еще и имеют ограниченное количество циклов чтения/записи. Но если нужна скорость, то без них никуда. Наиболее правильным в данном случае будет создание распределенного архива, в состав которого войдут различные хранилища по выполнению определенных задач.
Интерфейс Metus MAM позволяет использовать в рамках проекта различные тома, распределяя весь контент согласно определенным правилам. Например, весь материал, не старше 6 месяцев, будет храниться на быстром SAS 15K массиве и доступен для одновременной работы нескольких NLE станций без необходимости скачивания на локальный диск. Для этого разработчиками спроектированы специальные NLE-плагины, которые интегрируются в интерфейс монтажного ПО. На данный момент поддерживаются Adobe Premiere CS6 и выше, Sony Vegas, GV Edius, Final Cut Pro 7, Avid media Composer (скоро). Материалы переносятся на таймлайн напрямую, причем работа может проходить как с оригинальным видео, так и с прокси-копией. По завершении монтажа происходит переключение на оригинальный источник и рендер клипа с выгрузкой в МАМ. Такой подход очень удобен, так как позволяет довольно большому количеству клиентов осуществлять одновременную работу не только для монтажа, но и для прочих нужд, а нагрузка при работе с быстрого массива, да еще и в прокси разрешении позволит обработать десятки одновременных подключений.
На рисунке ниже представлена схема организации дисковых томов Metus MAM. Тут может показаться «узким» местом интерфейс 1 Гбит/сек, но это не так. Мы всегда можем поставить дополнительный сетевой адаптер с настройкой агрегации портов, либо использовать 10 Гбит/сек. – и проблема решена! А ведь еще можно не только разнести материал на разные дисковые тома, но также и на разные серверы, что вообще избавит сервер от части физической нагрузки. В результате Metus MAM будет перенаправлять большинство запросов на дополнительный сервер с прокси-данными, в то время как работа с оригиналами ведется другой группой пользователей с отдельного сервера.
Так как актуальный контент все время обновляется, то теряющие актуальность материалы следует переместить с быстрого дискового тома в другое расположение, чтобы освободить место для поступающих данных. Для этого можно создать дисковый массив большого объема порядка 50-100 Тб, но уже на более дешевых и емких SATA дисках. Тут контент также остается доступным для всех пользователей, но стоимость его хранения становится гораздо ниже.
В результате мы получаем следующую картину:
1. Дисковый том для прокси-копий, построенный на SSD/SAS15K дисках общим размером приблизительно 3-5 Тб.
2. Дисковый том для хранения материалов, находящихся в оперативном доступе, построенный на SSD/SAS15K дисках
общим размером приблизительно 5-10 Тб.
3. Дисковый массив большого объема для долговременного хранения материалов. Его емкость может составлять
50-100 Тб или выше, в зависимости от потребностей.
При этом база данных по контенту хранится отдельно на MS SQL сервере, она постоянно резервируется, а доступ к ее данным осуществляется практически мгновенно.
Также Metus MAM поддерживает еще одну интересную функцию – это автоматическое распределение медиа данных между несколькими рабочими томами для обеспечения балансировки нагрузки. В качестве массивов хранения данных можно добавить несколько томов и настроить их так, чтобы материал всегда скидывался на самый свободный том, либо они заполнялись последовательно. Это даст возможность разгрузить аппаратные ресурсы согласно группам пользователей, которые работают над разными задачами и оптимизировать обращение к дисковой подсистеме.
Описанная выше структура позволяет с легкостью работать одновременно до нескольких десятков пользователей (количество клиентов будет зависеть от аппаратной конфигурации сервера), но когда-нибудь обязательно настанет момент, когда даже имеющиеся 100 Тб начнут заканчиваться, а удалять ничего ну никак нельзя. В это случае есть 2 пути решения проблемы (кроме удаления старых материалов):
1. Добавление HDD дискового массива каждый раз, когда место подходит к концу;
2. Использование ленточных накопителей LTO.
Первый путь конечно хорош в том плане, что весь контент компании всегда находится в оперативном доступе. Однако тут ест и очень существенные недостатки. Во-первых такая система становится все менее надежной с добавлением новых дисков в систему и, соответственно, более сложной и дорогостоящей в обслуживании. Возможные сбои в работе контроллеров массива, нагрузка на сервер, все большее количество дисков повышает вероятность их выхода из строя. И так далее. Плюс ко всему сильно увеличивается энергопотребление, а также количество используемых ИБП и/или их мощность.
Второй путь конечно же не позволит осуществлять мгновенный доступ к любому материалу, но является ли это критичным? Попробуем разобраться. Объем в 100 Т способен вместить в себя материалы как минимум за 6-12 месяцев работы, реально все зависит от формата. Более старый материал находится на внешнем носителе, который требуется установить в привод, чтобы скопировать данные. Процесс 10-ти минут, если делать это полностью вручную. Или нескольких минут, если используется роботизированная библиотека. При этом материал доступен в оригинальном качестве.
Архив Metus работает с материалом следующим образом. Пользователь создает ассет, назначает прокси-копию, которая сохраняется на отдельном массиве. Такой материал накапливается, а когда его возраст становится, скажем, более 6 месяцев, он автоматически перемещается на ленту. А статус его меняется от Online к Nearline. Это значит, что контент находится на ленточном носителе, который в данный момент расположен внутри ленточной библиотеки, либо на картридже, который в данный момент установлен в LTO Single Drive привод. Кроме того, можно настроить работу архива так, что весь попадающий контент будет сохраняться на основном массиве, а также копироваться (вместе с прокси-копией) на ленточный носитель. Но емкость библиотеки тоже не бесконечна. И там настанет время, когда картриджи нужно будет вытащить и положить на полку. В этом случае ассет переходит в режим Offline. Его прокси копия может как оставаться в Online доступе, так и быть перемещена вслед за оригиналом. Все это происходит автоматически или по командам пользователя. Таким образом, архив можно наполнять практически бесконечно.
Теперь рассмотрим, как это работает на уровне перемещения файлов. Есть два различных сценария построения рабочих процессов. Это использование ленточных библиотек LTO Tape Library и использование приводов LTO Single Drive. Выбор одного из вариантов зависит от того, на сколько требуется автоматизировать рабочий процесс и как быстро пользователь хочет получить запрашиваемые данные.
Для работы, например, на телеканале более эффективным будет использование варианта с ленточной библиотекой. Тут несколько минут могут быть критичны, поэтому наиболее рациональным будет автоматизировать запрос на получение информации и максимально исключить ручную работу вроде установки картриджа в слот.
В интерфейсе Metus MAM для получения материала после двойного щелчка по ассету будет показано сообщение, что он находится на ленте и может быть при необходимости скопирован в архив. Это занимает какое-то количество времени, но зато само действие происходит автоматически. На файловом уровне работа с библиотекой осуществляется через стороннее решение XenData. Данный продукт позволяет представить библиотеку в виде жёсткого диска, с котором работает операционная система и распознавая его как один из локальных томов. Далее служба XenData перехватывает подобные запросы, определяет местоположение запрашиваемого файла и ставит в слот нужный картридж. Запрашиваемый материал копируется в кэш, который представляет собой жесткий диск объемом, равным объему картриджа. Данный материал может быть уже в кэше, если он недавно был перемещен на ленту, когда процесс переноса на диск не происходит, а клиент мгновенно получает доступ к материалу. Если картридж отсутствует в библиотеке, то Metus выдаст сообщение с номером носителя, который необходимо установить. Но это довольно редкий случай, так как обычно библиотеки насчитывают до сотни носителей. А при необходимости ее всегда можно увеличить. И в этом случае, в отличии от дискового массива, вероятность потери данных уже меньше, энергопотребление ниже. Безусловно, требуется вручную добавлять новые кассеты, вынимать старые и хранить их в соответствующих условиях. К тому же размер ленточных накопителей, а также скорость чтения и записи постоянно увеличиваются.
Так например стандарт LTO-6 поддерживает до 6.25 Тб сжатых данных и скорость обмена данных до 400 Мб/сек, следующая версия LTO-7 увеличит скорость почти вдвое, а версия LTO-8 сможет работать на скорости 1180 Мб/сек и поддерживать носители до 12.8 Тб. Добавление библиотеки нового стандарта также не будет составлять проблемы. Администратор просто подключает ее через SAS или оптический контроллер к серверу, а сервис XenData уже создаст дополнительный дисковый том и будет его обслуживать. Для пользователя Merus MAM в работе ничего не изменится ни в плане работы с ассетами, ни в плане организации процесса обслуживания архива.
А вот теперь возьмем небольшую продакшен студию. Люди совместно работают с большими объемами данных. Многие очень любят сохранять исходники, а не только готовый сюжет. В первую очередь им нужен быстрый доступ именно к тем данным, которые используются в текущем проекте. Безусловно, они будут пользоваться и старыми наработками, но если возможности получить его максимально быстро нет, то рабочий процесс это не остановит. То есть человек без проблем сможет взять в архиве нужный картридж, слить с него материалы и начать работу с ними, ведь счет на секунды тут не идет, это не эфир.
В этом случае приобретается привод LTO Single Drive, устанавливается на одно из клиентских рабочих мест, например на рабочее место архивариуса. Он и будет заниматься сменой картриджей и по мере их заполнения перемещать уже заполненные в архив и ставить на их место пустые, либо устанавливать ленту, материал с которой требуется получить. Процесс очень просто, не требует никаких специальных знаний, не нужно дополнительное программное обеспечение XenData и его обслуживание и настройка. А по конечной стоимости вообще получается очень эффективное и недорогое решение. Клиент приобретает одну из лицензий MediaCube, лицензию поддержки Single LTO, сервер и дисковый массив нужного объема. Сервер баз данных не требуется, так как вполне достаточно версии MS SQL Express, установленной на том же сервере. Готовое решение обойдется примерно в $ 30-50 000, и при этом не потребует никаких специальных знаний для сборки, настройки и эксплуатации такой системы.
Кроме использования ленты у Metus MAM есть еще одна интересная особенность, которая позволит очень эффективно использовать не только ресурсы серверов, но и клиентских рабочих станций. Дело в том, что материалы не обязательно добавлять в архив с обязательным их перемещением в защищенную рабочую среду. Они могут располагаться там, где и лежат, то есть в сетевых папках общего доступа или на локальном диске пользователя. Архивное место при этом вообще не расходуется, а возможность доступа к контенту, работа с ним, редактирование метаданных остаются без изменений. Для этого существует свой тип архивного проекта Library, представляющий собой каталогизатор медиаактивов и хранение описаний к ним. При этом такой проект всегда может быть преобразован в полноценный защищенный архив, а также и наоборот, архивный проект может стать общедоступным.
Подводя итог, можно сказать, что построение медиаархива на решении Metus MAM выходит далеко за рамки одного сервера и простого каталогизатора с доступом по паролю. Фактически можно спроектировать систему любой сложности, которая позволит работать с громадными объемами данных, распределять нагрузку, ограничивать права доступа, распределять обращения дисковой подсистеме и так далее. Архив представляет собой гибкое решение с распределенной отказоустойчивой архитектурой. Кроме того, с помощью SDK, предоставляемого разработчиками, он может быть легко интегрирован в системы автоматизации и сторонние комплексы любой сложности на любой стадии.
Подробнее о Metus MAM
