Автоматизация, 4K и SMPTE 2110: как будет выглядеть телевидение в будущем

16 октября ушел из жизни Марк Иосифович Кривошеев, советский и российский ученый, основоположник современного цифрового телевидения. Символично, что с этим событием совпало и окончание эпохи аналогового вещания в России.

На технологической секции 22-го международного конгресса НАТ звучало много интересных докладов о достижениях в телевизионной сфере.

Заместитель директора компании «Окно-ТВ» Юрий Михайловский: 

— В некоторых форматах, например, диалоге гостя и ведущего в студии, действия работников понятны и предсказуемы. Камеры стоят в определенных местах, и все знают, как режиссер переключает общие и крупные планы. А раз все и так понятно, то зачем использовать труд живых людей, когда можно все автоматизировать?

Многие структуры с большим объемом вещания задавались подобным вопросом. В голландской компании MobileViewpoint, например, создали прототип такой системы при помощи технологий систем безопасности.

Раз все и так понятно, то зачем использовать труд живых людей, когда можно все автоматизировать.

Такие трансляции, как футбольные матчи, требуют больших финансовых затрат в производстве: это ПТС, большое количество камер, работа звуковиков, режиссера и группы повтора. Но если матч тренировочный или это игра низшей лиги, имеет смысл использовать новые технологии для трансляции с минимальными затратами.

Примерно 10 лет назад для футбола были придуманы системы трекинга. Выставлялась камера с большим углом обзора, около 180 градусов, она фиксировала перемещение игроков и мяча, сохраняла данные, записывала последовательность действий, которую при необходимости можно было повторить, чтобы потом запись показать судьям или тренерам.

Можно взять некий моноблок из четырех камер, который покрывает обзор 180 градусов, сшить эти изображения в единое поле и по этому полю сформировать виртуальные камеры. Процессор при наличии такого изображения может обеспечивать приближение к области игрового поля, отслеживать перемещения мяча и игроков на протяжении игры, осуществлять наезд / отъезд виртуальной камеры.

Мы можем на своем поле разместить несколько виртуальных камер, и каждая будет работать по своему алгоритму: одна из камер ведет мяч, остальные работают по другим зонам. Также процессор может делать переключения между живыми изображениями или стоп-кадрами с этих камер.

Система IQ Sports Producer включает в себя специальные алгоритмы для обнаружения объектов, людей и их поведения. Процессор понимает, какой игрок относится к команде левых, какой — к команде правых.

Представленная технология хороша для видеосъемок соревнований, которые смотрит немного зрителей.

Также в процессоре можно добавлять генератор игровых повторов, систему комментариев, счет игры. Можно поточить все камеры одновременно, чтобы на удаленном конце получить изображение от них всех, можно публиковать игры в социальных сетях.

Панель управления состоит из нескольких камер, их можно поворачивать вручную, можно наезжать, но при этом исходный файл единый.

Система IQ Sports Producer / Фото: «Окно-ТВ»

Для надежности передачи потока используется агрегирование каналов. Если использовать только одно соединение сети, могут возникнуть сбои, перерывы. Бондинг хорошо себя зарекомендовал в работе с резервированием потоков, поэтому каналов может быть много, для подстраховки можно использовать сотовые сети или еще какие—то альтернативные возможности доставки. Через SDI можно выходить в эфир.

Небольшое изменение в организации потока может значительно увеличить трафик.

Это решение никоим образом не замещает работу ПТС. Представленная технология хороша для видеосъемок соревнований, которые смотрит немного зрителей. Цена на подобные решения в скором времени снизится, и ими можно будет оснастить спорткомплексы и клубы.

Сейчас разрабатывается поддержка баскетбола — это большое количество камер с высоким разрешением. Также хорошая идея — возможность подключения комментатора через web-клиента. Возможно, в следующем году мы увидим полный релиз этой разработки.

Вторая система, о которой сегодня хотелось бы рассказать — News Pilot. Это система автоматизации студийной работы. В частности, формата диалога, когда у ведущего в студии находится гость.

Искусственный интеллект News Pilot заменит операторов и режиссера в студии / Фото: «Окно-ТВ»

Это программно-аппаратное обеспечение, которое управляет поворотными камерами, воспроизведением графического оформления и заранее подготовленного видеоконтента. Также  это решение может анализировать информацию  с 3D-датчиков и аудиоинформацию с  микрофонов участников программы. Система имитирует работу режиссера, который работает с ведущим и гостями в прямом эфире.

Датчики 3D-пространства позволяют определить, где находится объект съемки. Далее процессор наводит камеру на человека, удерживает его в кадре, если он перемещается. Есть механизм виртуального режиссера: эта функция переключает камеры, базируясь на происходящем в студии. Например, один участник говорит, второй слушает — камера автоматически переключается на того, кто говорит, опознавая звуковые сигналы с микрофонов. Когда кто-то долго говорит, работает функция переключения планов с крупного на общий или на слушающего оппонента.

Этот механизм система получает от тренера. Тренером может быть режиссер, который на этой системе проведет до 10 тестовых работ. В результате система обучается  и понимает, когда производится переключение камер, чтобы в будущем симулировать работу режиссера. Можно записать работу нескольких режиссеров. Ведущий может выбрать стиль того режиссера, с которым ему хочется работать.

При помощи планшета и приложения можно создавать плейлист, формат программы: начальная заставка, отбивки, рекламные ролики. Планшет находится у ведущего под рукой, и он может все это переключать, или все эти программы могут идти с привязкой по времени или каким-либо еще моментам — все это программируется. Есть возможность графического оформления, вывода титров, бегущей строки, цветокоррекции.

Хамфри Хох (Hamphrey Hoch), советник по инновациям и развитию продуктов немецкой компании Broadcast Solutions: 

— Первый шаг в IP сделал звук. Стандарты Dante и Ravenna успешно установили стандарт звукового вещания. Маршрутизация и обработка в сети была достигнута. В 2013 году родился новый стандарт цифрового звука AES 67. Это был важнейший шаг для настоящих и будущих протоколов в истории IP.

Первые IP-видеосети строились по протоколу IGMP. Это было монолитное системное ядро, к которому присоединялись сетевые узлы. При этом нужно было очень много преобразователей SDI в IP-сеть. В будущем нам понадобится меньше таких переходников, так как все больше и больше устройств поддерживают IP напрямую.

Распределение ресурсов централизовано, и вы можете управлять ими из любого места. Конечно, у базовой сети должен быть резерв.

Что же изменится с внедрением SMPTE 2110?

Сеть по рекомендации SMPTE 2110 / Фото: Broadcast Solutions

Изменения огромны. Видео, звук и метаданные теперь распределены на отдельные потоки. Нужно просто управлять большим количеством потоков. Давайте подсчитаем: в небольшой ПТС или студии коммутируются приблизительно 256 входов/выходов. В каждом сигнале видео и 16 каналов звука. Таким образом, мы имеем дело с 4096 источниками/потребителями — и это только звук. Получаем порядка 5000 входов/выходов плюс дополнительные метаданные.

В потоке по рекомендациям SMPTE от 2 до 64 каналов. Стало быть, нужно управлять многими потоками. А небольшое изменение в организации потока может значительно увеличить трафик. В итоге порядка 1000 потоков, если работать с восьмиканальным звуком. В случае работы со стерео, это порядка 3000 потоков звука плюс часть с видео. Число потоков растет очень быстро даже для студий среднего размера.

Итак, наша сеть не только широкой пропускной способности 3G или 12G. Она также обрабатывает большое количество IP-потоков. Это отличие существенно.

Большое количество потоков с низкой пропускной способностью возможно, как это было реализовано в протоколах Dante, Ravenna, AES 67. Проблемы возникают в сочетании количества потоков, объема потока и выбранной IP-инфраструктуры. Большое количество данных по отношению к потоку и большие объемы данных по отношению к пропускной способности убивают всю организацию сети.

Нам нужен умный интерфейс, который будет передавать всю необходимую информацию, позволяющий коммутацию даже в IP-сетях, способный управляться с динамикой сети.

Управление сетью и инструментарий совместимы с IP, но вовсе необязательно совместимы с вещанием. Проблема в управлении двумя базами данных. Контроллер вещания нацелен на конкретные имена, такие как камера, сервер и другие. У него может быть информация о multicast-адресах. У инструментария сети другая база данных, поэтому работать с ней и хранить ее нужно отдельно. Неприятно и сложно их синхронизировать.

Интерфейс управления двумя системами опирается в основном на информацию маршрутизации. Сетевой инструментарий предстает неким маршрутизатором для вещательного контроллера. Так как контроллер вещания это основной пользовательский интерфейс, то оператору необходимо знать, если что-то пошло не так. Теперь нам нужно больше информации: о сетевой топологии, в каком направлении пошел трафик, информация с A и B сетей (основная, резервная), конфликт управления для A и B сетей и их узлов, ширина полосы частот сигнала и другое.

Нам нужен умный интерфейс, который будет передавать всю необходимую информацию, позволяющий коммутацию даже в IP-сетях, способный управляться с динамикой сети. Единая база данных для пользователя и наиболее значимая информация для вещания должна быть видима во время операции.

Эта потоковая система должна выглядеть так:

Потоковая система с умным интерфейсом / Фото: Broadcast Solutions

На нижнем, так называемом железном уровне расположены все конечные вещательные узлы с сетью. Выше — сеть с архитектурой ствол / листья — основная и резервная. А сверху располагается уровень вещательного инструментария с одной базой данных и умным интерфейсом для работы.

Александр Антонов, руководитель отдела разработки новых сервисов компании «Синтерра Медиа»: 

— Вещание в Ultra HD — это баланс между высоким битрейтом, то есть скоростью потока, стоимостью кодирования и новыми технологиями. Сейчас рекомендация h.264 — это стандарт, который используется в интернете, но этот кодек не может обеспечить достаточную компрессию для более высоких разрешений и расширенного динамического диапазона цветов. На смену h.264 придут новые решения: h.265 и AV1. AV1 — совершенно новый стандарт, который сейчас развивают интернет-компании.

Также серьезные изменения происходят в контейнерах транспортных потоков. Контейнер ТS — это де-факто стандарт, потому что большую часть потокового видео сегодня передается по сети с использованием протокола HLS, в котором используется ТS. И это наиболее популярный стандарт. Однако в современном мире четко прослеживается стремление к унификации протоколов и стандартов. Два года назад компания Apple объявила, что они переходят к fMP4 (CMAF), что подтвердило желание крупнейших вендоров  сформировать единый формат контейнера.

Если интернет-сообщество продолжит развивать AV1, он займет весомую долю в интернет-вещании.

HEVC (h.264) – стандарт, разработанный телевизионными компаниями, а AV1 создавали для вещания в интернете. HEVC подпадает под пул патентов MPEG LA, и, если требуется его использовать, необходимо платить роялти. В то же время AV1 — полностью бесплатный кодек, готовый код находится в свободном доступе. Его можно интегрировать в свой продукт.

Но AV1 пока еще не оптимизирован под железо, то есть сейчас в производстве использовать его нельзя, потому что он дольше кодирует и требует больших вычислительных мощностей. Первый релиз этого кодека состоялся в августе 2018 года, но он уже поддерживается 70-й версией Chrome. Сейчас он доступен для разработчиков в пакете FFmpeg версии 4.2. Если интернет-сообщество продолжит его развивать, он займет весомую долю в интернет-вещании.

С другой стороны, HEVC уже доступен на всех новых устройствах Apple, компания официально объявила о поддержке этого кодека своим железом. Также он работает на многих устройствах Android, которые имеют аппаратную поддержку. Этот кодек используется в Smart TV.

Развитие HEVC потребовало 10 лет. Сейчас это самый популярный кодек. Однако, в дальнейшем широта его распространенности будет зависеть от крупнейших интернет-компаний, входящих в альянс Open Media.

Дальнейшее развитие UHD сейчас во многом зависит от операторов.

Но на сегодняшний день нельзя подготовить единый поток вещания, который подходил бы для всех устройств: оборудование разное. Если мы запускаем вещание в Ultra HD, нам нужно подготовить один поток для устройств Apple, другой — для телевизоров. А если мы хотим, чтобы Ultra HD вещал в браузере, то это еще одна версия. Получается, чтобы вещать сейчас в Ultra HD, нужно создать как минимум три разных потока.

Далее встает вопрос стоимости процесса: нужно найти баланс между битрейтом и затратами на кодирование. Если использовать стандартный кодек h.264, то получим очень высокий битрейт, очень высокие затраты на CDN, большие задержки на стороне абонента. Если взять современные кодеки, то они сокращают битрейт, но требуют значительных ресурсов для кодирования. Если мы при этом используем новые возможности, такие как HDR, то это дополнительно повысит битрейт и затраты на его кодирование.

Дальнейшее развитие UHD сейчас во многом зависит от операторов, потому что один и тот же сигнал кодируется много раз разными компаниями. Можно совместно использовать одни и те же ресурсы: можно закодировать поток один раз в одном месте, и отдать в CDN для разных операторов. Альтернативы CDN для доставки сигнала, к сожалению, нет.

Количество устройств, которые могут получать потоковое видео, постоянно растет. Чтобы отдавать поток, нужны большие емкости, а сделать один сервер с большой емкостью невозможно. Если операторы договорятся не кодировать сигнал самостоятельно и готовы будут распределить этот ресурс между собой, то они значительно сэкономят на затратах на кодирование, а абоненты получат услугу более высокого качества.

Сергей Маршак, менеджер проектов дирекции по технологиям НСК, утверждает, что будущее телевидения — CaaS (content-as-a-service — контент как услуга):

— НСК разрабатывает и внедряет технологии и продукты для медиарекламного рынка, а также предоставляет его полную аналитику. Ключевым продуктом технологического портфеля НСК стала система размещения рекламы ViMB, которую компания поддерживает и развивает по заказу НРА. Система автоматизирует процесс размещения рекламы, от заказа рекламных кампаний до получения отчетности, объединяя таким образом интересы всех участников медиарекламного рынка.

Но если брать текущую ситуацию, то имеющийся стек технологий НСК не позволяет управлять рекламными возможностями всего объема аудитории.

В Интернете много компаний, готовых размещать в своих проектах видеоконтент. У этих проектов есть свои видеоподразделения, но нет опыта в этой сфере, нет профессионального оборудования и недостаточно денег для производства контента. Тем не менее уровень этих проектов растет, они формируют спрос своей аудитории на контент, но не могут его удовлетворить тем, что сняли сами. И этим онлайн-СМИ и онлайн-изданиям необходим качественный видеоматериал, сделанный профессионально, который есть только у телеканалов. Но сейчас для этого нет нужной структуры.

Мы выделяем три типа контента: аудио, видео и тексто-графический (также перспективными типами контента считаем киберконтент и контент виртуальной реальности). Мы научились контролировать и управлять тремя основными типами контента в классических средах, однако не умеем это делать в Интернет-среде. И не умеем аудиторию в классической и Интернет-средах объединять. Чтобы это сделать, мы должны развивать наши технологии.

Текущая экосистема медиа выглядит следующим образом:

Бизнес схема современного медиа рынка / Фото: НСК 

В медиаиндустрию пришли интернет-технологии. Они меняют экосистему медиа.

• Увеличилось медиапотребление и доступность контента.
• Выросла конкуренция за время зрителя.

Мы находимся в процессе перехода, и все крупнейшие игроки мирового и локального рынков стремятся занять эти ниши.

Структурная схема проекта CaaS (контент как услуга) / Фото: НСК

Разработка CaaS состоит из 14-ти структурных элементов:

1. каталогизация контента;
2. управление нелинейным контентом;
3. подготовка материала;
4. его раздача;
5. агрегация медиаинвентаря;
6. доставка до потребителей;
7. мониторинг качества;
8. инструмент обработки данных;
9. инструмент измерений;
10. ценообразование;
11. управление рекламой;
12. размещение рекламы;
13. отдельный инструмент — противодействие пиратству;
14. отдельно — система биллинга, которая обслуживает все денежные цепочки, включая создание контента.

Мы достаточно долго работаем над созданием этой системы. Сегодня взаимодействовать ТВ и Интернет в плане распространения контента мешают два момента — это каталогизация контента и управление нелинейными видеоматериалами.

Как только появится федеральный каталог нелинейного контента, тогда значительно вырастет рынок легального видео, повысится число ОТТ телеканалов, а также решится множество вопросов, которые возникают у телеканалов в связи с покупкой и продажей видеоматериалов. Федеральный инструмент управления нелинейным контентом поможет решить многие задачи телеканалов, рекламодателей и издателей в Интернете.

 

 

Источник