65 тысяч лиц на стене, 8K и микроскоп в кармане или «хождение по мукам» на примере тестового спутникового вещания «Собственная среда 8К» ГК «ОРИОН» на выставке CSTB 2019

Немного кропотливого труда и настоящее телевидение 8К у нас на стенде! Ошибки быть не может: на экране крошечные птички на фоне далекого синего озера величаво машут крошечными крылышками и сучат ножками, словно мы смотрим на них с самой Луны… Они великолепны и это ОНО – 8К телевидение! 7680 х 4320 настоящих пикселей и фантастические 4000 нит яркости!* Главный вопрос от посетителей: А ЗАЧЕМ?

…Окрыленные большим числом «сэмплов» телекоммуникационного оборудования 8К на телевизионных выставках 2018 года, мы решили собрать на платформе ГК Орион «рабочий» макет для вещания через спутник ТВ сигнала в разрешении 8К и продемонстрировать это на стенде CSTB в январе 2019 (бытовой формат, 7680х4320 пикселей). Но. довольно быстро выяснилось, что только производители видеокамер по настоящему готовы к штурму нового разрешения, поскольку такое число пикселей уже давно стало частью цифровой киноиндустрии и «де факто» — эталоном современного киноразрешения. Оказалось, что снятый на камеру 8К материал обладает потрясающим потенциалом для преобразования в почти идеальный 4К и HD (down scale). Значительный визуальный эффект достигается при этом за счет расширения возможностей при цветокоррекции, усиления детальности и подавлении шума. Благодаря этому контент 8К уже несколько лет производится для кино (по сведениям приближенных к киноиндустрии участников эксперимента сегодня в США коронный для 8К производства жанр — блокбастер), 8К активно снимают японские теле-кинокомпании, на рынке большое количество «видовых» съемок, которые отличаются недостижимым ранее реализмом. Но почти всё, кроме камер, продолжает процесс бурной оптимизации и устранения последних оставшихся проблем, во многом связанных с отсутствием окончательного решения для межблочного интерфейса 8К и некоторым расхождением во взглядах на версии HDR (динамический диапазон) и HLG (цветность). На момент тестов, только у лидера рынка и законодателя данного формата — японской компании NHK (и их технологических партнеров) был постоянно действующий телеканал в формате 8К Super Hi-Vision. Надо сказать, что это, фактически, отдельная индустрия: студийная работа в 8К, прямые эфиры, разработка цикла по производству 8К контента и передовые технологии на всех этапах доставки сигнала до зрителя. В плане продвижения формата не отставали и гиганты стриминговой индустрии: Netfliх, Amazon и Hulu, — их приложения уже позволяли смотреть 8К на подходящих устройствах через сеть.

Не понимая реальной ситуации с оборудованием 8К, в январе 2019–го мы замыслили масштабный и очень эффектный эксперимент по типу: «программа – максимум/ бюджет – минимум», который представлялся нам следующим образом – Рис.1.

Видеокамеры

Главной составляющей виделась прямая трансляция сигнала 8К через спутник непосредственно с видеокамеры. Но все имеющиеся в Москве 8К камеры были предназначены для киносъемок, обеспечивая запись на диск, т.е. не имели модулей вывода сигнала в реальном времени. Многие наших соседей, ведущих японских производители видеотехники, оптики и камер, такие как SHARP, JVC, HITACHI, SONY, CANON, PANASONIC, NIKON, Ikegami, Toshiba, демонстрирующие подобные изделия на международных выставках, очень любезно приводили аргументы,, не позволяющие предоставить live-камеру (с возможностью трансляции прямого эфира) или из-за особых требований по логистике, или по непреодолимым нюансам эксплуатации. А ведь еще необходима была супер-оптика: для 8К это прецизионные объективы от Carl Zeiss, Canon, ARRI, REDи др.

При наличии убедительных спонсоров, готовность рассмотреть возможность поучаствовать в нашем эксперименте согласилась уважаемая компания NHK, практически создавшая формат 8K. Но спонсоров решили не беспокоить. А мы не сдаемся, ведь можно же использовать для прямого эфира телемост (канал связи) с подключением к live-камере с кодером реального времени прямо с места её «проживания», например, из Японии. Мы запросили стоимость качественного канала до Токио у нескольких российских и зарубежных партнеров, но средняя цена показалась астрономической даже без учета последней мили по Токио, после чего пришла идея отказаться от прямого эфира, в конце концов… мы же только оператор а не новостная телекомпания… Поиски рейтингового 8К контента для нашего эксперимента начались с партнерами по вещательному пакету, а завершились после переписки с одной из крупных контент-компаний , предлагающих ошеломительные ландшафтные 8К съемки Перу и других экзотических мест со стоимостью 15-35$ за секунду, плюс немного за монтаж и выдачу в нужном формате, итого — десяток незабываемых минут по цене автомобиля… Ну, ОК, ведь у нас оставался бюджет на собственный контент, который мы снимем сами на 8К видеокамеру и, конечно, восхитительные проморолики 8К от наших близких партнеров по 8К оборудованию!

На начало 2019 года в Москве были найдены несколько рабочих видеокамер с разрешением 8К. Одну их них, вместе с квалифицированным «механиком», специальной оснасткой, отличным объективом, хорошим освещением, а также свои неоценимые консультации по съемке 8К, нам любезно предоставили в московской компании «Кинозавод». Это была легендарная RED Epic c 8K сенсором Helium S-35, которая некоторое время назад была направлена на МКС для космических съемок, и объектив Carl Zeiss Compact Prime 28/35мм. Уютная студия, съемки прошли дружно и весело (рис.2), затем монтаж на Adobe Premier Pro и всё готово!!!

Рис.2. Фрагменты видео, коллег и процесса съемок 8K ролика «собственная среда 8К» ГК Орион.

«Безвозмездным» 8К контента также стали рекламные ролики от ведущих производителей оборудования 8K в частности, в результате успешной кооперации, мы использовали материалы Samsung Electronics. Судя по всему, такие ролики проходят очень серьезную обработку, оформление и коррекцию. Их картинки не просто «безупречны», они поразительны по детальности и качеству. Налицо профессиональный ремастеринг всего, что видно в кадре и впечатляющие спецэффекты. Подобный уровень оформления пока не доступен энтузиастам, имеющим около суток времени от момента съемки до выхода на экраны, но прикоснувшись к самостоятельной работе со съемкой 8K видео, мы всё же почувствовали запредельные требования ко всему: к свету, к стабилизации, и особенно, – к фокусировке. Очень интересно наблюдать, например, как фокус камеры «плавает» с текстуры футболки актера на кончик его носа, проявляя чудеса разрешения, — то нюансы плетения тончайших нитей на трикотажной ткани, то мельчайшие неровности на лице… Если взять план покрупнее, например ухо на весь экран 8К, мы должны разглядеть даже клеточки кожи актера (размер клетки эпителия — 35 микрон, это всего-то около 1800 клеток кожи по высоте среднестатистического уха при многократно превосходящем разрешении 7680х4320). Такой реализм пугает даже бывалых «артистов», а искусство 8К съемки, судя по всему, находится еще в самом начале своего становления.

Здесь представляется интересной идея не детализации узкого кадра, а принципиального расширения угла зрения на периферию сцены. Это как стоя в музее у картины, иногда очень хочется увидеть, а что же было слева и справа от того, что на холсте, но художник оставил вечную загадку…

Тем не менее, эту высоту мы преодолели, — у нас теперь появился «собственный» ролик 8К!

Экраны для отображения 8К

Безусловно, наибольший визуальный эффект на стенде даёт экран 8К большого формата, ну например 4х7 метров, где каждый пиксель будет около 0,9 мм. При наблюдении такого экрана с дистанции 3-3,5 метров мы уже не увидим пикселизации изображения, но и не потеряем драгоценной информации из нашей суперкартинки. Сделать такой экран оказалось трудно даже с использованием самых современных компонентов – либо межблочные швы безжалостно режут изображение на части (вариант 16 или 64 (!) Full HD стыкуемых тонкошовных панелей), либо размеры экрана выходят за разумные пределы – при сборке бесшовного экрана на популярных наборных модулях LED с размером пикселя 1,9мм, размер экрана составит 9х16 метров. Такая махина никак не поместится на стенд. Отличным вариантом могли стать модульные LED видеостены с идеальным размером пикселя 0,9 мм (8К~4х7 метров), но стоимость такой панели в разрешении 7680х4320 эксперты оценили около 40 000 000 рублей со всеми вытекающими последствиями для аренды, логистики, монтажа и ее страховки. Данная технология очень хрупка и требует ювелирной сборки видеостены, т.к. по краю бесшовной матрицы невозможно обеспечить защиту. По отзывам специалистов, при сборке выходит из строя как минимум пара модулей на каждый такой проект. Кроме того, контроллеры видеостены должны захватить стандартный поток видео 8K, без потери кадров, и разрушения изображения, что не практиковалось до нас ввиду принципиально иной off-line подготовки презентационных материалов сверхвысокого разрешения для других мероприятий. Простым решением могло стать использование промежуточного сервера захвата с делением 8К на квадраты по 4К на плате DeckLink 8K Pro с ПО MediaExpress, но с учетом отмеченных недостатков самих видеостен, решили упростить задачу в пользу проекторов 8К. Серийные 8К проекторы, как вариант большого экрана, были найдены в 2 вариантах: сенсационные для 2018 года бытовой 8К проектор JVC DLA-NX9 и профессиональный лазерный INSIGHT Dual Laser 8K (компания Digital Projection). Первый агрегат от JVC был в наличии в Москве и способен показать честные 8К на экране за счет фирменной технологии e-shift, безупречно умножающей разрешение базовой для него 4K матрицы. Однако известные сложности с интерфейсами и, отсюда, готовыми чипами, не позволяли данной модели принимать реальный 8К сигнал на своем входе. Максимум 4К HDR10 60p через HDMI 2.0 с дальнейшим внутренним повышением (upscale) до 8К, а новая модель с HDMI 2.1 и 8К ожидалась к осени, наверное, к IBC 2019. Но мы не готовы были к компромиссам! Второй претендент с честным 8К имел стоимость около 400 тысяч USD, вес более 130 кг и более метра в длину, и… категорически не предлагался к аренде нигде, по причине только стартующего коммерческого производства этого суперпроектора.

Учитывая эти сложности, не имеющие никакого отношения к спутниковому вещанию, было принято решение отказаться от эффектного большого экрана 8K в пользу серийных телевизоров 8К, которые, по традиции, с «опережением времени» уже были на рынке. Казалось бы, прием 8K трансляции прямо с обычной спутниковой антенны через самый обычный кабель на телевизор – вопрос давно решенный: он встроен во всех новых Smart TV, это красиво и удобно, а также не требует никаких не выпущенных на тот момент кабелей HDMI 2.1. Но тут также появились нюансы: у телевизора Samsung QLED 8K Q900R был на борту спутниковый приемник, но он еще не работал со встроенным декодером 8K. У компании SHARP был и идеальный 8К телевизор Sharp Aquos LV-70X500E с поддержкой HDR и HLG и совместимый с ним спутниковый 8K ресивер (как, впрочем, и другие компоненты для Super Hi-Vision), но к выставке он был еще не доступен. Телевизор Samsung QLED 8К Q900R, который в финале украсил наш стенд, был выбран по причине эстетики – он единственный рынке был способен передать и показать 8К изображение через один кабель HDMI. Идеальный дисплей SHARP требовал уже привычные для японского рынка 4 кабеля HDMI 2.0 (это основной способ передачи высокой кадровой частоты и HDR для 8К), которые вызывали восторг еще несколько лет назад, но не в 2019 году (на самом деле нас немного смущаливозможные проблемы с синхронизацией квадрантов в самодельных декодерах). В профессиональном оборудовании предпочтение часто отдают методам параллельной передачи для снижения нагрузки на ответственные интерфейсы и кабели и это оправдано. Даже для самых новых студийных 8К камер сегодня используют четырехпроводные 4х12G SDI интерфейсы, критически неудобные для бытовых устройств. Аналогично, 4 кабеля у первых микросхем для бытовых и ряда профессиональных задач, например, широко используемые во всем мире чипы-декодеры 8К от компании Socionext LSI SC1400A в составе инновационной линейки для построения 8K бытовых устройств (FEBX-101S3-спутниковый демодулятор и НЕVC декодер SC1501A). Достаточно удобное решение при наличии хорошо работающих совместимых 4-х проводных компонентов. Но никто из наших инженеров не был уверен в успехе синхронизации с 4-мя HDMI при разработке «самодельного» декодера к нашей трансляции. Поэтому в качестве мастер-экрана 8К было решено использовать серийный телевизор Samsung Q900R с возможностью подключения по одному кабелю. В настоящее время прошивка процессоров в этом телевизоре Samsung уже обновлена до полноценного HDMI 2.1, но в январе еще были некоторые ограничения, — мы были вынуждены отказаться от показа контента 8К HDR и HLG, из-за ограничения скорости HDMI 2.0+, активной у телевизора Q900R на момент эксперимента. Напомним, что удобный и надежный интерфейс для соединения 8К компонентов со скоростями до 48 Гбит/с и стал главной проблемой на пути массового производства 8К оборудования в конце 2018 и первой половине 2019 годов, несмотря на все заверения в наличии рабочей спецификации. Только к середине 2019 года появились устойчивые версии продуктов с HDMI 2.1, и теперь производители могут гарантировать надежную работу 8К компонентов при их соединении. Для этого на рынке уже некоторое время доступны HDMI кабели с гарантией скорости 48 Гбит/с и чипы к ним. Например, SocioNext еще в 2018 году анонсировала серийный ТВ видеопроцессор с поддержкой семейства HV5 (SC1H05AT1 и другие) с поддержкой единственного кабеля HDMI 2.1. Похожие модели на подходе у HiSilicon, и других крупных производителей интегральных схем. Чипы с аналогичными возможностями для собственных потребностей разрабатывают и производят многие лидеры бытовой телевизионной индустрии. Но есть некоторое устойчивое подозрение, что текущий формат HDMI 2.1 пока не предназначен для видео более 60 кадров в секунду.

Работа с новейшим телевизором Samsung Q900R на выставке вызывала подлинное восхищение. Для демонстрации стандартного разрешения (SD) на 8К матрице из каждого SD пикселя супертелевизор должен синтезировать целых 64 новых. Понятно, что простое размножение исходных пикселей сделало бы изображение весьма неприглядным. Тем не менее, картинка, даже вблизи экрана, не вызывала такого чувства и была приятной. Аналогичные результаты давало и преобразование HD и 4K видеоматериалов. По официальной информации производителя, это заслуга видеопроцессора SAMSUNG Quantum AI, обеспечивающего такое масштабирование на основе специальных решений в области искусственного интеллекта и машинного обучения. Процессор анализирует и улучшает контуры, текстуры, движение и цветовое пространство. По заверению разработчиков, качество картинки телевизора будет «повышаться по мере использования, демонстрируя лучшие результаты с каждым новым обработанным видео». При этом могу заверить, что уже с первого просмотра Q900R обеспечивает достаточно комфортную цветопередачу, контраст и отличное воспроизведение сложных текстур на своем дисплее 8К. Стоит также отметить реальное отличие этого дисплея от других, задействованных на стенде, благодаря реализованному в этой модели диапазону яркости в 4000 нит (это рекорд, еще недавно у современных ТВ идеальной яркостью считали 1000 нит при HDR сертификации). Этот запас яркости необходим для использования современных возможностей, заложенных в идеях наиболее продвинутого на сегодня адаптивного HDR+ и Dolby Vision+ позволяющих, как минимум, смотреть «кино» на ярком солнце. Особое удовольствие доставлял тот факт, что перед нами самый новейший в мире и самый оснащенный телевизор 8K из первой партии, буквально сошедший к нам с конвейера завода Samsung в Боровском районе Калужской области.

Воспроизведение 8К материалов (play out)

Решение нашей задачи (рис.1) требовало воспроизведения видеоматериалов с неиспользуемыми ранее объемами данных, как минимум равных 80-ти SD, 16-ти HD или 4-х 4К каналов одновременно. Мы обратились к своим многочисленным технологическим партнерам за консультацией и помощью в построении действующего макета вещательного сервера для 8К. Хотя специалисты не видели принципиальных сложностей в таком макете, оставались вопросы, например, какой должен быть формат и битрейт материалов на хранилище сервера. Здесь ответы распадались на несколько трудносовместимых вариантов. Один из экспертов также сообщил, что уже реализованные проекты показали особые требования к синхронизации 8К данных внутри вещательного сервера которые на практике крайне сложно обеспечить. Кроме того, следующим звеном от макета должен был стать самодельный 4 х SDI интерфейс к самодельному 8К кодеру, что уже ввергало нас в глубокое творческое уныние. Внезапно проблему решил совет одного из экспертов: использовать заранее компрессированные материалы, как это делают все уважаемые продавцы 8К стримингового сетевого видео. Реализованный на старой доброй карте DekTec DTU-245 — FantASI TS стример стал идеальным компонентом для вполне оптимальной системы вещания, ведь получение файлов TS с необходимыми для спутникового тракта параметрами не представляло особенной проблемы, там уже просматривалось 5 вариантов off-line реализации: Elecard, MediaKind (MK Encoder OnDemad), Harmonic (облачный сервис), Ateme (дистанционно) и Adobe Premier Pro. На самом деле, подход VoD/OTT операторов, с использованием предварительно сжатого до «рабочей» скорости контента, оптимален для передачи и хранения материалов, а также для использования на сети, и становится выгодным технологическим бонусом. Не критичной недоработкой «идеального макета» стало отсутствие нормального интерфейса для работы с планировщиком стримера TS, — ролики 8К могли переключаться скриптом с фиксированным заданием или вручную. Тем не менее, важнейшая часть системы, формирующая сигнал для эфира, работала стабильно «как часы».

Кодирование 8К в реальном времени и off-line

Кодирование 8К сигнала (включая 10 или 12 бит на компоненту для HDR/HLG) для отрасли не представляет принципиальной новизны и критической сложности. Прототипы энкодеров отработали на всемирных выставках уже много лет, а NEC показывал рабочие энкодеры 8K с 2016 года (у которых 16 входов Full HD). Сегодня крепкий орешек для 8К – стабильная высокопроизводительная компактная серверная платформа, ведь 4К HEVC энкодеры уже почти на 100% загружали топовые универсальные серверные платформы еще год назад! Судя по всему, для 8К кодеров первое время будут использованы глубоко оптимизированные и отработанные серверы, и можно ожидать появление отличных real-time 8K энкодеров от ведущих вендоров вещательной индустрии уже в этом году. Большинство же уже реализованных устройств кодирования «заточены» под нужды VoD/OTT платформ, которые и стали первыми заказчиками и драйверами off-line решений. Зато энтузиасты, имеющие 8К дисплеи и телевизоры, уже сегодня готовы к приему и просмотру 8К с использованием многочисленных встроенных OTT приложений стриминговых сервисов типа Netflix и Amazon, как, например, в серийном ТВ Samsung QLED 8К Q900R.

При подготовке теста 8К мы запрашивали real-time энкодер для организации прямого эфира у нескольких лидеров отрасли: NHK, Ateme, Harmonic, MediaKind и других, однако, получили вежливый отказ по причинам неготовности таких «сэмплов» для демонстрации и возможной несовместимости с другим оборудованием. В то же время, коллеги из компании Elecard предложили для прямого эфира 8К свой CodecWorks v.4.5, который мог бы надежно работать (в том числе и с HDR/HLG), при наличии у нас блейд-сервера с набором мощных «лезвий», но, понимая сопутствующие проблемы с live-камерами, мы все-таки решили пойти по схеме вещания готового контента 8К по аналогии с эффективными системами VoD/OTT. Предварительную подготовку контента решили сделать параллельно в Аdobe Premier Pro для версий HEVC и для экспериментальной версии MPEG-4 на томском Elecard CodecWorks. Off-line кодирование производили с набором скоростей 50, 65 и 75 Мбит/с для сравнения качества при скоростях передачи, близких к типовым для сетей спутникового телевидения. Файлы сразу выводились в MPEG-TS для упрощения работы со стандартным для нас DVB оборудованием.

Спутниковый сегмент

Пожалуй, спутниковый сегмент — единственный участок тракта, где все делали свою привычную работу: компания Intelsat безупречно управляла своим спутником на орбите, компания ООО «РуСат» обеспечивала идеальный подъем 8К сигнала на борт, а технологическое оборудование нашей головной станции (мультиплексор Harmonic 9900 и модулятор TeamCast Viper) и не заметило ничего особенного, — ведь транспортный поток полностью соответствовал привычному стандарту. На приемной стороне стояла бытовая спутниковая антенна (чуть увеличенного диаметра на случай снегопада) и трудяга — приемник PBI 5100 c IP выходом для передачи 8K сигнала на самодельный 8К декодер…

Декодер 8К

Декодирование 8К наследует основные свойства декодеров прежних поколений, поэтому программные декодеры и плееры 8К появились достаточно быстро у VLC, MPC, 5KPlayer, Dimo, KMP для домашнего видео, и, например, SpinPlayer (Advantech) для профессионалов. Они стабильно работают на «геймерских» машинах с хорошей видеокартой и, при возможности, с ускоренной (4,5-5 ГГц) тактовой частотой CPU. При этом декодеры могут работать как с процессором, так и с видеокартой, что требует оптимизации с учетом качества получаемого результата. Такой вариант декодирования был оптимально реализован при поддержке опытного эксперта в области обработки изображений на стенде «Ориона». Для декодера 8К мы использовали новую рабочую станцию нашего редактора Инфоканала с видеокартой NVIDIA RTX 2070 и процессором Intel Core i9. Устойчивое, без мерцания и потери кадров, декодирование потокового 8К нагружало графический процессор (GPU) на 20-55% и центральный процессор на 1-22% в зависимости от используемой программы-декодера и кодека видеоматериала. Центральный процессор подключался при декодировании H.264, а HEVC, как правило, полностью обрабатывался GPU. Теперь технологический цикл составляющих устройств замкнулся, и на рис.3 можно увидеть реализованную на CSTB 2019 схему тестового вещания 8К.

Рис.3. Фактически реализованная схема спутниковой трансляции экспериментального 8К сигнала на CSTB 2019.

Для профессионального использования с 8К существуют специализированные PCI Express энкодеры/декодеры, например, VEGA 3304 от Advantech (с проц. SoC SocioNext), но они также требуют достаточно серьезной серверной платформы и настройки.

Ввиду несложной реализации собственного варианта, рассматриваемые первоначально для эксперимента коммерческие устройства: 8К декодеры (имеющийся в продаже за $6k плеер 8К Socionext и спутниковые STB от SHARP с новым японским стандартом ISDB-T3), привлекать не стали. Перед началом январской выставки пришла информация о старте производства нового поколения спутникового STB Aquos 8S-C00AW1 от Sharp для японского рынка 8К, экономичного и в компактном исполнении по сравнению с моделью 2017 года TU-SH1050. Но обе модели работают c японскими дисплеями 8К по 4 кабелям HDMI 2.0 (только 4 кабеля вместе сегодня дают 8К 120р с HDR).

Для серийных устройств-декодеров 8К уже производятся специализированные чипы, преимущественно класса SoC, которые сегодня разрабатывают и производят для себя гиганты бытовой ТВ отрасли (Samsung AI Quantum, SONY X1 Ultimate и др.), либо компании, специализирующиеся на их производстве, такие как SocioNext, HiSilicon, Ambarella и др. Интресный SoC чип RTD 2893 с поддержкой 8К AV1, HEVC и VP9, обработкой сигнала, HDR, USB 3.0 и HDMI 2.1 в июне представила компания Realtec. Применение специализированных чипов-декодеров во внешних и встроенных устройствах на порядок и более сокращает энергопотребление этого узла в сравнении с SW декодерами на серверных и PC платформах. Разработка 8К камер для смартфонов сопровождается появлением и мобильных процессоров. Samsung в чипе Exynos 9820 для смартфонов еще в 2018 анонсировал использование искусственного интеллекта для обработки изображений и записи 8K видео.

Качество и некоторые другие аcпекты

По результатам трехдневных испытаний через наш спутник, при более чем тщательном рассмотрении и обсуждении картинки с сотнями коллег и экспертов, можно заключить, что рядовые возможности спутниковой сети и уже имеющегося оборудования вполне пригодны для трансляции сверхвысокого разрешения, тем более, что признанным эталоном для такого вещания считают скорость около 80 Мбит/с. Тем не менее, удобный для передачи по многим сетям связи постоянный битрейт в рамках существующих стандартов не является идеальным для сигнала 8К, и причина вполне очевидна. Хотя один 8К поток примерно равен по числу пикселей 80 каналам стандартного разрешения, при совместном статистическом кодировании 80-ти независимых каналов SD возможно очень эффективное сжатие т.к. отсутствует корреляция между их 80 изображениями. Внутри единственного 8К потока, статистика на 100% зависит только от детальности и скорости изменения его сюжета. Необходимый битрейт на сегодня может варьироваться от десятка Мбит/с до максимум 130 Мбит/с (экспертно) для работы без видимых искажений картинки на самых сложных тестовых сюжетах, используемых для нашего эксперимента. Эти видеоматериалы были выполнены со сложнейшей компьютерной графикой и спецэффектами специально для демонстрации запредельных возможностей нового Samsung Q900R. При кодировании эталонного видео со скоростями 50, 65 и 75 Мбит/с, на некоторых подвижных сюжетах всё же были заметны с той или иной интенсивностью типичные для компрессии искажения, которые полностью отсутствовали в исходном VBR файле с пиковой скоростью до 130 МБит/с. При этом анализаторы уровня искажений сигнала не показывали значительных отклонений от эталона. Есть предположение, для идеальной передачи сигналов сверхвысокого разрешения следует разработать протокол передачи с небольшой буферизацией для возможности упаковки данных такой пиковой нагрузки в некотором объеме по времени. Это позволит обеспечить безупречное качество передачи сложнейших сюжетов 8К изображения за счет перераспределения пиковых данных при сохранении минимальной полосы пропускания сигнала. В среднем, поток 50 Мбит/с может обеспечить приемлемое для использования качество картинки. После некоторой адаптации протокола передачи, один 36 МГц спутниковый транспондер сможет нести 2 канала 8К приемлемого качества.

Стоит сказать несколько слов об информационной емкости контента с кадровыми скоростями 30p, 60p и 120p. Поскольку изображение соседних кадров в сцене даже при 30р обладает очень сильной схожестью (корреляцией), и по мере увеличения от 30 к 60 и 120 она кратно увеличивается, (а временной промежуток и, соответственно, межкадровое движение объектов сцены сокращается), битовая скорость качественно сжатого изображения растет при кратном увеличении частоты весьма незначительно. Поэтому использование в нашем эксперименте 30 кадров в секунду (а больше мы не могли по причине временного ограничения интерфейса в телевизоре Q900R) и более, не имело никакого принципиального значения для результатов теста. Разница в битрейте 30/60/120 кратно касается некомпрессированного телевизионного потока на выходном интерфейсе декодера 8К, поэтому вопрос повышения такой частоты неоднозначен, — с ее ростом будет расти количество ошибок в соединении блоков 8К и уязвимость соединения от механических свойств контактов. В тоже время, срок активной жизни и пригодности соединительных кабелей может зависеть от номинала используемой в тракте частоты. Для 8К 30р она составит от 32 Гбит/с до 48 Гбит/с в зависимости от числа бит на компоненту и от формулы цветности, для 60р – от 48 Гбит/с до 96 Мбит/с, а для 8К 120р HDR около 128 Мбит/с (вот почему в Японии 4 кабеля!). Это настолько впечатляющие скорости для «медного» HDMI, что я бы предпочел 30р и пусть умные телевизоры сами повышают кадровую частоту, как это было популярно 15 лет назад… Есть основание полагать что прогресс всё же остановится на оптических соединителях 8К, но те, что я видел на практике (межблочный “invisible” кабель у Samsung Q900R), пока выглядят очень дорого и, по видимому, не унифицированы.

Разрешение 8К и ближайшая перспектива сверхразрешения

На IBC 2019 обещают презентацию рекордного числа коммерческих 8K продуктов нового поколения, в том числе c HDMI 2.1. Серийные бытовые камкодеры, проекторы, мониторы и телевизоры, профессиональные энкодеры, видеосерверы и другие новинки ждут своих пользователей. Ведущие компании наперегонки завершают вывод своих 8К решений на рынок, возлагая большие надежды на оживление спроса перед олимпиадой в Токио. Возникает вопрос о реальной востребованности такого разрешения на телевизорах в наших квартирах, ведь 4К с HDR и 120р уже с хорошим запасом покрывает наши потребности по детальности кино и телевидения. Сегодня 8К — это разрешение зрелищных фабрик типа iMax, Большого зала планетария, вещательных систем 360 VR (сфера) и панорамного (360^о) видео высокого разрешения. На подходе, — новые вещательные услуги со скоростями 8К на пересечении технологий и новые стандарты стереоизображения, которые многократно по реалистичности и комфорту восприятия превосходят почти забытый «3D». Кто-то мечтает увидеть дома фотографии со своего любимого зеркального фотоаппарата (SONY alpha 7R — 61Mpix) или смартфона с огромным разрешением, а кто-то будет искать свою дочь на трибунах олимпийского стадиона в Токио, ведь в одном кадре 7680х4320 можно разместить почти 65 000 лиц со 100% узнаваемостью (по результатам исследования учёных MIT 2011-2012 годов, для 100% опознавания знакомого «портрета» человеку достаточно разрешения этого портрета 27х19 пикселей, проверил лично – так и есть!).

8К эксперимент от тяжеловесов

И вот, наконец, NAB 2019 с его 8К новинками и возможностями быстро договориться о сотрудничестве и экспериментах в области продвижения 8К. Спустя 2 месяца после нашего экспериментального показа 8K, c 25 мая по 9 июня, проходит сложнейший эксперимент с серьезным оборудованием, о чем мы мечтали в январе, накануне CSTB 2019. Тяжеловесы индустрии связи, France Television и Orange, проводят блестящий тест передачи телевизионных сигналов 8К 60fps через сеть 5G (eMBMS) и через спутник Eutelsat во время теннисного турнира Roland Garros 2019. Очень рекомендую посмотреть статью [3], подробно описывающую сложнейшую программу, кооперацию и архитектуру этой 8K платформы, включающей кодеры реального времени NEC (TS) и Adwantech (HLS), транскодеры реального времени и сетевые хранилища Intel, Origin серверы, облачные файловые транскодеры Harmonic VOS SaaS и медиапроцессоры Harmonic, станцию GrassValley для редактирования 8K и другие. Сигналы транслировались со скоростями 65 МБит/с (TS) для DTH и для потокового TV в DASH SBR HDR10, 100 MБит/с для потокового TV с DASH ABR HDR10, 65/100 MБит/с для VOD с опциями HLG/HDR10. Во время эксперимента использовались все три устройства кодирования: NEC (процессоры dual Intel Xeon Gold 6152), Adwantech и потоковый транскодер Intel SVT-HEVC 8K (prototype version, процессор dual Intel Xeon Platinum 8180), но сравнительной информации не приводится. Сигналы 8К, полученные по разным средам передачи и сетям, агрегировались в демонстрационных залах участников теста – France TV и Orange. Прием 5G сигналов осуществляли через Oppo phone с дальнейшей перетрансляцией через WiFi (100 Мбит/с для одной программы и 200 для двух 8K программ одновременно). Декодирование, так же как и у нас, осуществляли компьютеры на базе мощных процессоров Intel и GPU под Windows. Использовались два типа машин — Intel i9 9980XE (для SpinPlayer и VLC) и Intel i7 8700K+ Nvidia (только для VLC). Изображения выводились по 4 кабелям на дисплеи Sharp 8K 70” (которые мы не решились использовать) с поддержкой HLG и HDR, как одну из целей эксперимента. Примечательно, что для спутниковой трансляции тяжеловесы использовали, так же как мы, готовые файлы TS, удобные из-за их компактного размера при хранении контента, доставке по каналам и передаче в эфир. Сигнал принимался стандартным приемником DVB-S2 с IP выходом. Данное событие было объявлено проявлением самых серьезных 8К намерений участников к олимпиаде 2024 в Париже.

Передача потоков 8К как транспорт для приложений со сферической, панорамной и секторной визуализацией

Сегодня успешно развиваются технологии использования колоссальной избыточности разрешения 8К с целью получения отдельных интересующих участков исходного изображения (cropping, пер. «кадрирование»). Строго говоря, в бытовой сфере это давно не ново, — так работает просмотр сферического изображения в VR очках или просмотр панорамного видео 360о на ТВ. Зритель получает в очках или на экране интересующий сектор, аккуратно вырезаемый электроникой в соответствии с поворотом головы или выбором точки просмотра на своем телевизоре. Очень вероятно, что в ближайшее время целое семейство таких сервисов для профессионального, прикладного и бытового назначения еще порадует нас самыми интересными открытиями. Съемки в 8К кино- и телепродукции дают интересные дополнительные возможности, например, кадрирование, сопровождение объектов и масштабирование фрагмента без потери качества для конечных форматов более низкого разрешения (4K, HD, SD). Умноженные на возможности современных алгоритмов стабилизации, автосопровождения и распознавания объектов, они позволяют получать принципиально новые сервисы.

Одна из блестящих разработок в области секторного «кроппинга» была представлена на выставке NAB 2019 компанией Panasonic. Многоцелевая видеосистема 8K ROI (Region of Interest) для съемки масштабных событий и их трансляции включает одну или несколько широкоугольных видеокамер 8К с HDR, электронные блоки и операторский пульт управления. Каждая из камер может формировать до 4-х независимых каналов Full HD разрешения с произвольным размещением в исходном кадре, панорамированием, наклоном и масштабированием (Рис.4.1). Такая система поддерживает на выходе до 32 каналов HD с одного мероприятия (до 8-ми 8К камер в системе). Это позволяет реализовать трансляции любой сложности и динамики с олимпийских игр, например, или с чемпионатов по атлетике с параллельными состязаниями, многократно расширяя возможности режиссера трансляции и качество результата (https://na.panasonic.com/us/8KROI). По всей видимости, на камерах 8K и HD каналах прогресс не остановится, и перетечет в более серьезное разрешение, – технология выглядит очень эффективно с точки зрения коммутации и возможностей динамического сопровождения объектов и их автоматизации. Принцип работы многокамерной системы 8K ROI иллюстрируется рисунком 4.2.

Рис.4.1. Возможности Panasonic 8K ROI

Рис.4.2. Многокамерная система 8K ROI

Очень надеюсь, что предстоящая выставка IBC 2019 пополнит коллекцию подобных идей с потенциалом использования на спутниковой вещательной сети, и станет поводом не только для интересных экспериментов, но и основанием для скорого прихода новых технологий в дома многочисленных зрителей.

Микроскоп в кармане

Что еще можно посмотреть на телевизоре 8К дома? Компания Smart micro optics (www.smartmicrooptics.com) предлагает целые наборы линз Blips с увеличением от 5 до 150 крат и уникальные подставки в Lab kit для превращения смартфона в функциональный микроскоп, в том числе, и лабораторного уровня. В комплекте — специальное программное обеспечение для обработки результатов и получения высококачественных результатов для микро-фото и видео. В этом проекте заявлено разрешение до 4,5 микрон, но некоторые другие производители заявляют о работе c разрешением 1,5 микрона (www.microphonelens.com), что сопоставимо с размерами бактерий. По-видимому, следующее поколение таких гаджетов позволит видеть вирусы! Ведущие бренды из мира любительской и профессиональной оптики — Levenhuk, Bresser, Celestron, Meade и другие уже продают прецизионные адаптеры для смартфонов к своим профессиональным и любительским телескопам и микроскопам. Помноженное на фантастическое разрешение флагманских смартфонов – это 48 и 64 мегапикселя  на сенсорах, которые уже производит Samsung Electronics (64-мегапиксельная ISOCELL Bright GW1 с размером пикселя в 0,8 мкм), и заявлена разработка 108 Мп камеры!  Для чего такое разрешение? С помощью эффективной обработки изображения, в том числе и нейросетевой, на борту смартфона, должно получаться  идеальное изображение для фото и видео с меньшим разрешением (пока оно получается не у  всех, но это вопрос времени, ждем улучшения!).

Высочайшая детальность, чувствительность, подавление шумов, стабилизация и глубина масштабирования без потери качества становятся нормой. Быть может, сенсационные открытия можно ожидать после компьютерной обработки любительских астрономических снимков и видео сверхвысокого изображения (сейчас специалисты Google Brain и NASA с помощью своей платформы искусственного интеллекта уже находят новые звезды и экзопланеты на снимках супертелескопа Kepler, ai.googleblog.com), а подключение к медицинской нейросети сети позволит поставить спасительный диагноз по «портрету» возбудителя заболевания прямо с места событий… Но самое главное — всё это можно с поразительной детальностью рассматривать у Вас дома на новом 8К телевизоре, если это «заводит»!

Простите, но я уже сейчас представляю себя зимним морозным вечером, сидящим на даче у уютного камина и перед 8К телевизором, а на крыше под мерцающими звездами приютился хороший телескоп с дистанционным управлением и камерой сверхвысокого разрешения…

У меня пока нет дачи, но я уже хочу этого!

Источник