Рекомендации ITU-R BT.2021-1 для субъективной оценки качества стерео 3DTV

В марте 2015 года Международный союз электросвязи (International Communication Union, ITU) в серии Broadcasting service (телевещание) представил финальную версию любопытного и в некоторой степени долгожданного документа под названием Recommendation ITU-R BT.2021-1. Subjective methods for the assessment of stereoscopic 3DTV systems. То есть, официальные рекомендации радио-коммуникационной секции ITU-R по субъективным методам оценки стереоскопических телевизионных 3D-систем.

Несмотря на отсутствие жёсткого императива в формулировке названия документа, слово “рекомендация” обладает самым что ни на есть чётким законодательным посылом в контексте публикации ITU, и именно от этих рекомендаций отныне будут отталкиваться все производители телевизоров и дисплеев с поддержкой стереоскопической 3D-картинки. Вне зависимости от размера диагонали, способа формирования объёмной картинки или особенностей вещательного канала, в инструкции к каждому новому 3D-телевизору в разделе настроек стереоскопической картинки в той или иной степени будут изложены положения из рассматриваемого сегодня документа.

Документ ITU-R BT.2021-1 будет полезен не только производителям техники и любопытным зрителям, но тем, кто снимает, редактирует и вообще производит 3D-контент тем или иным способом, а также пытается тестировать различные системы отображения информации.

Хотелось бы, конечно, полностью перевести этот замечательный и важный 31-страничный документ на русский язык, но поскольку на это нет времени, постараюсь в этой публикации хотя бы тезисно донести до читателей Total3D основные его положения и идеи.

Оценка качества изображения стереоскопического 3D-телевизора: что измеряем

Рекомендации предоставляют методологию для оценки стереоскопических телевизионных 3D-систем и включают базовые методики тестирования, оценочные шкалы и условия просмотра. Информация базируется на методиках, опробованных в различных лабораториях для оценки критических характеристик систем 3DTV, при этом на практике подтверждена значительная согласованность методик от разных лабораторий по множеству аспектов испытаний.

Рекомендации выстроены на том, что для получения объёмной картинки стерео 3D-телевизоры используются особенности человеческого бинокулярного зрения, позволяющего видеть относительную глубину объектов. Поэтому главным требованием к современной визуальной 3D-системе является наличие как минимум двух точек зрения на одну и ту же сцену, полученных с помощью двух горизонтально выравненных камер. Разница между двумя относительными позициями правого и левого глаза обычно называется расхождение изображений, или параллакс, что обычно количественно выражается в пикселях, физических длинах (например, в мм), или относительных мерах (например, процентах от ширины экрана). На практике, одна и та же информация о расхождении изображений может дать совершенно разные визуальные (угловые) расхождения на различных дистанциях просмотра.

Оценочные факторы, применяемые для моноскопических (2D) телевизоров, такие как разрешение, цветопередача, качество прорисовки движения, резкость и другие, также могут быть использованы для оценки стереоскопических телевизоров, однако к ним добавляется список специфических факторов, присущих только стереоскопическим системам, таких как разрешение по глубине (depth resolution), описывающее пространственное разрешение по глубине, или объёмное движение (depth motion), описывающее качество плавности и отсутствия объёмных искажений при пространственном перемещении или движении. Два наиболее наглядных примера нарушения этих факторов — это возникновение так называемого эффекта миниатюризации, когда объёмные объекты на экране выглядят ненатурально крупными или мелкими, а также “картонного” эффекта, когда стереоскопический эффект присутствует, но глубина его неестественно мала.

Ключевыми показателями, отвечающими за уровень качества воспроизведения 3D-системой стереоскопической картинки, в документе предлагается считать три основных параметра восприятия:

Качество изображения
Качество глубины изображения
Комфорт визуального восприятия

Некоторые исследователи справедливо полагают, что психологический эффект от воздействия стереоскопического изображения может также оцениваться в более обобщённых параметрах, таких как натуральность картинки или ощущение присутствия.

Параметры восприятия

Качество восприятия глубины стереоскопического изображения, напрямую зависит от возможностей 3D-системы по обеспечению расширенных ощущений объёма. Присутствие в кадре некоторых монокулярных эффектов, таких как линейная перспектива, размытие, градиенты и тому подобное, также добавляют некоторое ощущение объёма даже для обычной 2D-картинки. В стереоскопическом 3D-изображении содержится дополнительная информационная разница между картинками для каждого глаза, обеспечивающая дополнительное ощущение объёма.

Визуальный [дис]комфорт принято считать субъективным ощущением [дис]комфорта, который может быть связан с просмотром стереоскопических изображений. Неправильно снятые или неправильно показанные стереоскопические изображения могут стать серьёзным источником дискомфорта. Искажение стереоскопического изображения может привести к потере связи с реализмом исходного объекта. Различные типы искажений могут привести к восприятию стерео изображения как неестественно большого или маленького.

Методология для оценки естественности и эффекта присутствия не включены в данную редакцию рекомендаций, однако их добавление планируется на более поздних стадиях работы над документом.

Субъективная методология

Многие положения рассматриваемых сегодня рекомендаций ITU-R BT.2021-1 базируются на опубликованном ещё в 2012 году своде рекомендаций ITU-R BT.500 для обычных 2D телевизоров, описывающем многочисленные методики оценки качества телевизионного изображения. При этом в каждой методике имеется набор различных видео последовательностей, воспроизводимых системой, этакий алгоритм с различными параметрами технологий кодирования сигнала, при разных битрейтах, разных параметрах передачи и т.д., что позволяет провести оценку качества по результатам ряда испытательных просмотров. При каждом тестовом просмотре зрителей просят оценить ту или иную характеристику, например, качество по установленной шкале.

Тестовые задания для оценки стереоскопического изображения (о правилах отбора тестовых изображений будет рассказано ниже), выбраны для следующих оценок:

Качество изображения: Оценка эффективности используемого экрана для просмотра стереоскопического 3D-изображения с заданным разрешением на заданном удалении от зрителя

Качество глубины изображения: Оценка эффективности восприятия глубины стереоскопических 3D-изображений с помощью системы отображения, учитывающей расстояние до тестовых изображений.

Визуальный комфорт: Оценка влияния эффективности передачи стереоскопических 3D-изображений с помощью системы отображения с учётом расстояния до изображений.

Рекомендации включают шесть тестовых методик из документа Recommendation ITU-R BT.500, успешно используемых на протяжении двух последних десятилетий для исследования качества изображений, качества глубины и визуального комфорта, формируемого с помощью различных стереоскопических технологий:

Методика одного источника (single-stimulus, SS)
Методика двойного источника со шкалой оценки несоответствия (double-stimulus impairment scale, DSIS)
Методика двойного источника с постоянной шкалой качества (double-stimulus continuous quality scale, DSCQS)
Методика сравнения источников (stimulus-comparison, SC)
Методика единого источника с непрерывной оценкой качества (single-stimulus continuous quality evaluation, SSCQE)
Методика непрерывного изменения двух источников с постоянной оценкой (simultaneous double stimulus for continuous evaluation, SDSCE)

Для каждого тестового метода используется набор чётко определённых тестовых материалов и/или градуированных шкал, оценочные замеры проводятся по чётко описанным для каждой методики схемам, с соблюдением определённых временных интервалов между показом шкал или последовательностей, но с возможностью разбивки всего процесса на несколько логически законченных сессий. Для получения действительно релевантных результатов при оценке рекомендуется использовать аудиторию как минимум из 30 зрителей-наблюдателей, хотя, фактическое число участников процесса оценки зависит в конечном итоге от финальных задач исследования, и, таким образом, оценочные 3D-исследования практически ничем не отличаются от аналогичных 2D-исследований.

При оценке качества изображения, качества глубины и визуального комфорта по пяти первым методикам используется простая дискретная 5-балльная шкала с градациями 5 – отлично, 4 – хорошо, 3 – удовлетворительно, 2 – неудовлетворительно, 1 – плохо, или, в некоторых случаях с эмоциональной оценкой, с градациями 5 – незаметно (незначительно, Imperceptible), 4 – ощутимо но не раздражающе (Perceptible, but not annoying), 3 – немного раздражающе (Slightly annoying), 2 – раздражающе (Annoying), 1- очень раздражающе (Very annoying). Кроме того, для некоторых методик также приемлема непрерывная 5-балльная шкала от 5 – отлично до 1 – плохо с промежуточными вариантами. Наиболее сложная мультисессионная методика непрерывного изменения двух источников с постоянной оценкой (SDSCE), использующая несколько тестовых материалов в различных тестовых условиях, оценивает качество по шкале от нуля до 100. Практические результаты, полученные от контрольной группы зрителей, анализируются статистическими методами несколькими способами, где в той или иной степени фигурируют оценки по разным видео фрагментам, тестовым условиям и их сочетаниям.

Параметры для субъективной оценки качества 3D-телевизоров, включая яркость экрана, контрастность, тыльную подсветку, расстояние просмотра) достаточно схожи с теми, что применяются при оценке традиционных 2D-дисплеев, поскольку на практике так оно и происходит: зрители остаются в тех же условиях. Согласно требованиям рекомендации ITU-R BT.2022 (для DVD), дистанция просмотра должна определяться по минимальному расстоянию, при котором два соседних пикселя отстоят друг от друга на видимый глазом зрителя угол дуги в 1 угловую минуту (1′).

Кроме того, согласно требованиям ITU-R BT.1543 и ITU-R BT.1847 для картинки 1280 x 720 пикселей (DVD) и Rec. ITU-R BT.709 для картинки 1920 x 1080 пикселей (HDTV), минимальная дистанция просмотра (для статических изображений) вычисляется как множитель высоты экрана на коэффициент 4,8 и 3,1, соответственно. Ниже приведён пример минимальной дистанции просмотра для репрезентативных диагоналей телевизоров, высчитанной по этому методу.

Базовые расчёты строятся на том, что два соседних пикселя на рекомендованном расстоянии находятся относительно друг друга на участке видимой глазом дуги в 1 угловую минуту (или 60 угловых секунд). Статистика, полученная по результатам многочисленных многократных исследований показывает, что порядка 97% населения в состоянии отличить горизонтальное несоответствие на фрагменте дуги, равном или менее 140 угловым секундам (140″), но в то же время минимум 80% в состоянии заметить горизонтальное несоответствие на фрагменте дуги порядка 30 угловых секунд. Таким образом, большинству зрителей не составит труда обнаружить малейшее несоответствие картинки распространённых стерео 3D-систем с минимальной рекомендованной дистанции.

Субъективность и точные параметры (самая важная часть)

Ценность рекомендаций ITU-R BT.2021-1. по субъективным методам оценки стереоскопических телевизионных 3D-систем заключается ещё и в том, что при всей декларируемой “субъективности”, для некоторых важнейших параметров приведены очень чёткие и строгие критерии, полностью исключающие двоякие оценки. Так, например, в отдельной главе, посвящённой ограничениям визуального комфорта, приведено несколько способов для точного определения минимально допустимых параметров расхождения и параллакса, которые необходимо соблюдать для сохранения “комфортной зоны”. Один из способов отталкивается от измерения параллакса экрана, выраженное через горизонтальный размер экрана. При этом способе отклонения не должны превышать 1% для скрещивающихся и отрицательных значений параллакса и 2% для не скрещивающихся и положительных значений параллакса, не превышая в сумме 3%.

Другой способ ограничивает зону комфорта глубиной резкости зрения глаза. Для условий просмотра типичного телевизора, разработчики метода приняли глубину резкости в диапазоне ±0.2D и ±0.3D (диоптрий), что для телевизора с разрешением 1920 х 1080 точек (ITU-R BT.709), просматриваемого по рекомендации с расстояния 3,1х от высоты экрана, даёт допустимые отклонения параллакса порядка ±2% и ±3%.

Наконец, третий способ определяет пределы комфортной зоны по физической возможности сетчатки различать отклонения, при этом пределы устанавливаются на угол зрения ±1 °, как для положительных, так и для отрицательных отклонений.

Несмотря на разные определения, все три способа в конечном итоге дают примерно сравнимые ограничения. Так, например, при заданном угле дуги между соседними пикселями в 1 угловую минуту (1′), на 1 угловой градус (1°) мы имеем уже 60 пикселей, что уже позволяет посчитать ограничения комфортной зоны: для разрешения 1920 х 1080 точек 1% (примерно 19,2 пикселя) будут соответствовать примерно 20 угловым минутам, 2% — 40 угловым минутам и 3% — 60 угловым минутам, то есть, целому градусу (1°).

При этом также стоит учитывать, что неизменные угловые размеры всё же дают совершенно разные линейные расстояния для разных диагоналей дисплеев, и чем больше диагональ, тем больше это расстояние. Критическими и даже неприемлемыми они могут стать при достижении линейного расхождения параллакса на расстояние более чем среднее расстояние между зрачками зрителя (62-65 мм), в этом случае дискомфорт будет не зависимости от достижения или превышения 3% отклонения.

Ухудшение комфорта просмотра и даже возникновение значительной психофизической нагрузки при просмотре 3D-изображения вызывает несоответствие изображений для правого и левого глаза, которое может быть получено в процессе съёмки или просмотра и зачастую связано с геометрическими искажениями, такими как несоответствие размеров, вертикальный сдвиг или ошибки вращения. При выборе тестовых изображений для оценки качества стерео 3D следует в обязательном порядке избегать геометрических расхождений (размер, вертикальное смещение, вращение), несоответствие яркости изображений для разных глаз, включая уровень белого и уровень чёрного, а также перекрёстные искажения.

Примеры тестовых материалов и их использования

Тестовые материалы и таблицы для оценки качества стереоскопического 3D-отображения далеко не всегда содержат парные видеопотоки со схожим материалом; напротив, во многих случаях для правого и левого глаза транслируются совершенно разные изображения. Так, например, для оценки одновременного восприятия используется тест “лев в клетке”, схематическое изображение которого приведено ниже, при этом угловой размер каждого изображения равен примерно 10°, и лев перемещается со скоростью 12 угловых минут в секунду. Зритель с нормальным зрением должен видеть льва на протяжении всего теста.

Ещё один тест на способность воспринимать изображения для левого и правого глаз как единое целое, несмотря на то, что изображение для одного глаза составлено из двух точек, а для другого глаза из трёх точек, с одной общей точкой. Наблюдатели с нормальным зрением увидят единую картину с четырьмя точками.

На следующей тестовой стереопаре с изображением стрекозы для наблюдателя с нормальным бинокулярным зрением крылья насекомого должны восприниматься как выступающие перед экраном.

И ещё один интересный тест на правильное восприятие глубины картинки. На девяти тестовых ромбах расположено по четыре окружности на каждом, при этом только одна окружность имеет небольшой параллакс, который позволит наблюдателю с нормальным зрением наблюдать его как слегка выступающий перед экраном. Для этого теста есть специальная таблица правильных ответов по номерам тестовых ромбов с учётом угла стереоскопического обзора на расстоянии от экрана, равном утроенной его высоте (3H).

И так далее. Приводить здесь все 12 примеров тестовых заданий нет смысла, поскольку, во-первых, это далеко не всё, что нужно для полноценного исследования, а во-вторых, не с тем качеством, которое вы могли бы применить для своих целей.

Итого: в чём практическая ценность рекомендаций ITU-R BT.2021-1?

В любом случае, если вы планируете составлять по этим методикам свою собственную тестовую систему, есть, как минимум, два пути для реализации задумки: тщательно изготовить тестовые материалы самостоятельно, чётко соблюдая рекомендации документа ITU-R BT.2021-1, или обратиться к разработчикам этого документа по указанному в нём адресу электронной почты за готовыми материалами.

Более того: всё, что изложено в этом документе, на мой взгляд, ни в коем случае нельзя воспринимать как догму — скорее, как руководство к действию, определяющее вектор движения, но не его наполнение. Так, например, в моём портфолио уже имеется несколько интересных научных публикаций об исследованиях, например, отличий восприятия объёмного видео с помощью поляризационных и активных 3D-очков. Или исследования влияния стереоскопии на вестибулярный аппарат зрителя. И многое другое, выполненное совершенно разными группами учёных и исследователей по совершенно разным методикам, которые, тем не менее, ни в коем случае не противоречат — скорее, дополняют рекомендации ITU-R BT.2021-1. Обо всём этом, при наличии времени, хотелось бы обязательно рассказать читателям Total3D.

Примеров применения выше рассмотренных методик субъективной оценки качества 3D множество. Вы собираетесь регулярно или периодически оценивать качество стереоскопической картинки у разных 3D-систем, таких как телевизоры, проекторы и т.п. Вы намерены снимать 3D-контент промышленно или кустарно изготовленной стереокамерой, и перед тем, как вводить регулярные корректировки параллакса и геометрии на стадии пост-продакшна, хотели бы раз и навсегда разобраться с “врождёнными” отклонениями вашей съёмочной техники. Или вы планируете несколько финальных рендеров своего стерео 3D-фильма под разные диагонали экранов – 3D-шлема, домашнего 3D–телевизора, большого кинотеатра. В любом случае найдутся базовые положения рекомендаций, которые позволят вам действовать аргументированно , а не на основании эмоций и индивидуальных впечатлений.

Вот, кстати, хорош пример с 3D-шлемами, или как их нынче модно называть, шлемами виртуальной реальности (VR-шлемы). В случае, когда в качестве источника стерео 3D-картинки используется ЖК-дисплей с диагональю несколько дюймов, или, что встречается нынче ещё чаще, экран обычного смартфона. По сути, мы с вами в этом случае имеем дело проблемами, схожими с рассмотренными выше, несмотря на то, что рекомендации ITU-R BT.2021-1 составлены для телевизоров. Диоптрийные линзочки между глазами и экраном, эмулирующие расстояние до экрана большого телевизора, всё равно не снимают таких вопросов как, например, угловой размер шага между двумя соседними пикселями или особенности формирования параллакса на небольших дисплеях. Так что отныне, можно сказать, существует хоть какая-то обоснованная база для аргументированных тестов и вычислений качества объёмной картинки тех или иных 3D VR-очков.

В заключение хотелось бы отметить, что субъективные оценки качества средств отображения стереоскопического 3D-изображения будут оптимальны вместе с действительно качественным 3D-контентом, безупречным с технической стороны, только при соблюдении всех этих условий вообще есть смысл приступать к обсуждению художественных качеств стереоэффектов. Однако стерео 3D-видео частенько бывает далёким от идеала, и не только у любителей и начинающих стереографов — чего уж там греха таить, и на голливудскую старуху бывает проруха.

Исследованиями в области качества стереоскопического контента на протяжении многих лет занимается наши замечательные коллеги из Лаборатории компьютерной графики и мультимедиа при Московском государственном университете им. Ломоносова в рамках проекта измерения качества стереоскопического 3D-видео (Video Quality Measurement Tool 3D — VQMT3D). В настоящее время методика тестирования VQMT3D включает оценку 3D-изображения по горизонтальной и вертикальной рассогласованности каналов для каждого глаза, по несоответствию цветовой гаммы и яркости, по различной чёткости картинки и множеству других критичных параметров, для каждого из которых кропотливо разрабатывается свой собственный алгоритм автоматического анализа и поиска ошибок.