Исследуя границы: 4K, HDR, HFR и человеческое зрение

Современные технологии делают ставку на большие разрешения, высокий динамический диапазон и частоту кадров. Но как на все это влияют ограничения нашего визуальное восприятия?

Когда нам стоит остановиться? Этим вопросом я задался после недавнего мероприятия ARRI Broadcast Day в студии Die Fernsehwerft, расположенном в творческом районе на восточном береге Берлина. Выступление Марка Шипман-Мюллера, главы подразделения камер ARRI, заставило многих полностью пересмотреть свое отношение к последним достижениям в цифровой съемке, постпродакшне и способах просмотра.

Все, что написано ниже — это просто мое мнение, которое сформировалось в результате размышлений, основанных на исследовании новых технологий, а не абсолютная истина. Я буду рад, если оно изменится в будущем, поэтому с особым интересом жду ваших комментариев.

Святой Грааль

Еще десять лет назад не было ничего качественнее и эстетичнее 35мм пленки, и цифровые технологии стремились к ней, как к своеобразному «Святому Граалю». Цифровое кино уже давно достигло и превзошло цели, которые стояли перед ним на этапе зарождения, вплотную приблизившись к пленке как с технической, так и других точек зрения. Теперь нас больше интересуют различные аспекты цвета цифрового изображения, нежели битва пленки и цифры. Это противостояние завершилось, и люди смирились с его результатами.

Какой следующий этап развития цифрового кино? Все ли инновации в этой области действительно созданы для улучшения качества изображения, а не для развития бизнеса и продажи гаджетов и телевизоров? Боюсь, ответ неутешительный. С другой стороны, благодаря такой политике многие базовые стандарты цифрового кино наконец стали универсальными для всех производителей.

Цифровое кино 2.0

Если на первом этапе существования цифрового кинематографа его адепты преследовали цель догнать и перегнать 35мм пленку, то теперь это сравнительно молодое направление полностью меняет цели и средства своего развития. Сейчас перед цифровым кинематографом не стоит задача подражать технологиям прошлого, отныне перед ним открыты новые горизонты. После того, как Святой Грааль в виде пленки перестал быть ориентиром, цифровое кино несколько раз отправлялось по неверному пути, возвращалось назад и вновь искало нужное направление.

Расстановка акцентов

Вероятно, отсутствие четкой и ясной цели привело к развитию цифрового кино только в техническом направлении, наносящему вред как художественной ценности цифрового контента, так и его потребителю. Производители телевизоров, несмотря на недавний взлет и падение 3D-телевидения, решили не останавливаться и продолжили предлагать потребителю новые технологии — UHD, SUHD, HDR и многие другие загадочные аббревиатуры, сбивающие покупателя с толку и побуждающие его тратить деньги на инновации. Производители телевизоров придерживались этой стратегии задолго до появления общих для всех стандартов, в то время как производители контента оставались без какого-то технологического ориентира, а провайдеры цифрового ТВ стремительно запускали UHD-каналы, несмотря на явную нехватку контента в UHD-качестве.

UHD, высокий динамический диапазон (HDR), высокая частота кадров (HFR), расширенная цветовая гамма — эту гремучую смесь инноваций мы наблюдаем на экранах, однако более аккуратно собранная комбинация новых технологий была бы самым оптимальным решением как для создателей контента, так и для его зрителей. То, что мы можем сделать что-то, еще не значит, что это лучшее решение проблемы. На самом деле мы еще даже полностью не осознаем ее.

Разрешение

За последние пару лет гонка разрешений наконец замедлилась. Мы прекрасно знаем, что формат 4K здесь надолго, однако также ясно, что рано или поздно настанет эпоха разрешения 8K. Тем не менее в ближайшие годы можно не ожидать, что 8K получит широкое распространение. Несмотря на это, RED (а также японская телекомпания NHK и другие ее партнеры по вещанию) сделал 8K реальностью, и у этого формата гораздо больше практической ценности, что бы ни говорили скептики.

Однако постоянное увеличение количества пикселей влечет за собой довольно большие осложнения.

Большее количество пикселей вкупе с повышенной битовой глубиной цвета влечет за собой большое количество сохраняемой информации, что напрямую отражается на требованиях к пропускной способности на локации, во время постпродакшна и доставке до конечного пользователя. И хотя гонка разрешений ставит своей целью увеличение детальности и четкости изображения, этого можно добиться намного более легкими способами.

Воспринимаемое человеком разрешение и количество пикселей — абсолютно разные вещи, которые нужно уметь различать. Единственное, что важно для зрителя — это «воспринимаемая» детализация и четкость, поэтому очень важно брать во внимание человеческий фактор, сравнивая достоинства и недостатки разных технологий. И «грубая сила» в решении этих проблем (например, увеличение количества пикселей на 400%), часто приводит к новым затруднениям.

Когда речь заходит о разрешении, люди игнорируют такую важную вещь, как обработку и восприятие подвижного изображения человеком.

Разрешение и человеческое зрение

Лишь небольшое пространство нашей сетчатки содержит достаточное количество колбочек, чтобы обрабатывать изображение с максимальной детализацией. Этот участок называется центральной ямкой сетчатки глаза, который занимает менее одного процента ее поверхности и задействует более половины пространства зрительной коры головного мозга. Центральная ямка охватывает лишь два градуса зрительного поля — это примерно размер двух ногтей большого пальца на расстоянии вытянутой руки.

Когда вы смотрите на деталь, которая занимает ваше поле зрения более чем на два градуса, глаз самостоятельно сканирует изображение, а заполняет недостающие участки. Несмотря на то, что по краям сетчатки ваше зрение обладает гораздо меньшим разрешением, мозг все равно воспроизводит изображение, основываясь на данных, который он получил, когда глаз «просканировал» пространство. Мозг запоминает все детали, на которые вы смотрите даже вскользь, благодаря чему вы в режиме реального времени знаете, что происходит вокруг.

Мозг постоянно дорабатывает изображение перед вашими глазами, и практически все, что вы видите, — это не настоящая проекция окружающего мира. Алгоритм, благодаря которому мы видим, гораздо сложнее в человеческом организме, чем у камер, которые снимают изображение при заданных настройках фокусировки, количестве пикселей и частоте кадров.

Именно из-за этого ваши глаза двигаются, когда вы читаете этот текст: для того, чтобы в полной мере увидеть содержание другой области экрана, вам нужно остановиться и передвинуть глаза. Вы в курсе, где находится текст, как он расположен в пространстве, но чтобы узнать, что в нем написано, вам необходимо рассматривать фактически каждую деталь. Движущееся изображение — это иллюзия. Это обманка, которую наш мозг воспринимает как плавно движущееся изображение. Не стоит нарушать эту иллюзию, которая в действительности очень хрупка.

HDR

Плотность пикселей — не единственный фактор, отвечающий за четкость изображения. С математической точки зрения для достижения четкости хватило бы простого увеличения этого параметра, однако, преодолев определенный порог, можно заметить, что эффективность данного подхода заметно снижается.

Восприятие детализации и четкости во многом зависит от контрастности. В особенности мозгу помогает повышенная контрастность по краям изображения, благодаря которой мы различаем предметы. Контрастность сильно зависит от изображения в целом и не является чем-то единым, особенно если речь идет о подвижном изображении. Особенно важна контрастность яркостей и цветов. Это одно из доказательств, почему постоянное увеличение плотности пикселей не решает проблему качества изображения, с которой можно было бы справиться, снабжая наш зрительный аппарат именно той информацией, которая ему нужна именно там, где нужно, чтобы создать желаемую иллюзию.

Это мнение Шипман-Мюллер подкрепил сравнив на откалиброванных мониторах и затемненном помещении изображения в качестве 1080p SDR и UHD HDR, а затем 1080p HDR и UHD HDR. Если разница между первой парой была очевидна, то в случае со второй точного ответа было дать нельзя. Все согласились, что 1080p HDR в сравнении с 1080p SDR дало 90% увеличения «воспринимаемой» детализации, которую можно достичь, увеличив количество пикселей в четыре раза. Огромная трата пикселей.

Дрожание

Демонстрация дрожания в цифровм видео

Это одна из самых больших проблем, из-за которой наш мозг не может собрать сменяющиеся кадры в плавное изображения. Что служит причиной дрожания?

Дело в том, что и движущиеся объекты в некоторых кадрах выбиваются из общего потока информации из-за слишком яркого изображения или повышенной контрастности по краям. HDR усугубляет это из-за яркости соответствующих дисплеев, но факторы, влияющие на дрожание, сводятся к следующему:

соотношение движущихся объектов к статичному изображению в поле зрения;
скорость движения объектов;
контрастность деталей;
четкость деталей;
уровень яркости дисплея.

Хотя яркость дисплея — это не самая главная причина появления дрожания, она сильно ухудшает ситуацию. Чем ниже уровень яркости изображения, тем менее заметно дрожание, а в случае с SDR-дисплеями оно не бросается в глаза благодаря размытости изображения и частоте кадров. Тем не менее дрожание более чем очевидно в режиме HDR, а также если яркость предельно завышена. Как решить эту проблему?

Частота кадров

Человеческий глаз пропускает через себя непрерывный поток информации. Именно поэтому мы не видим определенное количество кадров в отдельный отрезок времени. Однако если большое количество статичных кадров будут быстро сменять друг друга, то изображение станет подвижным — это называют инерцией зрительного восприятия, поскольку сетчатка обрабатывает изображение в течение примерно сорока миллисекунд.Стандарт 24 кадров в секунду появился потому, что это минимальная частота кадров, при которой мы видим плавное изображение: этого достаточно для поддержания иллюзии, а также незатратно для производства.

Этот стандарт до сих пор воспринимается «кинематографично» из-за исторического и культурного наследия. Другими словами — так было всегда. Едва заметное мелькание кадров подает зрителю сигнал, что он сейчас увидит качественный голливудский фильм с прекрасной актерской игрой и постановкой — то, что обычно отличает кинематограф от телевидения или видео.

Дэвид Финчер на съемках фильма «Социальная сеть»

Так было в течение более чем сотни лет в кино и ТВ, вплоть до завершения эпохи «цифрового кино 1.0», когда оно, наконец-то сравнялось с пленкой по части разрешения и цвета. Вне зависимости от источника проецируемого изображения сам процесс смотрения в плане яркости, контрастности и частоты кадров остался в рамках определенных стандартов.

После появления высокого разрешения, расширенного динамического диапазона и дисплеев повышенной яркости встал вопрос о повышенной частоте кадров, которая призвана увеличить плавность изображения за счет уменьшения «воспринимаемого» движения. Это может снизить дрожание изображения, возникающее из-за повышенной детализации, контрастности и скорости движения.

Ролик о технологии съемки фильма «Долгий путь Билли Линна в перерыве футбольного матча»

У повышенной частоты кадров есть и другие достоинства. Съемка при 120 fps позволяет работать с размытым изображением в процессе постпродакшена, а также такую частоту кадров можно подогнать под любые более низкие требования доставки контента.

Недостатки у технологии тоже есть. Как и в случае с разрешением, контент с повышенной частотой кадров занимает очень много места и требует значительной пропускной способности как во время съемки и обработки изображения, так и для его трансляции.

Гиперреализм и эффект мыльной оперы

Со вторым недостатком повышенной частоты кадров пришлось столкнуться первым режиссерам, решившим поэкспериментировать с технологией. Например, такие фильмы, как «Хоббит» Питера Джексона, который снимали при 48 к/с, а также «Долгий путь Билли Линна в перерыве футбольного матча» Энга Ли в 3D (120 к/с), подверглись критике из-за эффекта гиперреалистичности, слишком четкого и некинематографичного изображения.

Здесь разрушается уже не иллюзия движущегося изображения, а ощущение мира грез, погружающего зрителя в историю, происходящую в иной реальности. Возможно, это даже более важно, чем яркие дисплеи и 4K.

С другой стороны, ко всему можно привыкнуть.

Просчитанное изображение

Возможное решение — не применять 4/8K и 120 кадров в секунду ко всему изображению. Может быть, нужно, чтобы детализация и частота кадров поднималась избирательно, только в определенных зонах? Не забывайте, что лишь два градуса нашей сетчатки видят детализированное изображение, ведь даже когда мы смотрим фильм, наши глаза перемещается от одной точки к другой, сканируя пространство. Не стоит ли задуматься, как мы воспринимаем и обрабатываем изображение, которое создаем?

Исследование восприятия изображения человеком сразу же дает понять, что наш мозг и так обрабатывает, сжимает и фильтрует большое количество информации. Сетчатка — часть центральной нервной системы, в наших глазах расположено около 150 миллионов рецепторов и всего лишь около миллиона оптических нервных волокон. Сетчатка постоянно перекодирует (сжимает) информацию, чтобы ее мог воспринять ограниченный запас оптических нервов.

Мозг постоянно обрабатывает поток узконаправленного изображения с высокой детализацией из центральной ямки, совмещая его с широким зрительным полем с низкой детализацией, которое дополняет наша память и знания о мире, где мы живем.

Если ваши инструменты восприятия реальности, зрение и мозг, постоянно фильтруют полученную информацию, словно алгоритмы сжатия качества видео, то почему не начать использовать избирательный подход к отображению только самых важных деталей в высоком разрешении?

Вероятно, последовав по этому пути, мы лучше будем воспринимать кино, и несмотря на повышенную реалистичность и четкость изображения, нас не будет преследовать ощущение, что мы больше не в мире грез. Безусловно, 4K и 8K HDR и HFR изображение на огромном OLED-дисплее создает ощущение настоящего мира по ту сторону экрана, но этого ли мы хотим от кинематографа? Вряд ли.

Ричард Лэки

Специалист по камерам и цифровому кинопроизводству, колорист и продюсер с 10-летним стажем

Источник