Пленоптическое телевидение, Или жизнь после 3D

Эта статья рассказывает об одном возможном направлении развития телевидения – телевидении на базе технологий, которые реализуют так называемую «пленоптическую функцию».

В настоящий момент подобные технологии начинают появляться в фотографии, и небольшая компания Raytrix(из города Киль на севере Германии) предлагает пленоптические фотокамеры, способные сохранять информацию о всех световых лучах, которые попадают в объектив. Такие камеры называют еще «камерами светового поля» (lightfield cameras) или пленоптическими камерами. Еще одно название, которое употреблялось в ХХ веке – интегральная фотография.

Пленоптика

Прежде чем погрузиться в увлекательные футуристические размышления, рассмотрим, что такое пленоптическая функция и чем она интересна.

На рисунке 1 приведена схема обычной видеокамеры, которая фиксирует изображение на матрице, представляющей собой плоскость. Функция, которая выполняется камерой, может быть записана в виде F (x, y,t, ƛ), где x, y – координаты элемента матрицы, t – время, ƛ – длина волны (т.е. цвет).

Рис. 1. Схема классической видеокамеры.

Обратим внимание, что функция обычной камеры не включает в себя углы, под которыми лучи попадают в объектив. Эта информация никак не фиксируется и, соответственно, теряется. Кроме того, невозможно определить расстояние до объекта съемки, таким образом, устройство воспроизведения (телевизор) никаким способом не сможет показать объем.

Но было бы интересно записывать вообще всю информацию о световых лучах, которая помогла бы впоследствии произвести реконструкцию наблюдаемого объема пространства. Эта задача актуальна для науки, для систем машинного зрения и т.п. И, как мы увидим дальше, это могло бы дать многое для будущего телевидения.

Сохранение полной информации о световых лучах и есть задача, которая выполняется пленоптической камерой или камерой светового поля. Название «камера светового поля» как раз и подчеркивает, что сохраняется вся информация о лучах света.

Способы реализации

Рассмотрим, каким образом можно этого достичь.

Для того, чтобы сохранить информацию о реальном положении объекта в пространстве, необходимо использовать сложную оптическую систему, принцип действия которой показан на рисунке 2. Необходимо иметь в виду, что щели камеры-обскуры, которые показаны на рисунке, располагаются на плоскости, а не на прямой, т.е. представляют собой двумерный массив отверстий.

Рис.2. Принцип действия камеры светового поля (камера Айвса).

В результате на матрице создается не одно, а несколько изображений.  Путем анализа этих изображений возможно восстановить недостающие переменные V_x, V_y и V_z, которые представляют собой координаты излучающей точки в трехмерном пространстве.

На рисунке 2 показана так называемая камера Айвса (Frederic Eugene Ives, американский изобретатель), которая была изобретена в начале ХХ века. Но изобретателем «интегральной фотографии» считается Габриэль Липман. Еще в конце XIX века им была придумана конструкция, в которой вместо щелей камеры-обскуры использовались линзы (камера Габриэля Липмана).  Существовал также вариант подобной камеры с призмами вместо линз.

С тех пор, конечно, многое изменилось. Были предложены новые конструкции камер, а также методы анализа получаемых ими изображений, развивалось понимание пленоптической геометрии. В область теории пленоптического изображения (интегральной фотографии) большой вклад внес кандидат технических наук Ю. А. Дудников, а в область практического воплощения технологий пленоптики – американский инженер и энтузиаст Тодор Георгиев (его фамилию вы можете найти в списке разработчиков Adobe Photoshop).

В последнее время пленоптической фотографией заинтересовались крупные компании, например, Adobe, которая создала лабораторию, занимающуюся исследованием пленоптики и алгоритмов работы с пленоптическими изображениями.

Фокусирующая линза

На рисунке 3 изображена схема современной пленоптической камеры. Как видно, принцип остался тем же самым, но добавилась фокусирующая линза. Такой тип камеры называется сфокусированной пленоптической камерой. В современных камерах в массиве линз используются линзы с различным фокусным расстоянием, что позволяет корректировать глубину поля.

Рис. 3. Сфокусированная пленоптическая камера.

Пример изображения, которое генерирует подобная камера, приведен на рисунке 4. Что можно получить из этого изображения? Путем вычислительных методов возможно, например, по своему желанию менять фокус на уже отснятом материале или имитировать поворот камеры.

Если размер матрицы достаточно велик, то теоретически возможно в процессе обработки после съемки менять положение объектива в пространстве. Собственно, это все вытекает из принципа, которые был озвучен в начале статьи – сохранять всю информацию о приходящих световых лучах.

Рис. 4. Пример изображения, получаемого пленоптической камерой (источник: http://www.tgeorgiev.net).

Видео

Для обработки пленоптических изображений требуются серьезные вычислительные мощности. В последние годы, в связи с появлением мощных графических процессоров, появилась возможность решить такую задачу. В частности, хорошие результаты достигнуты с применением процессоров компании Nvidia, поддерживающих технологию CUDA. Более того, применение этих процессоров позволилоRaytrix впервые продемонстрировать видеопоследовательность, снятую камерой светового поля, что нельзя не рассматривать как признак приближающейся революции.

Допустим, мы имеем достаточно вычислительных мощностей для того, чтобы использовать камеры светового поля в видеопроизводстве. Что это может нам дать?

Во-первых, в том виде, в котором это существует сейчас, пленоптика может использоваться в науке и производстве, там, где необходимо построение динамических трехмерных моделей. В случае использования в видео, пленоптические камеры могут дать уникальную возможность зрителю самому управлять изображением.

Поскольку камеры фиксируют все световое поле, которое имеется в наблюдаемом объеме, то становится возможным изменение положения камеры на устройстве презентации. Давайте, например, представим сцену из фильма «Хоббит: Нежданное путешествие», в которой зритель может сам устанавливать и динамически изменять положение камеры – путешествовать по созданному режиссером сказочному миру (допустим, при помощи джойстика).

ПленОпТВ

Помните, несколько лет назад появился термин «самопрограммирование» по отношению к сервисам передачи изображения. Он означал отказ от составления сетки вещания канала и передачи этой функции в руки самого зрителя, у которого появлялась возможность выбирать телепрограммы и их последовательность. Похожую функцию, но только уже относительно операторской деятельности, могут предоставить пленоптические камеры. Это, в частности, может привести к появлению различных «операторских» версий одного и того же действия. И более того – создание таких версий может быть доступно самому зрителю.

Помимо динамического изменения положения камеры, возможно изменять фокусировку изображения – это как раз эффектно демонстрирует Raytrix на своем сайте.

Для того, чтобы все эти фантазии осуществились, необходимо понимать, что концепция состоит в том, что «решение» о том, как что-то должно выглядеть принимает сам зритель – а поставщик контента должен предоставить ему для этого всю необходимую информацию. То есть, фактически, информацию, полученную матрицей пленоптической камеры. Далее, по заданию зрителя, мощный графический процессор абонентского устройства производит обработку этой информации и ее презентацию (показ).

Очевидно, что устройство, поддерживающее пленоптическую функцию, будет генерировать объем информации, который намного превышает существующий объем информации как SD, так и HD. Однако, эта информация сильно структурирована (см. рис. 4) , а соответственно может быть эффективна подвергнута компрессии. Действительно, внимательно посмотрев на рис. 4, можно заметить, что соседние «ячейки» отличаются друг от друга незначительно и в основном сдвигом. Таким образом, эффективным механизмом компрессии может стать интеллектуальная разбивка на макроблоки, выделение среди них ключевых макроблоков и вычисление предсказываемых макроблоков  с применением компенсации движения. Помимо этого, очевидно, должна применяться межкадровая компрессия. Таким образом, большие объемы информации, генерируемой пленоптической камерой, могут быть эффективно уменьшены.

Следует отдельно отметить, что существующее стереоскопическое телевидение это лишь частный случай пленоптического. То есть, из пленоптического сигнала можно будет получить стереоскопический сигнал, если зрителю это потребуется.

В настоящий момент сделаны только первые шаги в направлении развития устройств, реализующих пленоптическую функцию, поэтому самые смелые фантазии и идеи только приветствуются – давайте попробуем включиться в этот процесс.

Источник: 625.625-net.ru