Как две компании меняют будущее визуальных эффектов

Хромакей и ротоскоп в скором времени отправятся на свалку истории, но в чем подвох?

На прошлогодней выставке NAB компания Lytro представила прорывной продукт — камеру Lytro Cinema. В этом году разработчик программного обеспечения Foundry, в числе продуктов которого приложение для композинга Nuke, представил Elara — революционную платформу для создания визуальных эффектов с использованием облачных технологий. Lytro приняла заметное участие в создании Elara, и эта совместная работа двух инновационных компаний сможет полностью изменить облик индустрии визуальных эффектов.

Конец эпохи ротоскопа и хромакея

Последний год многие говорили, что благодаря Lytro такие привычные нам инструменты создания визуальных эффектов, как хромакей и ротоскопирование, окончательно уйдут в прошлое. Это больше чем нововведение, это фундаментальное изменение развития визуальных эффектов, которое все так ждали.

Чтобы все поняли раз и навсегда: ротоскопирование и хромакей — это самые примитивные сферы создания визуальных эффектов. В то время как современные технологии позволяют нам достоверно моделировать поведение воды или взаимодействие песчинок между собой, специалисты по ротоскопированию вынуждены от кадра к кадру отслеживать контуры объектов, вручную передвигая тысячи точек. А как насчет хромакея? Найдите хотя бы одного человека, который не хотел бы навсегда избавиться от этого громоздкого и отражающего свет приспособления. Нельзя стоять на месте, нужно развиваться дальше.

Возможность записывать информацию о глубине изображения с точностью до пикселей — одна из важнейших отличительных черт камеры Lytro. Теперь можно не прилагая больших усилий оставлять или убирать определенные участки в кадре — в зависимости от расстояния объектов до камеры. Эта технология приближает нас к идеальному миру визуальных эффектов: без ужасного ротоскопа и неестественного хромакея. Но сможет ли технология светового поля преодолеть трудности с извлечением изображения и обеспечить достойную альтернативу существующим решениям?

Извлечение крупных объектов с ярко выраженными границами не вызывают трудностей в работе ни с хромакеем, ни с ротоскопом. Но границы бывают размытыми или полупрозрачными, в том числе из-за расфокуса и размытия, и вот здесь-то начинаются проблемы. Редко когда эта задача решается легко, нажатием одной кнопки — нужны навыки, много времени и упорства, чтобы получить хороший результат. Взглянем на самые распространенные трудности.

Субпиксельная точность

Камера Lytro Cinema

Довольно трудно извлечь из изображения такие миниатюрные детали, как волосы или мех. Их ротоскопирование похоже на ночной кошмар, а его результаты редко бывают удовлетворительными. Для работы с субпикселями лучше подходит кеинг зеленого экрана, однако и он не гарантирует, что извлеченное изображение не будет шумным и угловатым. Новые технологии сталкиваются с теми же проблемами, поскольку запись информации о глубине изображения может быть неполной. Получается, что специалисты по VFX будут сталкиваться со схожими задачами.

Однако есть и хорошие новости. 755-мегапиксельная Lytro Cinema снимает настолько детальное изображение, что пискселей будет хватать на все объекты за исключением самых мельчайших. А это значит — плавное извлечение, избавленное от шумов.

Расфокусированые контуры

Чаще всего это самая большая головная боль для специалистов, занимающихся визуальными эффектами. Во-первых, во время извлечения изображения очень трудно сохранить мягкие контуры объекта (особенно если в сцене есть пересекающиеся объекты, находящиеся в фокусе и расфокусе).

Во-вторых, расплывчатые контуры объекта наполовину прозрачны, то есть они содержат часть информации о фоне. В отсутствии зеленого или синего экрана детали оригинального фона все равно будут присутствовать на изображении, даже если его предварительно убрали. Чтобы избежать этого, приходится заниматься детальным ротоскопированием или убирать «последние четкие пиксели», а затем воссоздавать размытые контуры объекта искусственно. Это больше похоже на трюк, чем на полноценное решение.

Здесь Lytro проявляет себя во всей красе: технология использует информацию о глубине изображения, чтобы изменить зону расфокусировки на постпродакшне. Эта функция, на которую компания делает особенный упор, интересна не только для режиссеров и операторов-постановщиков, но и для специалистов по работе с визуальными эффектами: теперь кадры могут быть четкими, что полезно для извлечения объектов и дальнейших манипуляций с изображением по всей глубине резкости. Потом можно вернуть расфокусированность кадра в любую точку (и это будет настоящая расфокусировка, а не двухмерный трюк).

Смазанное изображение

Как и в случае с расфокусом, трудно работать с контурами объектов в движении. Эффект размытия тут необходимо синхронизировать со скоростью и направлением движения.

Если мы работаем с двухмерным изображением, то можем анализировать только двухмерное движение («лево-право» и «вверх-вниз»). Но если информация о движении пересекающихся объектов противоречит друг другу, то все становится намного сложнее. Представьте сцену ожесточенной драки двух актеров, которую снимают на динамичную ручную камеру. В кадре будет столько противоречащего и пересекающегося движения, что все попытки сделать постоянные векторы в 2D будут обречены на неудачу.

Тем не менее, поскольку Lytro снимает изображение с частотой в 300 кадров в секунду, ни один из объектов в кадре не выглядит смазанно в процессе движения. Lytro позволяет самостоятельно добавить 3D-эффекты размытия для подвижных объектов. С помощью этого решения впоследствии можно восстановить нормальную скорость и добавить размытие, создающее ощущение подлинных 24 кадров в секунду.

В чем подвох?

Безусловно, съемочные алгоритмы светового поля имеют огромное преимущество для художников визуальных эффектов, работу которых значительно затрудняют низкотехнологичные и требующие больших временных затрат хромакей и ротоскоп. Отбросим факт, что Lytro Cinema — это пока еще очень дорогой и громоздкий прототип, который не подойдет для среднестатистического фильма (что уж говорить о независимом кинематографе). Если взять в расчет эволюцию цифровых камер и компьютерных технологий за последние десять лет, несложно предположить, что через несколько лет технологии светового поля предстанут перед общественностью в более доступном и компактном виде.

Самый большой подвох здесь в размерах файлов. Их объемы поражают. Огромное количество информации в каждом кадре, высокое разрешение и увеличенный FPS — все это, бесспорно, занимает очень много памяти. А это значит, что на всем протяжении процесса, начиная от съемки и заканчивая постпродакшном, кинематографистам предстоит работать с огромным количеством данных. Специально для этого создан сервис Elara.

Визуальные эффекты «в облаке»

Проблема слишком больших файлов началась не с Lytro: всего несколько лет назад для визуальных эффектов было стандартным разрешение 2K, теперь студии работают с кадрами 4K, 6K и 8K. Проекты с применением VR и 360-градусных съемок требуют еще больших ресурсов. В связи с огромным количеством информации сильно снижается скорость обработки кадров, рендеринг компьютерной графики занимает намного больше времени, а серверы плохо справляются с нагрузкой. Проблема достигла такого масштаба, что даже современные технологии для работы с визуальными эффектами испытывают трудности.Elara предлагает пересмотреть процесс создания визуальных эффектов: вся разработка, включая программное обеспечение, хранилища и процессоры для рендеринга, будут располагаться в «облаке». Используя Elara, художники могут удаленно работать над проектами практически с любого ноутбука и планшета с браузером и подключенным интернетом. В принципе, высокоскоростной интернет — это единственное условие для стабильной работы.

Nuke Studio в Elara

Все файлы проекта расположены в одном месте, что намного упрощает совместную работу съемочной команды, монтажеров и специалистов по VFX. Например, отснятый на Lytro материал прямиком отправляется в облако, с которым позже будут работать художники по визуальным эффектам, не загружая его на локальный жесткий диск. Большой объем хранилища и возможность просчитывать его использование — немаловажные аргументы за использование нового сервиса. Elara позволит специалистам не разоряться на дополнительное оборудование и предоставит возможность работать над проектами, платя столько, сколько нужно. Этот прагматичный подход в действительности открывает двери новым возможностям.

Будущее визуальных эффектов

Elara совершенно точно повлияет на индустрию визуальных эффектов. Режиссеры и продюсеры довольно часто чувствуют себя скованно, поскольку работа над VFX ведется где-то удаленно, в отрыве от ежедневных задач команды монтажа. Но если рабочее пространство специалистов по визуальным эффектам переместить в облачное хранилище, то они перестанут быть привязанными к студии и ее оборудованию. Таким образом, художники смогут работать где угодно, даже рядом с продюсерами и режиссерами на производственных площадках.Независимые кинематографисты также проявят больший интерес к визуальным эффектам, на которые у них довольно часто не хватает средств. Более того, Elara сможет объединить огромные корпорации и самостоятельных специалистов. Поскольку все ассеты находятся в едином легкодоступном источнике, ускорится рабочий процесс, так как больше не нужно тратить время на загрузку и установку файлов, и любой участник сможет сразу же влиться в командную работу.

Обработка в Elara изображения, снятого на Lytro

Одно из самых ярких достоинств Elara — это сверхобъемное хранилище и рабочие мощности, которые позволят специалистам по визуальным эффектам использовать больше возможностей таких камер, как Lytro Cinema. Конечно, технология светового поля не станет общедоступной сразу же, но со временем она полностью вытеснит хромакей и ротоскоп.Когда подобные ей технологии окажутся в списке базовых функций камеры, кинематографистам не придется тратить время на съемки на фоне зеленого или голубого экрана. Сцены с использованием визуальных эффектов не будут такими сложными в постановке, им больше не потребуются специальное освещение и съемка. Хромакей, ротоскопирование и трекинг камеры исчезнут из списка необходимых вещей для визуальных эффектов, что сэкономит уйму времени и средств и позволит тратить больше денег на масштабные эффекты.

С приходом Lytro и Elara мир визуальных эффектов становится на следующую ступень развития, это вестники больших перемен в индустрии. Садитесь поудобнее, чтобы ничего не пропустить. А еще посмотрите это видео с презентации Lytro и Elara на выставке NAB.