Александр Крайнов, «Яндекс»: «DeepHD — это способ показать не самый современный контент в улучшенном качестве»

В 2018 году компания «Яндекс» представила DeepHD — технологию улучшения видео собственной разработки.

Чтобы понять ее возможности, «Телеспутник» задал несколько вопросов руководителю службы компьютерного зрения «Яндекса» Александру Крайнову. 

Что лежит в основе технологии DeepHD?

Механизм технологии улучшения изображения DeepHD базируется на нейронных сетях. DeepHD основан на классе технологий SuperResolution, который сейчас очень популярен в компьютерном зрении. Каждый год по этой теме выходит множество интересных научных статей. Но примеров использования технологии вне исследовательской среды очень мало.

 На каком именно контенте вы обучали свою нейронную сеть?

Текущее решение обучали на трейлерах фильмов. Мультфильмов в обучающей выборке было крайне мало. У нас есть много идей о том, какие эксперименты можно делать с составом обучающей выборки. Можно сказать, что сейчас мы в самом начале пути. 

Какой контент, по вашему опыту, лучше всего обрабатывается?

Лучше всего обрабатывается контент, на котором нет шумов и артефактов сжатия. Хоть мы с этим и боремся, но у нейросети есть склонность их усиливать. DeepHD также довольно трудно справляется с мелкими, трудночитаемыми, но важными деталями. Например, с мелким неразборчивым текстом. Но его и нельзя сделать читаемым, нейросеть ведь в действительности не знает, что там было написано, она может только улучшить четкость границ. 

Зависит ли результат от кодека, которым был сжат изначальный файл?

Зависит не столько от кодека, сколько от наличия шумов и артефактов. То есть, скорее, от комбинации кодека и его настроек. 

Как относитесь к «недоброжелателям», которые считают, что такие алгоритмы нарушают режиссерское построение кадра, например, подсвечивая затемненные на пленке области?

DeepHD меняет изображение не сильнее, чем сжатие кодеком или простое уменьшение разрешения. Просто вектор этого изменения направлен в позитивную сторону. А семантику изображения мы не изменяем. Этому мы уделяем особое внимание. Кадрирование пока тоже не делаем. 

Возможно ли на текущем уровне развития технологии увеличение разрешения старого контента до 4К?

Для каких-то видео возможно, для каких-то пока нет. Все зависит от исходного качества. Про сложность сцен пока сложно говорить. Но кажется, что текстуры типа листвы, травы, волос, тканей и так далее нейросети удаются особенно хорошо.

 Будете ли реализовывать деинтерлейсинг, выравнивание кадров друг относительно друга и прочую предобработку?

Обязательно будем. Приоритеты нашей разработки будут зависеть от того, какие проблемы окажутся характерны для того контента, с которым нам предстоит иметь дело. То есть того контента, который мы будем показывать на нашей видеоплатформе. 

Возможно ли с таким подходом расширение цветового диапазона (HDR)? Будет ли оно применяться?

Возможно. Но пока у него не самый высокий приоритет. 

Что планируется делать со звуком? Есть ли возможность аналогичным подходом из обычного стерео сделать 5.1 или даже 7.1?

У меня нет сомнений, что и звук можно улучшать. И перспектив тут множество. Безусловно, придет и его очередь. 

Планируется ли как-то монетизировать технологию? Как именно?

Для нас сейчас основной приоритет — это развитие нашей видеоплатформы. DeepHD — это способ показать не самый современный, но тем не менее любимый контент в улучшенном качестве. У правообладателей есть очень много такого контента, который либо лежит мертвым грузом, либо очень слабо монетизируется, так как сейчас люди привыкли уже к другому качеству. Мы предлагаем заработать на этом контенте через нашу видеоплатформу, где он получит вторую жизнь благодаря DeepHD. 

Планируется ли открывать технологию для рядовых пользователей — чтобы они могли обработать свое видео?

Пока это довольно тяжелая технология. Для ее работы нужны мощные серверы. Но, конечно, очень хочется сделать ее доступной для всех. И я не сомневаюсь, что это рано или поздно произойдет. 

Есть ли интерес к восстановлению фильмофондов и архивов со стороны Министерства культуры?

Именно Министерство культуры пока не обращалось, хотя для нас это, конечно, было бы очень интересно Права на трансляцию версий телеканала с разным разрешением иногда стоят по-разному.

Требует ли использование DeepHD каких-то дополнительных прав или отчислений правообладателям?

От применения DeepHD произведение не меняется, поэтому и с правами никаких дополнительных действий не требуется — если у нас есть права на произведение, мы можем прогонять его через DeepHD и потом транслировать на своей видеоплатформе. А это, например, эфир на главной странице «Яндекса» или поисковая выдача через «Яндекс.Видео» после запроса в поисковой строке. 

В каком направлении будете развивать проект?

Будем улучшать качество — это вообще можно делать бесконечно. Уж чего-чего, а идей, что можно еще попробовать, у нас в избытке.

Есть ли возможность аналогичным подходом из обычного стерео сделать 5.1 или даже 7.1?

У меня нет сомнений, что и звук можно улучшать. И перспектив тут множество. Безусловно, придет и его очередь. 

Планируется ли как-то монетизировать технологию? Как именно?

Для нас сейчас основной приоритет — это развитие нашей видеоплатформы. DeepHD — это способ показать не самый современный, но тем не менее любимый контент в улучшенном качестве. У правообладателей есть очень много такого контента, который либо лежит мертвым грузом, либо очень слабо монетизируется, так как сейчас люди привыкли уже к другому качеству. Мы предлагаем заработать на этом контенте через нашу видеоплатформу, где он получит вторую жизнь благодаря DeepHD.

 Планируется ли открывать технологию для рядовых пользователей — чтобы они могли обработать свое видео?

Пока это довольно тяжелая технология. Для ее работы нужны мощные серверы. Но, конечно, очень хочется сделать ее доступной для всех. И я не сомневаюсь, что это рано или поздно произойдет. 

Справка о технологии DeepHD

Для восстановления контента при помощи технологии улучшения изображения DeepHD используются нейронные сети, обученные на базе искусственно «подпорченного» видеоконтента — видеороликов и отдельных кадров с уменьшенным разрешением. Подробные технические детали можно найти в блоге «Яндекса».

Улучшение качества изображения и видео — довольно популярная задача, к которой существуют и другие подходы. Например, активно развиваются фильтры, работающие по алгоритмам, никак не связанным с нейронными сетями. При определенных настройках они позволяют улучшать некий контент, причем настройки, как правило, работают только для строго определенной картинки, иногда в несколько проходов. Важной особенностью DeepHD от «Яндекса» является то, что технология позволяет обрабатывать сигнал телеканала в режиме реального времени (для телеканала 576p достаточно ресурсов одной видеокарты nVidia Tesla V100), а кроме того, не требует специальной подстройки под разные типы контента. Один раз обученная модель работает как на сигнале телеканала, так и на старом мультфильме, оцифрованном с пленки.

Контент, восстановленный при помощи DeepHD, можно найти на платформе «Яндекса». Сейчас в подборку входят:

• мультфильмы студии «Союзмультфильм»: «Аленький цветочек» (1952), «Золотая антилопа» (1954), «Снежная королева» (1957), «Дюймовочка» (1964), «Бременские музыканты» (1969), «Умка ищет друга» (1970), «Маугли» (1973), «Щелкунчик» (1973), «Путешествие муравья» (1983) и цикл про «Котенка по имени Гав» (1976—1982);

• коллекция фильмов о Великой Отечественной войне: «Радуга» Марка Донского (1943), «Летят журавли» Михаила Калатозова (1957), «Дорогой мой человек» Иосифа Хейфица (1958), «Судьба человека» Сергея Бондарчука (1959), «Иваново детство» Андрея Тарковского (1962), «Отец солдата» Резо Чхеидзе (1964) и «Танго нашего детства» Альберта Мкртчяна (1985);

• подборка клипов группы «Мумий Тролль»;

• сигнал нескольких телеканалов на платформе «Яндекс.Эфир».

Технология находится только на начальном этапе развития, но уже сейчас есть несколько сопутствующих вопросов, поднимаемых в комментариях к техническим подробностям. К примеру, этичность изменений, вносимых в кадр. Хотя, по заявлениям компании, цвета и содержание кадров не меняются, некоторые зрители отмечали осветление отдельных темных участков кадра, например, на советских черно-белых фильмах о войне. Учитывая сложный путь такого видео от монтажного стола к зрителю, сейчас уже сложно сказать, было ли затемнение авторской задумкой или ошибкой оцифровки.