Некоторые методы повышения качества построения стерео

Некоторые методы повышения качества построения стерео

Юрий Бердников

CS MSU Graphics & Media Lab Video group

CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/

Only for Maxus

Содержание

Введение

Оценка стабильности во времени

Алгоритм Do и Zinger

Финско-итальянский вариант Exemplar-Based

Тайваньский вариант Exemplar-Based

Китайский вариант Exemplar-Based

Заключение

2

http://www.compression.ru/video/


Only for Maxus

Стандартный метод Врага нужно знать в лицо

3



Only for Maxus

Алгоритмы заполнения Требования

Отсутствие заметных статических искажений (Spatial consistency)

Стабильность во времени (Temporal consistency)

Приемлемое время работы

4



Only for Maxus


Введение







5



Only for Maxus

Стабильность во времени

6 Michael Schmeing and Xiaoyi Jiang, “Time-consistency of Disocclusion Filling Algorithms in DIBR,” 3DTV Conference, 2011

Неформальное определение:

«область мерцает сильнее, чем надо»

Возникающие вопросы:

Что есть «сильнее, чем надо» ?

Что есть «область» в контексте видео ?



Only for Maxus

Мерцание Измерение мерцания

7

Модельный случай:

Объект неподвижен

Фон движется

Область заполнения неподвижна

Рассмотрим яркость пикселя во времени

Michael Schmeing and Xiaoyi Jiang, “Time-consistency of Disocclusion Filling Algorithms in DIBR,” 3DTV Conference, 2011



Only for Maxus

График яркости пикселя Ground Truth




Only for Maxus

График яркости пикселя Результат алгоритма заполнения




Only for Maxus

Измерение мерцания Формализация подхода

10

Степень мерцания пикселя

Степень мерцания области

Оценка увеличения мерцания области

Michael Schmeing and Xiaoyi Jiang, “Time-consistency of Disocclusion Filling Algorithms in DIBR,” 3DTV Conference, 2011



Only for Maxus

Тестовые данные




Only for Maxus Результаты сравнения

алгоритмов заполнения


Отн

огс

ите

льная с

тепень м

ерцания



Only for Maxus


Введение







13



Only for Maxus

Схема алгоритма (1)

14 Luat Do, Sveta Zinger, “Quality improving techniques for free-viewpoint DIBR”, 3DTV-conference, 2009

Расширение областей открытия в сторону фона (подавление остатков motion blur)

Взвешенное суммирование соседних пикселей



Only for Maxus

В математическом виде:

Да, формула содержит ошибки





Only for Maxus

Результат работы




Only for Maxus

Анализ

17

Преимущества

Малая вычислительная сложность

Выглядит потенциально лучше Stretch

Недостатки

Никак не учитывает соседние кадры

Сглаживает изображения вдали от границ области открытия



Only for Maxus


Введение







18



Only for Maxus

Схема алгоритма

19

Lucio Azzari, Federica Battisti, “A Modified Non-local Mean Inpainting Technique for Occlusion Filling in Depth-Image Based Rendering”, SPIE, 2011

Основа – Exemplar-Based Inpainting см. доклад Ю. Гитмана «Обзор методов инпэинтинга по одному изображению»

Краткая схема Exemplar-Based Inpainting:

Вычисление карты приоритетов

Поиск похожих элементов текстуры (патчей)

Заполнение неизвестных областей



Only for Maxus

Модификация алгоритма (1)

20

Учёт принадлежности к фону при вычислении карты приоритетов

Использование только яркости при поиске патчей

Lmax= max(Dl, Dr) Карта глубины «обратная»




Only for Maxus

Модификация алгоритма (2) Ускорение поиска патчей

21

Фиксированные пороги




Only for Maxus

5 видео

Размеры окна 3х3, 5х5, 7х7

α = 1, β = 5

Выбор параметров α и β

22

Гистограмма лучших патчей




Only for Maxus

Учёт соседних кадров

Ограничение области поиска

Использование нескольких лучших патчей:

23

Модификация алгоритма (3)

Количество используемых патчей.

Чем больше k, тем

больше β. В экспериментах

k=5, β=7

i-й патч




Only for Maxus

24

Тестовые данные




Only for Maxus

25

Объективное тестирование




Only for Maxus

26

Субъективное тестирование

3’’ автостереоскопический дисплей

33 эксперта, от 22 до 40 лет

5 тестов:

Preliminary vision test

Training test

Acceptance test

Overall quality

Perceived depth




Only for Maxus

27

Acceptance test




Only for Maxus

28

Quality test




Only for Maxus

29

Depth test




Only for Maxus

Анализ

30


Использует соседние кадры

Не нарушает текстуру фона


Вычислительная сложность

Стабильность во времени не гарантируется



Only for Maxus


Введение







31



Only for Maxus


32 Chia-Ming Cheng, Shu-Jyuan Lin, “Improved Novel View Synthesis from Depth Image with Large Baseline ”, ICPR, 2008

Кросс-билатеральная предобработка карты глубины

Вес

Учёт расстояния

Учёт цвета



Only for Maxus

Предобработка глубины Пример работы

33

До

После

Глубина Изображение до и после заполнения одиночных пикселей

Chia-Ming Cheng, Shu-Jyuan Lin, “Improved Novel View Synthesis from Depth Image with Large Baseline ”, ICPR, 2008



Only for Maxus


34

Заполнение пикселей с помощью поиска наилучших патчей

Порядок заполнения определяется

Локальные

градиенты по осям




Only for Maxus


35

Трилатеральная фильтрация

σs = 1.0, σc = 0.25, σd = 0.15




Only for Maxus

Результаты работы

36 Chia-Ming Cheng, Shu-Jyuan Lin, “Improved Novel View Synthesis from Depth Image with Large Baseline ”, ICPR, 2008



Only for Maxus

Результаты работы

37

Исходные данные

DIBR interpolation Image inpainting Proposed method




Only for Maxus

Анализ

38









Only for Maxus


Введение







39



Only for Maxus

Схема алгоритма

40

Морфология карты глубины

Доработка оценки приоритетов

Дополнительное слагаемое в оценке патчей

Kai LUO, Dong-xiao LI, “Depth-aided inpainting for disocclusion restoration of multi-view images using depth-image-based rendering”, Journal of Zhejiang University, 2009



Only for Maxus

Модификация оценки патчей

41

Исходный кадр Сдвинутый кадр




Only for Maxus

Пример работы

42

Исходные данные

Исходный и модифицированный

алгоритмы




Only for Maxus

Сравнение с конкурентами

43




Only for Maxus

Анализ

44









Only for Maxus


Введение







45



Only for Maxus


Всё хуже, чем хотелось бы

Если объект неподвижен, восстановление из движения не работает

Если объект движется, простые методы вызывают артефакты

Предполагаемый лучший вариант – заполнение из движения с 1-2 соседних кадров, оставшееся заполняется простыми методами

46



Only for Maxus

Литература

1. Michael Schmeing and Xiaoyi Jiang, “Time-consistency of Disocclusion Filling Algorithms in Depth Image Based Rendering,” in proc. 3DTV Conference, 2011, pp. 1–4

2. Luat Do and Svitlana Zinger and Peter H. N. de With, “Quality improving techniques for free-viewpoint DIBR,” in proc. 3DTV Conference, 2009, pp. 1–4

3. Lucio Azzari, Federica Battisti, Atanas Gotchev, Marco Carli and Karen Egiazarian, “A modified non-local mean inpainting technique for occlusion filling in depth-image-based rendering,” in proc. SPIE, 2011

4. C. Cheng, S. Lin, S. Lai, and J. Yang, "Improved novel view synthesis from depth image with large baseline", in Proc. ICPR, 2008, pp.1-4.

5. Kai LUO, Dong-xiao LI, Ya-mei FENG, Ming ZHANG, "Depth-aided inpainting for disocclusion restoration of multi-view images using depth-image-based rendering", Journal of Zhejiang University, 2009 Vol.10 No.12 P.1738~1749.

47



Only for Maxus Лаборатория компьютерной

графики и мультимедиа

Видеогруппа — это:

Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)

Выпускниками защищены 5 диссертаций

Наиболее популярные в мире сравнения видеокодеков

Более 3 миллионов скачанных фильтров обработки видео

48


http://en.wikipedia.org/wiki/Comparison_of_video_codecs



Некоторые методы повышения качества построения стерео

Education

based exemplarbased

zinger exemplar

dtv conference

xiaoyi jiang

michael schmeing

maxus ground truth

free viewpoint dibr

sveta zinger