Некоторые методы повышения качества построения стерео
Юрий Бердников
CS MSU Graphics & Media Lab Video group
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Оценка стабильности во времени
Алгоритм Do и Zinger
Финско-итальянский вариант Exemplar-Based
Тайваньский вариант Exemplar-Based
Китайский вариант Exemplar-Based
Заключение
2
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Стандартный метод Врага нужно знать в лицо
3
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Алгоритмы заполнения Требования
Отсутствие заметных статических искажений (Spatial consistency)
Стабильность во времени (Temporal consistency)
Приемлемое время работы
4
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Оценка стабильности во времени
Алгоритм Do и Zinger
Финско-итальянский вариант Exemplar-Based
Тайваньский вариант Exemplar-Based
Китайский вариант Exemplar-Based
Заключение
5
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Стабильность во времени
6 Michael Schmeing and Xiaoyi Jiang, “Time-consistency of Disocclusion Filling Algorithms in DIBR,” 3DTV Conference, 2011
Неформальное определение:
«область мерцает сильнее, чем надо»
Возникающие вопросы:
Что есть «сильнее, чем надо» ?
Что есть «область» в контексте видео ?
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Мерцание Измерение мерцания
7
Модельный случай:
Объект неподвижен
Фон движется
Область заполнения неподвижна
Рассмотрим яркость пикселя во времени
Michael Schmeing and Xiaoyi Jiang, “Time-consistency of Disocclusion Filling Algorithms in DIBR,” 3DTV Conference, 2011
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
График яркости пикселя Ground Truth
8 Michael Schmeing and Xiaoyi Jiang, “Time-consistency of Disocclusion Filling Algorithms in DIBR,” 3DTV Conference, 2011
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
График яркости пикселя Результат алгоритма заполнения
9 Michael Schmeing and Xiaoyi Jiang, “Time-consistency of Disocclusion Filling Algorithms in DIBR,” 3DTV Conference, 2011
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Измерение мерцания Формализация подхода
10
Степень мерцания пикселя
Степень мерцания области
Оценка увеличения мерцания области
Michael Schmeing and Xiaoyi Jiang, “Time-consistency of Disocclusion Filling Algorithms in DIBR,” 3DTV Conference, 2011
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Тестовые данные
11 Michael Schmeing and Xiaoyi Jiang, “Time-consistency of Disocclusion Filling Algorithms in DIBR,” 3DTV Conference, 2011
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus Результаты сравнения
алгоритмов заполнения
12 Michael Schmeing and Xiaoyi Jiang, “Time-consistency of Disocclusion Filling Algorithms in DIBR,” 3DTV Conference, 2011
Отн
огс
ите
льная с
тепень м
ерцания
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Оценка стабильности во времени
Алгоритм Do и Zinger
Финско-итальянский вариант Exemplar-Based
Тайваньский вариант Exemplar-Based
Китайский вариант Exemplar-Based
Заключение
13
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Схема алгоритма (1)
14 Luat Do, Sveta Zinger, “Quality improving techniques for free-viewpoint DIBR”, 3DTV-conference, 2009
Расширение областей открытия в сторону фона (подавление остатков motion blur)
Взвешенное суммирование соседних пикселей
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
В математическом виде:
Да, формула содержит ошибки
Схема алгоритма (2)
15 Luat Do, Sveta Zinger, “Quality improving techniques for free-viewpoint DIBR”, 3DTV-conference, 2009
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Результат работы
16 Luat Do, Sveta Zinger, “Quality improving techniques for free-viewpoint DIBR”, 3DTV-conference, 2009
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Анализ
17
Преимущества
Малая вычислительная сложность
Выглядит потенциально лучше Stretch
Недостатки
Никак не учитывает соседние кадры
Сглаживает изображения вдали от границ области открытия
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Оценка стабильности во времени
Алгоритм Do и Zinger
Финско-итальянский вариант Exemplar-Based
Тайваньский вариант Exemplar-Based
Китайский вариант Exemplar-Based
Заключение
18
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Схема алгоритма
19
Lucio Azzari, Federica Battisti, “A Modified Non-local Mean Inpainting Technique for Occlusion Filling in Depth-Image Based Rendering”, SPIE, 2011
Основа – Exemplar-Based Inpainting см. доклад Ю. Гитмана «Обзор методов инпэинтинга по одному изображению»
Краткая схема Exemplar-Based Inpainting:
Вычисление карты приоритетов
Поиск похожих элементов текстуры (патчей)
Заполнение неизвестных областей
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Модификация алгоритма (1)
20
Учёт принадлежности к фону при вычислении карты приоритетов
Использование только яркости при поиске патчей
Lmax= max(Dl, Dr) Карта глубины «обратная»
Lucio Azzari, Federica Battisti, “A Modified Non-local Mean Inpainting Technique for Occlusion Filling in Depth-Image Based Rendering”, SPIE, 2011
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Модификация алгоритма (2) Ускорение поиска патчей
21
Фиксированные пороги
Lucio Azzari, Federica Battisti, “A Modified Non-local Mean Inpainting Technique for Occlusion Filling in Depth-Image Based Rendering”, SPIE, 2011
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
5 видео
Размеры окна 3х3, 5х5, 7х7
α = 1, β = 5
Выбор параметров α и β
22
Гистограмма лучших патчей
Lucio Azzari, Federica Battisti, “A Modified Non-local Mean Inpainting Technique for Occlusion Filling in Depth-Image Based Rendering”, SPIE, 2011
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Учёт соседних кадров
Ограничение области поиска
Использование нескольких лучших патчей:
23
Модификация алгоритма (3)
Количество используемых патчей.
Чем больше k, тем
больше β. В экспериментах
k=5, β=7
i-й патч
Lucio Azzari, Federica Battisti, “A Modified Non-local Mean Inpainting Technique for Occlusion Filling in Depth-Image Based Rendering”, SPIE, 2011
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
24
Тестовые данные
Lucio Azzari, Federica Battisti, “A Modified Non-local Mean Inpainting Technique for Occlusion Filling in Depth-Image Based Rendering”, SPIE, 2011
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
25
Объективное тестирование
Lucio Azzari, Federica Battisti, “A Modified Non-local Mean Inpainting Technique for Occlusion Filling in Depth-Image Based Rendering”, SPIE, 2011
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
26
Субъективное тестирование
3’’ автостереоскопический дисплей
33 эксперта, от 22 до 40 лет
5 тестов:
Preliminary vision test
Training test
Acceptance test
Overall quality
Perceived depth
Lucio Azzari, Federica Battisti, “A Modified Non-local Mean Inpainting Technique for Occlusion Filling in Depth-Image Based Rendering”, SPIE, 2011
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
27
Acceptance test
Lucio Azzari, Federica Battisti, “A Modified Non-local Mean Inpainting Technique for Occlusion Filling in Depth-Image Based Rendering”, SPIE, 2011
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
28
Quality test
Lucio Azzari, Federica Battisti, “A Modified Non-local Mean Inpainting Technique for Occlusion Filling in Depth-Image Based Rendering”, SPIE, 2011
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
29
Depth test
Lucio Azzari, Federica Battisti, “A Modified Non-local Mean Inpainting Technique for Occlusion Filling in Depth-Image Based Rendering”, SPIE, 2011
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Анализ
30
Преимущества
Использует соседние кадры
Не нарушает текстуру фона
Недостатки
Вычислительная сложность
Стабильность во времени не гарантируется
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Оценка стабильности во времени
Алгоритм Do и Zinger
Финско-итальянский вариант Exemplar-Based
Тайваньский вариант Exemplar-Based
Китайский вариант Exemplar-Based
Заключение
31
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Схема алгоритма (1)
32 Chia-Ming Cheng, Shu-Jyuan Lin, “Improved Novel View Synthesis from Depth Image with Large Baseline ”, ICPR, 2008
Кросс-билатеральная предобработка карты глубины
Вес
Учёт расстояния
Учёт цвета
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Предобработка глубины Пример работы
33
До
После
Глубина Изображение до и после заполнения одиночных пикселей
Chia-Ming Cheng, Shu-Jyuan Lin, “Improved Novel View Synthesis from Depth Image with Large Baseline ”, ICPR, 2008
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Схема алгоритма (2)
34
Заполнение пикселей с помощью поиска наилучших патчей
Порядок заполнения определяется
Локальные
градиенты по осям
Chia-Ming Cheng, Shu-Jyuan Lin, “Improved Novel View Synthesis from Depth Image with Large Baseline ”, ICPR, 2008
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Схема алгоритма (3)
35
Трилатеральная фильтрация
σs = 1.0, σc = 0.25, σd = 0.15
Chia-Ming Cheng, Shu-Jyuan Lin, “Improved Novel View Synthesis from Depth Image with Large Baseline ”, ICPR, 2008
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Результаты работы
36 Chia-Ming Cheng, Shu-Jyuan Lin, “Improved Novel View Synthesis from Depth Image with Large Baseline ”, ICPR, 2008
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Результаты работы
37
Исходные данные
DIBR interpolation Image inpainting Proposed method
Chia-Ming Cheng, Shu-Jyuan Lin, “Improved Novel View Synthesis from Depth Image with Large Baseline ”, ICPR, 2008
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Анализ
38
Преимущества
Малая вычислительная сложность
Выглядит потенциально лучше Stretch
Недостатки
Никак не учитывает соседние кадры
Сглаживает изображения вдали от границ области открытия
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Оценка стабильности во времени
Алгоритм Do и Zinger
Финско-итальянский вариант Exemplar-Based
Тайваньский вариант Exemplar-Based
Китайский вариант Exemplar-Based
Заключение
39
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Схема алгоритма
40
Морфология карты глубины
Доработка оценки приоритетов
Дополнительное слагаемое в оценке патчей
Kai LUO, Dong-xiao LI, “Depth-aided inpainting for disocclusion restoration of multi-view images using depth-image-based rendering”, Journal of Zhejiang University, 2009
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Модификация оценки патчей
41
Исходный кадр Сдвинутый кадр
Kai LUO, Dong-xiao LI, “Depth-aided inpainting for disocclusion restoration of multi-view images using depth-image-based rendering”, Journal of Zhejiang University, 2009
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Пример работы
42
Исходные данные
Исходный и модифицированный
алгоритмы
Kai LUO, Dong-xiao LI, “Depth-aided inpainting for disocclusion restoration of multi-view images using depth-image-based rendering”, Journal of Zhejiang University, 2009
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Сравнение с конкурентами
43
Kai LUO, Dong-xiao LI, “Depth-aided inpainting for disocclusion restoration of multi-view images using depth-image-based rendering”, Journal of Zhejiang University, 2009
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Анализ
44
Преимущества
Малая вычислительная сложность
Выглядит потенциально лучше Stretch
Недостатки
Никак не учитывает соседние кадры
Сглаживает изображения вдали от границ области открытия
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Оценка стабильности во времени
Алгоритм Do и Zinger
Финско-итальянский вариант Exemplar-Based
Тайваньский вариант Exemplar-Based
Китайский вариант Exemplar-Based
Заключение
45
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Заключение
Всё хуже, чем хотелось бы
Если объект неподвижен, восстановление из движения не работает
Если объект движется, простые методы вызывают артефакты
Предполагаемый лучший вариант – заполнение из движения с 1-2 соседних кадров, оставшееся заполняется простыми методами
46
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Литература
1. Michael Schmeing and Xiaoyi Jiang, “Time-consistency of Disocclusion Filling Algorithms in Depth Image Based Rendering,” in proc. 3DTV Conference, 2011, pp. 1–4
2. Luat Do and Svitlana Zinger and Peter H. N. de With, “Quality improving techniques for free-viewpoint DIBR,” in proc. 3DTV Conference, 2009, pp. 1–4
3. Lucio Azzari, Federica Battisti, Atanas Gotchev, Marco Carli and Karen Egiazarian, “A modified non-local mean inpainting technique for occlusion filling in depth-image-based rendering,” in proc. SPIE, 2011
4. C. Cheng, S. Lin, S. Lai, and J. Yang, "Improved novel view synthesis from depth image with large baseline", in Proc. ICPR, 2008, pp.1-4.
5. Kai LUO, Dong-xiao LI, Ya-mei FENG, Ming ZHANG, "Depth-aided inpainting for disocclusion restoration of multi-view images using depth-image-based rendering", Journal of Zhejiang University, 2009 Vol.10 No.12 P.1738~1749.
47
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus Лаборатория компьютерной
графики и мультимедиа
Видеогруппа — это:
Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)
Выпускниками защищены 5 диссертаций
Наиболее популярные в мире сравнения видеокодеков
Более 3 миллионов скачанных фильтров обработки видео
48