. Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты МОСКОВСКИЙ АВИАЦИОННЫЙ ИНСТИТУТ (национальный исследовательский университет) Поиск нечетких дубликатов видео при поддержке интернет-кинотеатра Никитин Илья Константинович, асп. каф. 806 МАИ twitter: @w_495 почта: [email protected][email protected]22 мая 2013 г. | XXI Международная студенческая школа-семинар «Новые информационные технологии», 20-27 мая 2013 г. Крым, Судак
The paper focuses on an approach to a near-duplicate videos search. The search is based on the comparison of scene relative lengths in the space L2. The comparison is made with Gale-Church hypothesis. The concept "shot descriptor" was introduced. To speed up the performance of this method, semantic hashing was suggested, i.e. a generalization of locally sensitive hashing.
В работе рассмотрен подход для поиска нечетких дубликатов видео. Поиск основан на сравнении относительных длин сцен в пространстве L2. Сравнение проводится с учетом гипотезы Гейла-Черча. Вводится понятие «дескриптора сцены». Для ускорения работы метода предложено использовать семантическое хеширование, обобщение локально чувствительного хеширования.
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
..
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты
МОСКОВСКИЙ АВИАЦИОННЫЙ ИНСТИТУТ(национальный исследовательский университет)
Поиск нечетких дубликатов видео
при поддержке интернет-кинотеатра Никитин Илья Константинович,асп. каф. 806 МАИ
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты Cуществующие методы поиска Предложение
Как пытаются искать
1. Сравние глобальных особенностей видео.▷ функция яркости, функция визуального потока;+ относительно быстро, вычислительно просто;− легко обмануть.
2. Сравние отдельных кадров и их сумм:▷ глобальные особенности (гистограммы, спектры, GIST);▷ локальные особенности (PCA-SIFT, детектор Харриса);+ точно;− долго, затратно.
3. Сравние звукового ряда (youtube.com):+ быстро, просто;− много ошибок, не применимо если нет звука.
4. Поиск и сравнение «визуальных (видео) слов» (licenzero.ru):+ точно, если достаточная база «слов»;− долго, нужно много размеченных данных.
5. Комбинация методов.
22 мая 2013 г.: И. К. Никитин при поддержке tvzavr.ru 4 из 21 | Поиск нечетких дубликатов видео
Алгоритм Гейла-Черча для выравниваня длин предложенийпараллельных корпусов на разных языках
▶ требуется установить, что v1 и v2, «переводы» друг друга;▶ когда лучше выравнивать, до или после переходак относительным длинам:до: перевычислять относительные длины,
после: учитывать масштаб относительных длин;
▶ вычислительные затраты.
22 мая 2013 г.: И. К. Никитин при поддержке tvzavr.ru 12 из 21 | Поиск нечетких дубликатов видео
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты Кадры GIST Мешок слов Дескриптор сцены
GIST
Изначально используется для поиска похожих изображений.
1. Считаем отклики детекторов краёв на 5 разных масштабахи 6 ориентациях края.
2. Получаем 33 «канала» — цвет и 30 откликов фильтров края.3. Разобиваем изображение сеткой 4× 4 на 16 ячеек.4. В каждой ячейке усредняем значения всех каналов.
22 мая 2013 г.: И. К. Никитин при поддержке tvzavr.ru 14 из 21 | Поиск нечетких дубликатов видео
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты Кадры GIST Мешок слов Дескриптор сцены
Дескриптор сцены
1. Вектор отношений длины сцены к длинам других сцен;▶ удобно сразу хранить, с объединениями соседних сцен;▶ для относительных длин по трем предыдущим — 6 вариантов.
2. Xарактеристики начального и конечного кадров:▶ или «мешки слов» начального и конечного кадров:
+ лучше соответвует предметной области,− потенциально бесконечный размер вектора гистограммы;
▶ или GIST начального и конечного кадров;+ не требует какого либо обучения,− менее точен.
22 мая 2013 г.: И. К. Никитин при поддержке tvzavr.ru 16 из 21 | Поиск нечетких дубликатов видео
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты Алгоритм Семантическое хеширование Обучаемое хеширование
Семантическое хеширование
▶ Введем бинарные подписи.
▶ Подписи для близких в L2 сцен должны быть близки.
▶ Локально чувстивтельное хеширование:1. Cлучайная проекция данных на прямую.2. Случайно выберем порог, пометив проекции 0 или 1.3. С увеличением числа бит подпись приближает L2-метрику в
исходных дескрипторах.
▶ Обучаемое хеширование.
22 мая 2013 г.: И. К. Никитин при поддержке tvzavr.ru 18 из 21 | Поиск нечетких дубликатов видео