. Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты МОСКОВСКИЙ АВИАЦИОННЫЙ ИНСТИТУТ (национальный исследовательский университет) Поиск нечетких дубликатов видео при поддержке интернет-кинотеатра Никитин Илья Константинович, аспирант каф. 806 МАИ twitter: @w_495 почта: [email protected][email protected]19 марта 2013 г. | Поиск нечетких дубликатов видео, XI Всероссийская научная конференция «Нейрокомпьютеры и их применение», МГППУ, 2013 г.
Никитин И.К., Поиск нечетких дубликатов видео (Методология поиска и идентификации нечетких дубликатов видеоизображений, при поддержке интернет-кинотеатра tvzavr.ru). XI Всероссийская научная конференция «Нейрокомпьютеры и их применение», Москва: МГППУ, 19 марта 2013 г.
Nikitin I. K., Near-duplicate video retrieval (The methodology of finding and identifying near-duplicate video, with the support of online cinema tvzavr.ru). XI All-Russian Conference "Neurocomputers and their application," Мoscow: MGPPU, 19 March 2013.
Существует достаточно широкий круг задач, где требуется анализ, аудио-визуальных моделей реальности. Это относится и к статическим изображениям, и к видео. Для многих военных и гражданских приложений, необходимо наличие возможности поиска нечетких дубликатов видео. Понятие «нечеткий дубликат» означает неполное или частичное совпадение текущего документа (изображения) с другим документом подобного класса. Дубликаты бывают естественные и искусственные. Поиск нечетких дубликатов может быть полезен для оптической навигации беспилотных аппаратов, для определения характера ландшафта местности, составления каталогов видео, группировки сниппетов поисковых систем, фильтрация видео рекламы, и поиска пиратского видео. В работе предлагается алгоритм поиска нечетких дубликатов на основе сцен.
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
..
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты
МОСКОВСКИЙ АВИАЦИОННЫЙ ИНСТИТУТ(национальный исследовательский университет)
Поиск нечетких дубликатов видео
при поддержке интернет-кинотеатра Никитин Илья Константинович,аспирант каф. 806 МАИ
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты Cуществующие методы поиска Предложение
Как пытаются искать
1. Сравние глобальных особенностей видео.▷ функция яркости, функция визуального потока;+ относительно быстро, вычислительно просто;− легко обмануть.
2. Сравние отдельных кадров и их сумм:▷ глобальные особенности (гистограммы, спектры, GIST);▷ локальные особенности (PCA-SIFT, детектор Харриса);+ точно;− долго, затратно.
3. Сравние звукового ряда (youtube.com):+ быстро, просто;− много ошибок, не применимо если нет звука.
4. Поиск и сравнение «визуальных (видео) слов» (licenzero.ru):+ точно, если достаточная база «слов»;− долго, нужно много размеченных данных.
5. Комбинация методов.
19 марта 2013 г.: И. К. Никитин при поддержке tvzavr.ru 5 из 21 | Поиск нечетких дубликатов видео
Алгоритм Гейла-Черча для выравниваня длин предложенийпараллельных корпусов на разных языках
▶ требуется установить, что v1 и v2, «переводы» друг друга;▶ когда лучше выравнивать, до или после переходак относительным длинам:до: перевычислять относительные длины,
после: учитывать масштаб относительных длин;
▶ вычислительные затраты.
19 марта 2013 г.: И. К. Никитин при поддержке tvzavr.ru 13 из 21 | Поиск нечетких дубликатов видео
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты Кадры GIST Мешок слов Дескриптор сцены
GIST
Изначально используется для поиска похожих изображений.
1. Считаем отклики детекторов краёв на 5 разных масштабахи 6 ориентациях края.
2. Получаем 33 «канала» — цвет и 30 откликов фильтров края.3. Разобиваем изображение сеткой 4× 4 на 16 ячеек.4. В каждой ячейке усредняем значения всех каналов.
19 марта 2013 г.: И. К. Никитин при поддержке tvzavr.ru 15 из 21 | Поиск нечетких дубликатов видео
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты Кадры GIST Мешок слов Дескриптор сцены
Дескриптор сцены
1. Вектор отношений длины сцены к длинам других сцен;▶ удобно сразу хранить, с объединениями соседних сцен;▶ для относительных длин по трем предыдущим — 6 вариантов.
2. Xарактеристики начального и конечного кадров:▶ или «мешки слов» начального и конечного кадров:
+ лучше соответвует предметной области,− потенциально бесконечный размер вектора гистограммы;
▶ или GIST начального и конечного кадров;+ не требует какого либо обучения,− менее точен.
19 марта 2013 г.: И. К. Никитин при поддержке tvzavr.ru 17 из 21 | Поиск нечетких дубликатов видео
Дубликаты Решения Сцены Внутри сцены Алгоритм Результаты Алгоритм Семантическое хеширование Обучаемое хеширование
Семантическое хеширование
▶ Введем бинарные подписи.
▶ Подписи для близких в L2 сцен должны быть близки.
▶ Локально чувстивтельное хеширование:1. Cлучайная проекция данных на прямую.2. Случайно выберем порог, пометив проекции 0 или 1.3. С увеличением числа бит подпись приближает L2-метрику в
исходных дескрипторах.
▶ Обучаемое хеширование.
19 марта 2013 г.: И. К. Никитин при поддержке tvzavr.ru 19 из 21 | Поиск нечетких дубликатов видео