Tougnel liris lyon

Laboratoire d'InfoRmatique en Image et Systèmes d'information LIRIS UMR 5205 CNRS/INSA de Lyon/Université Claude Bernard Lyon 1/Université Lumière Lyon 2/Ecole Centrale de Lyon

http://liris.cnrs.fr

Indexation automatique d’images et de vidéos

Laure Tougne, Serge Miguet

29 septembre 2014 1

Plan de la présentation

!  Le LIRIS, l’équipe IMAGINE !   Indexation automatique ou semi-automatique !  Des exemples � Le projet AMRIA : aide à l’indexation de grands corpus

audio-visuels � L’ANR ReVeS : indexation et reconnaissance d’arbres et

arbustes à partir de leurs feuilles

2 Laure Tougne 29/09/14

Deux mots sur le LIRIS et sur l’équipe IMAGINE…

16 juin 2014 3

Laboratoire d’InfoRmatique en Image et Systèmes d’Information

!   5 tutelles �  CNRS (UMR5205) �  INSA de Lyon �  Université Lyon 1 �  Université Lyon 2 �  ECL !   3 implantations physiques �  Villeurbanne �  Bron �  Ecully

http://liris.cnrs.fr


Quelques chiffres …

!   262 membres : �  118 enseignants-chercheurs, 6 chercheurs (5 CNRS, 1 INRIA) �  17 personnels administratifs et techniciens (en équivalent temps

plein) �  121 doctorants, 11 post-docs �  Une moyenne de 30 thèses soutenues chaque année

!   Un budget annuel d’environ 2M€/an (non consolidé) : �  10% soutien de base �  12% programmes (région, Europe, organismes) �  5% contrats industriels �  73% ANR

Laure Tougne 29/09/14 5

D’un point de vue scientifique

!   Champ scientifique : Informatique / Sciences et Technologies de l’Information

!   6 pôles de compétences reconnus au niveau international �  Vision intelligente et reconnaissance visuelle �  Géométrie et modélisation �  Data Science (Science des données) �  Services, Systèmes distribués et Sécurité �  Simulation, virtualité et sciences computationnelles �  Interactions et cognition ! Savoir-faire au service de la société en liaison étroite avec les

disciplines Ingénierie, Sciences Humaines et Sociales, Science de l’Environnement et Science de la vie


Organigramme


Equipe Imagine

!   Analyse et le traitement automatique ou semi-automatique des médias visuels (images, vidéos, objets 3D)

!   Objectifs �  Une meilleure compréhension et interprétation du contenu ; �  La reconnaissance, voire de l'identification de certains objets d'intérêt ; �  l'indexation intelligente qui faciliterait l'accès à des masses de

données ; �  la compression & transmission & stockage avec de nouveaux modèles ! Des domaines applicatifs nombreux, dont �  Multimédia �  Documentique �  Vidéosurveillance �  L’environnement �  La pédagogie


Indexation automatique ou semi-automatique

L. tougne 9

Recherche d’images par le contenu

10

Comparateur

Calcul de signature

Base d’images Base de signatures

Calcul de la

signature

Requête

Images de la base similaires

à la requête

IND

EX

ATIO

N

RE

CH

ER

CH

E

Laure Tougne 29/09/14

Segmentation

Segmentation

Segmentation

!   Extraction de l’objet d’intérêt �  Automatique / Semi-automatique

�  Basée contours / régions �  Basée couleur / texture / mouvement �  Avec ou sans a priori


Extraction de caractéristiques (1) !   Descripteurs génériques de formes �  Mesures géométriques « simples » (aire, périmètre, diamètre,

aspect ratio, compacité, etc.) �  Caractérisation géométriques du contour (CSS-contour, HoCS, etc.)

�  Descripteurs statistiques de forme (moments, inner-distance shape

context (IDSC), etc.)


Extraction de caractéristiques (2)

!   Descripteurs spécifiques de formes �  Un exemple : feuilles d’arbres


•  Position relative du centre •  Largeur maximale relative •  Longueur relative des côtés •  Angle à la base •  Angle à l’apex •  Nombre de lobes •  Longueur et angle de chaque paire de lobes

Extraction de caractéristiques (3) !   Descripteurs de contextes locaux �  Sur l’objet segmenté ou sur l’image entière �  Objectif : extraire des descripteurs sur des points caractéristiques

afin de les retrouver sur des vues quasi-similaires

�  Exemples : descripteurs SIFT, SURF, etc.


Extraction de caractéristiques (4) !   Couleur et texture �  Histogramme dans divers espaces (RGB, HSL, L*a*b) �  Bins groupés, n bins les plus représentés, Bag-of-colors

�  Ondelettes de Gabor, Local Binary Pattern (LBP), champs aléatoire de Markov (MRF).


Comparateur

!   Comparaison et recherche d’images par le contenu �  Exemple : plus proche voisin �  Associer à l’exemple proposé, l’exemple de la base le plus

ressemblant ou le représentant de la base le plus ressemblant à Souvent métrique spécifique à la signature à Grand nombre de comparaisons

! Méthodes de classification automatique �  Entraîner un système prenant en entrée un ensemble d’attributs et

donnant en sortie une information de classe �  Exemples : réseaux de neurones, support vector machines (SVM),

forêts aléatoires, etc.

!   La performance repose sur la pertinence des descripteurs


Des exemples…

L. Tougne 17

Le projet AMRIA :

Analyse du Monde Rural par l’Image animée

L. Tougne 18

Le Projet AMRIA Analyse du Monde Rural par l’Image Animée

!   AMRIA : Projet du BQR Lyon 2 : 2011-2013 �  Porteur : Edouard Lynch, Laboratoire d’Etudes du Monde Rural �  Partenaires : �  Mihaela Scuturici, Serge Miguet, LIRIS �  Béatrice Maurines, Centre Max Weber �  Christian Dury, ISH

�  Objectifs �  Collecte de données en provenance de différentes institutions

dépositaires �  Expérimentation d’outils logiciels d’aide à l’indexation des images


Aide à l’indexation audiovisuelle du monde rural

�  Stage de Clémence LOP sous la direction de Serge Miguet (2012) �  Détection de visages �  Détection / Reconnaissance de textes

�  Stage de Van-Hau Phan sous la direction de Serge Miguet (2013) �  Classification Artificiel / Naturel �  Classification Intérieur / Extérieur


Aide à l’indexation de grands corpus audio-visuels

L. Tougne 21

Stage de Clémence Lop Stage de fin d’études, IUT de Valence

mars 2012-juin 2012

Exemple de documents (source : INA)

22

C’est arrivé en Limousin…

Campagnes Françaises


Advene : un logiciel libre pour l’annotation de séquences vidéos


Exemple d’annotations automatisables : Classification du « type de scènes »

!   Intérieur / extérieur

!  Naturel / artificiel

!  Jour / nuit

!  Présence d’animaux / de machines

!  Caractérisation du mouvement

!  Présence de visages


Exemple de réalisation : détection de visages

25

Vrai Positif Faux Positif


Prise en compte de la cohérence temporelle : Sensibilité / Spécificité


Autres contributions réalisées pendant le stage

!  Détection des changements de plans

!  Détection des silhouettes humaines

!  Détection des zones de texte

!  Retranscription grâce à la reconnaissance optique de caractères


Aide à l’indexation de grands corpus audio-visuels

L. Tougne 28

Stage de Van-Hau PHAN Stage de 3ème année d’école

INSA de Lyon, département Informatique

Juin 2013 – Septembre 2013

Catégorisation de vidéos

!   Trois séquences utilisées �  La Terre est leur problème �  La Maison du Vigneron �  C’est arrivé en Limousin

!   Création manuelle de deux pistes d’annotation : �  Naturel – Artificiel �  Intérieur – Extérieur

!   Recherche d’indices visuels permettant de reproduire automatiquement les annotations

�  Sur les données d’apprentissage �  En généralisation, sur des données non-apprises


Classification entre Scène Artificielle / Scène Naturelle

!   Une scène artificielle contient des objets construits par l’homme �  Présence importante d’éléments géométriques �  Lignes droites �  Eléments anguleux �  Textures régulières (ou uniformes)

!   Une scène naturelle contient des éléments irréguliers �  Formes �  Texture granuleuse


Boîte à outils, pour mettre en œuvre ces idées

!   Détection des lignes de contraste �  Filtre de Canny !   Détection des alignements �  Transformée de Hough !   Caractérisation de la régularité des

textures �  Local Binary Patterns (LBP)


Bonne détection de scène artificielle (1/2)


Bonne détection de scène artificielle (2/2)


Bonne détection de scène naturelle


Exemple de mauvaise classification (1/2)


Exemple de mauvaise classification (2/2)


Le projet ANR REVES :

Reconnaissance de Végétaux pour des Interfaces

Smartphones

L. Tougne 37

Contexte

!   Constats �  Urbanisation + attrait pour les nouvelles technologies à  l’homme méconnaît de plus en plus son environnement

�  De nos jours : tout le monde possède un Smartphone à  outil intégrant de nombreuses fonctionnalités !   Projet ReVeS : utiliser cet outil pour (ré)apprendre à l’homme à

connaître les végétaux qui l’entourent !   Partenaires : �  LIRIS (Lyon) : traitement d’images et de vidéos �  EVS (St Etienne) : connaissances phytogéographiques / étude des

usages �  LISTIC (Annecy) : fusion des données !   Autres participants ➠ Base de données botaniques – Société Linéenne de Lyon ➠ Contraintes liées au matériel / portage –Société Trydéa


Scénario typique

Une personne, lors d'une promenade, prend une photo / vidéo d'une plante (feuille(s) et éventuellement fleur(s)) avec son smartphone afin d’obtenir des informations à son sujet.


Schéma du scénario


Une approche pour un outil pédagogique

!   Public visé : non spécialistes !   Combiner des données images avec d’autres données !   Sortie : �  Une liste d’espèces probables �  Pouvoir expliquer ce qui a conduit à reconnaître


Quelques Résultats

Feuilles Simples Base Pl@ntLeaves I (5668 photos, 80 espèces extraites)

85% dans les 5 premières réponses

Feuilles composées Base Pl@ntLeaves II (1140 photos, 17 espèces extraites)

86% dans les 5 premières réponses


Folia sur l’App Store et le Google store


Merci pour votre attention !

L. Tougne 44

[email protected]

Tougnel liris lyon

Presentations & Public Speaking