Objekterkennung mit SIFT-Merkmalenubicomp/projekte/master09-10... · Problemstellung SIFT-VerfahrenZusammenfassung und Ausblick Objekterkennung mit SIFT-Merkmalen Carsten Fries Hochschule

Problemstellung SIFT-Verfahren Zusammenfassung und Ausblick

Objekterkennung mit SIFT-Merkmalen

Carsten Fries

Hochschule für Angewandte Wissenschaften Hamburg

06. Januar 2010

Carsten Fries



Gliederung

Problemstellung

SIFT-VerfahrenDetektion robuster SIFT-MerkmaleMerkmalsvergleich zur Identifikation von Gegenständen

Zusammenfassung und Ausblick

Carsten Fries



Problemstellung



Carsten Fries



Katana-Greifarm

I 6 FreiheitsgradeI Tätigkeitsradius beträgt 60cmI Maximale Nutzlast von 500gI Bewegungsgeschwindigkeit von 90◦/s = 1 m/sI 4kg BasisgewichtI Montierter Winkelgreifer:

I InfrarotsensorenI KraftsensorenI LeitfähigkeitssensorenI Encoder für die Greiferöffnung

Bildquelle: (Neuronics AG, 2009)

Carsten Fries



Ziel des Katana-Greifarmes

I Der Katana-Greifarm sollGegenstände:

I IdentifizierenI LokalisierenI AnfahrenI GreifenI Manipulieren

Bildquelle: (Benjamin Wagner, 2009)

Carsten Fries



Ziel des Katana-Greifarmes

I Der Katana-Greifarm sollGegenstände:

I IdentifizierenI LokalisierenI AnfahrenI GreifenI Manipulieren

Bildquelle: (Benjamin Wagner, 2009)

Carsten Fries



Ziel für AW1

I Identifikation eines GegenstandesI Die Kameradaten werden einmal ausgewertet

I Identifikation anhand eines KamerabildesI Jedes Kamerabild enthält robuste Merkmale

I Identifikation anhand robuster Merkmale

Carsten Fries



Ziel für AW1

I Identifikation eines GegenstandesI Die Kameradaten werden einmal ausgewertet

I Identifikation anhand eines KamerabildesI Jedes Kamerabild enthält robuste Merkmale

I Identifikation anhand robuster Merkmale

Carsten Fries



Problemstellung



Carsten Fries



Scale-invariant feature transform (SIFT)

I Sucht robuste Merkmale mitInvarianz gegenüber:

I TranslationI RotationI SkalierungI Änderung der LichtverhältnisseI (Teilweise) Affiner Verzerrung

Carsten Fries






Carsten Fries






Carsten Fries






Carsten Fries






Carsten Fries






Carsten Fries



Detektion robuster SIFT-Merkmale

Problemstellung



Carsten Fries




Schritt 1/4: Suche nach potentiellen robustenMerkmalen

I Erzeuge Gauss-Pyramide aus fortlaufend stärkergeglätteten Abbildungen

I Invarianz gegenüber Skalierung

Bildquelle: (Sebastian Heymann, 2005)

Carsten Fries





I Vorgang n-mal mit jeweils um 50% verkleinertenAbbildungen durchführen

I Ausgangsbild: Letzte Abbildung aus der vorherigenPyramide

I Bildverkleinerung: Jeder zweite Pixel in x- und y-RichtungI Keine Pixelinterpolation nötig


Carsten Fries





I Erzeuge „Difference-of-Gaussian (DoG)“-PyramidenI Subtraktion zweier benachbarter Abbildungen der

Gauss-Pyramide


Carsten Fries





I Finde minimale und maximale PixelwerteI Maximum: Alle 26 benachbarten Pixel sind kleinerI Minimum: Umgekehrter FallI Extremwert = Potentieller Merkmalspunkt

Bildquelle: (David G. Lowe, 2004)

Carsten Fries




Schritt 2/4: Filterung und exakte Lokalisierungpotentieller Merkmalspunkte

I Alle Extremwerte sind MerkmalskandidatenI Stabilitätsanalyse

I Kontrast (Rauschunterdrückung)I Klassifikation in EckenI Homogenen RegionenI Kanten

I Stabilitätseigenschaften erfülltI Bestimme exakte Position und Skalierung

Bildquelle: (Marco Mengelkoch, 2008)

Carsten Fries









Carsten Fries









Carsten Fries




Schritt 3/4: Bestimme Hauptorientierung zu jedemverbliebenden Merkmalspunkt

I RotationsinvarianzI Berechnet mit umliegenden Bildgradienten seines

gaussgefiltertem BildesI Gradient kennzeichnet die Richtung des größten

HelligkeitsanstiegsI Länge m(x, y)

I Orientierung θ(x, y)


Carsten Fries





1. Umgebungsgradienten berechnen2. Gradientenorientierungen θi gewichten

I Jeweilige Gradientenlänge miI Größere Gradientenlängen stärker bewerten

I Gewichtungsfaktor kI Äußere Bereiche der 360◦-Umgebung gedämpft einbeziehen

Carsten Fries





3. Histogramm anhand der gewichteten Orientierungen θgiund den jeweiligen Gradientenlängen aufbauen

I 36 Winkelbereiche (Klassenbreite beträgt 10◦)

I Gradientenlängen anhand ihrer gewichteten Orientierungaufaddieren

Bildquelle: (Andreas Roncat, 2005)

Carsten Fries





4. Merkmalsorientierung = Größte Gradientenlänge mmax

Bildquelle: (Andreas Roncat, 2005)

Carsten Fries




Schritt 4/4: Erzeugung der MerkmalsvektorenI Merkmal wird beschrieben durch:

I Bildposition (x , y)I Hauptorientierung (Definiert die Merkmalsregion)

I Merkmalsvektor (Beschreibt die Merkmalsumgebung)

I Relativ zur HauptorientierungI Zweck: MerkmalsvergleichI Synonym: Deskriptor

Bildquelle: (Fabian Zimmermann, 2007)Carsten Fries




Schritt 4/4: Erzeugung der Merkmalsvektoren

I Berechnung eines 4x4x8 = 128-dimensionalen Deskriptors

I Ähnlich der HauptorientierungsberechnungI 4x4 = 16 Orientierungshistogramme

I Decken jeweils eine gleich große Fläche abI 8 Winkelbereiche (Klassenbreite beträgt 45◦)

Carsten Fries




Schritt 4/4: Erzeugung der MerkmalsvektorenI Abstrakter 2x2x8-dimensionaler Deskriptor

I 20x20 PixelumgebungI Vier Subregionen mit jeweils 10x10 Pixeln

Bildquelle: (Alexej Schatz, 2006)

Carsten Fries




Schritt 4/4: Erzeugung der MerkmalsvektorenI Realistischer 2x2x8-dimensionaler Deskriptor

I 8x8 PixelumgebungI Vier Subregionen mit jeweils 4x4 PixelnI Beleuchtungsinvarianz

I Gradientenbetrag des Deskriptors auf Einheitslänge normierenI Normierung: Division durch seine Länge

I Kontrastveränderung bewirkt eine gleichmäßige Erhöhung aller Gradientenbeträge

Bildquelle: (Anatoli Barski:, 2007)Carsten Fries




Schritt 4/4: Erzeugung der MerkmalsvektorenI Realistischer 2x2x8-dimensionaler Deskriptor

I 8x8 PixelumgebungI Vier Subregionen mit jeweils 4x4 PixelnI Beleuchtungsinvarianz

I Gradientenbetrag des Deskriptors auf Einheitslänge normierenI Normierung: Division durch seine Länge

I Kontrastveränderung bewirkt eine gleichmäßige Erhöhung aller Gradientenbeträge

Bildquelle: (Anatoli Barski:, 2007)Carsten Fries




Zusammenfassung: Ablauf einer MerkmalsextraktionEingangsbild

(1a) Gauß-Pyramiden (1b) DoG-Pyramiden

(3) Gradienten-Pyramiden (1c) Potentielle Merkmale

(3) Hauptorientierungen (4) Deskriptoren

Betrags-Pyramiden

Orientierungs-Pyramiden

Carsten Fries



Merkmalsvergleich zur Identifikation von Gegenständen

Problemstellung



Carsten Fries




Merkmalsvergleich zur Identifikation vonGegenständen

I Voraussetzung: Merkmalsmenge der Gegenstände (Initial)

I Vergleich erfolgt anhand der Merkmalsvektoren (Deskriptoren)

I Zwei typische VerfahrenI Euklidischer AbstandI Suchbaum

Carsten Fries




Merkmalsvergleich auf Basis des euklidischenAbstandes

I Nächster Nachbar = Kleinster euklidischer AbstandI Euklidischer Abstand zwischen zwei Vektoren V1 und V2

I

√∑Ni=1 (V1i − V2i )

2

I N = Länge der Vektoren

I „Brute Force“-AnsatzI Nachteil: Aufgrund der hohen Vektordimension sehr

zeitintensiv

Carsten Fries




Verbesserte Korrespondenzsuche mit einemSuchbaum

I Aufbau eines k-dimensionalen BaumesI Binärer Suchbaum der Tiefe tI Teilt den Raum in 2t UnterräumeI Knoten gliedert zwei Unterräume auf seine zwei

Nachfolgerknoten aufI Blätter des Baumes = DeskriptorenI Maximaltiefe von log2 n (n = Anzahl Merkmale)

Carsten Fries




Zusammenfassung: Ablauf einer Objektidentifikation

Carsten Fries




Bsp.: Erfolgreiche MerkmalsübereinstimmungI Dargestellt:

8 von 851 richtigen Merkmalsübereinstimmungen

Carsten Fries



Problemstellung



Carsten Fries




I Erstes SemesterI Anwendungen 1: Identifikation mit SIFT

I Zweites SemesterI Projekt 1: Umsetzung + Evaluierung von AW1

I Anwendungen 2: Lokalisierung

I Drittes SemesterI Projekt 2: Umsetzung + Evaluierung von AW2

I Seminar: Kombinierter Ansatz (Fries + Wagner)

I Viertes SemesterI Umsetzung + Evaluierung vom Seminar

I (Greifen + Verschieben von Gegenständen)

Carsten Fries











Carsten Fries











Carsten Fries











Carsten Fries



für Ihre Aufmerksamkeit!

Carsten Fries


Objekterkennung mit SIFT-Merkmalenubicomp/projekte/master09-10... · Problemstellung SIFT-VerfahrenZusammenfassung und Ausblick Objekterkennung mit SIFT-Merkmalen Carsten Fries Hochschule

Documents