Top Banner
1/36 Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme Daniel Westhoff [email protected] Grundlagen omnidirektionaler Sichtsysteme Oberseminar TAMS: 22. Juni 2003
36

Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

Apr 05, 2015

Download

Documents

Hermine Nessel
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Page 1: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

1/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Grundlagenomnidirektionaler Sichtsysteme

Oberseminar TAMS:

22. Juni 2003

Page 2: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

2/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Page 3: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

3/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Inspiration Biologie

omnidirektionale Sicht in der Natur:

Tag-Insekten

Nacht-Insekten

Krustentieren

Beispiel: Gigantocypris

Große Augen

Optik wie bei Teleskopen

einfallendes Licht

Lücke

Page 4: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

4/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Übersicht

1. Biologie

2. Omnivision-Systeme

3. Fixed Viewpoint Contstraint

4. Eigenschaften catadioptischer Systeme

5. Panoramabilder

6. Anwendungen in der Robotik

Page 5: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

5/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Übersicht

1. Biologie

2. Omnivision-Systeme

3. Fixed Viewpoint Contstraint

4. Eigenschaften catadioptischer Systeme

5. Panoramabilder

6. Anwendungen in der Robotik

Page 6: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

6/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Omnidirektionale Sichtsysteme

Drei unterschiedliche Systeme:

1. Fischauge-Objektiv

2. rotierende Kamera

3. catadioptrische Sichtsysteme

dioptrics → Linsen

catoptrics → Spiegel

Page 7: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

7/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Geschichte

1970: U.S.-Patent von Rees

Kamera & hyberbolider Spiegel

1990: Echtzeit-Verarbeitung der Bilddaten

konische, sphärische und hyperbolide Spiegel

1997: Theoretische Analyse von Nayar & Baker

paraboloider Spiegel mit telezentrischer Linse

Page 8: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

8/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Spiegel-Designs

Page 9: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

9/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Vor- und Nachteile

Kann das omnidirektionale Bild in ein normales

perspektivisches Bild umgewandelt werden?

Wie schmal ist der Astigmatismus?

Werden Standard-Linsen und Kameras benutzt?

Wie groß ist der vertikale Blickwinkel?

Page 10: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

10/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Übersicht

1. Biologie

2. Omnivision-Systeme

3. Fixed Viewpoint Contstraint

4. Eigenschaften catadioptischer Systeme

5. Panoramabilder

6. Anwendungen in der Robotik

Page 11: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

11/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Single Viewpoint

Projektionszentrum des Spiegels

ermöglicht geometrisch korrekte Projektionen

Zuordnung:

Intensitätswert eines Pixel ↔ Lichtstrahl aus bestimmter Richtung

Zuordnung kann vorausberechnet werden

Page 12: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

12/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Grundlage: Lochkamera

Objekt

optische Achse„Loch“

Bildebene

Bild

Mattscheibe

Page 13: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

13/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Viewpoint

Kamera

Spiegel

Viewpoint

Page 14: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

14/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Fixed Viewpoint Constraint (1)

optische Achse

Bildebene

Loch

Viewpoint v = (0,0)

z

r

c

p = (0,c)

Weltpunktz

r

r

ztan

r

zc tan

Normale

tandr

dz

+

2

Page 15: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

15/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Fixed Viewpoint Constraint (2)

Gesucht: Spiegeloberfläche z (r)

Lösung der quadratischen Differentialgleichung:

0)2()(2)2( 222

czr

dr

dzzczr

dr

dzzcr

Page 16: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

16/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Allgemeine Lösung

4

2

21

2

2

41

2222

22

22

2

ck

k

cr

cz

k

kckr

cz

)0(

)2(

k

k

Page 17: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

17/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Lösung (1)

k = 2 und c > 0

planer Spiegel:

2

cz

Page 18: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

18/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Lösung (2)

k ≥ 2 und c = 0

konischer Spiegel:

2

2

2r

kz

v (0,0) = p (0,c)

Page 19: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

19/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Lösung (3)

k > 0 und c = 0

sphärischer Siegel:

222 krz

Page 20: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

20/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Lösung (4)

k > 0 und c > 0

ellipsoider Spiegel:

11

2

1 22

2

2

r

b

cz

a ee

4

2 2ckae

2

kbe v

p

Spiegel

Bildebene

Page 21: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

21/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Lösung (5)

k > 2 und c > 0

hyperboloider Spiegel:

11

2

1 22

2

2

r

b

cz

a hh

k

kcah

2

2

k

cbh

2

2

v

p

Spiegel

Bildebene

Page 22: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

22/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Übersicht

1. Biologie

2. Omnivision-Systeme

3. Fixed Viewpoint Contstraint

4. Eigenschaften catadioptischer Systeme

5. Panoramabilder

6. Anwendungen in der Robotik

Page 23: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

23/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Auflösung catadioptrischer Systeme

v

p

Spiegel

Bildebene

Pixel

dA

d

d

d

dA

rzc

zr

d

dA

22

22

Page 24: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

24/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Unschärfe

v

Spiegel

Bildebene

Weltpunkt

f

Page 25: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

25/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Aufbau

zwei Möglichkeiten:

Glaskugel

Glasröhre

v

p

Page 26: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

26/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Reflexionen

v

p

schwarzeNadel

Page 27: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

27/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Alternative bei Reflektionen

v

paraboloiderSpiegel

CCD-Element

telezentrische Linse

Page 28: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

28/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Übersicht

1. Biologie

2. Omnivision-Systeme

3. Fixed Viewpoint Contstraint

4. Eigenschaften catadioptischer Systeme

5. Panoramabilder

6. Anwendungen in der Robotik

Page 29: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

29/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Panoramabilder

Omnidirektional Panorama

359° 180° 0°

0°180°

Page 30: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

30/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Page 31: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

31/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Page 32: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

32/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Panoramabildern

Projektion auf Zylinder

Interpolation

Nearest Neighbour

Bilineare Interpolation

Bikubische Interpolation

Filter

Vorteile bei horizontal angewandten Filtern

Page 33: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

33/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Übersicht

1. Biologie

2. Omnivision-Systeme

3. Fixed Viewpoint Contstraint

4. Eigenschaften catadioptischer Systeme

5. Panoramabilder

6. Anwendungen in der Robotik

Page 34: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

34/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Anwendungen in der Robotik (1)

Lokalisation

Snapshot-Vergleich

Feature-Extraktion (z.B. Symmetrie)

Messgerät

Drehungen

Tiefenmessung (Stereo)

Page 35: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

35/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Anwendungen in der Robotik (2)

Modellbildung

meistens Aufnahmen an mehreren Orten

danach Tiefenkarte

dann Modell

Überwachungskamera

Tracking

Page 36: Arbeitsbereich Technische Aspekte Multimodaler Systeme Universität Hamburg Fachbereich Informatik Oberseminar TAMS Grundlagen omnidirektionaler Sichtsysteme.

36/36

ArbeitsbereichTechnische Aspekte Multimodaler Systeme

Universität HamburgFachbereich Informatik

Oberseminar TAMSGrundlagen omnidirektionaler Sichtsysteme

Daniel [email protected]

Danke für die Aufmerksamkeit!