Forschungszentrum Karlsruhe Technik und Umwelt Bernd Köhler, Institut für Angewandte Informatik Statusseminar, 8.11.2001 Bilderfassung im Rahmen des Greiferbaukastens Bernd Köhler Forschungszentrum Karlsruhe Institut für Angewandte Informatik
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
Bilderfassung im Rahmendes Greiferbaukastens
Bernd Köhler Forschungszentrum Karlsruhe
Institut für Angewandte Informatik
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
Übergeordnetes System(Montagemaschine mit globalem Positioniersystem)
Schnittstelle 2.2
Optisches Sensormodul
Sch
nitts
telle
1.2
.
.
.
Schnittstelle 2.1
Schnittstelle 4
Schnittstelle 3
Greifantriebsmodul
Greifsensorik-modul
Greifkinematik-modul
Wirksystem Greifsensorik-modul
Schnittstelle 4
Greifsensorik-modul
Schnittstelle 3
Greifkinematik-modul
Wirksystem Greifsensorik-modul
Schnittstelle 2.1
Greifantriebsmodul
Schnittstelle 2.1
Positioniermodul/ Fügehilfemodul/ Fügesensorikmodul
Schnittstelle 2.1
Positioniermodul/ Fügehilfemodul/ Fügesensorikmodul
Schnittstelle 2.1
Positioniermodul/ Fügehilfemodul/ Fügesensorikmodul
Schnittstelle 2.1
Positioniermodul/ Fügehilfemodul/ Fügesensorikmodul
Justiermodul/ Trägermodul
Schnittstelle 1.1
.
.
.
Schnittstelle 2.3
Optisches Sensormodul
Aktorsteuerung/Sensorsignalverarbeitung
Direkte Verbindung
(externe Ansteuerung/
externe Versorgung)
Baukastenstruktur – Version 1.0 (10/2001)
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
Pflichtenheft Bilderfassungsmodul
Hardware:
• Sehfeld: 0,3 mm – 15 mm (Bauteile > 50 µm)
• Farbdarstellung nicht erforderlich
• Fokussierung: motorisch, möglichst automatisch
• Beleuchtung: Intensität regelbar; verschiedene Farben wünschenswert
• Tiefenschärfe: möglichst hoch bei den meisten Anwendungen; im Einzelfall kann auch eine geringe Tiefenschärfe vorteilhaft sein
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
CCD (1/4“) CCD(1/3“) CMOS(1/3“) CMOS(1/3“) CCD(1/3“)
512(H)x582(V) 500(H)x582(V) 352(H)x288(V) 352(H)x288(V) 542(H)x582(V)
18,5 x 57 40 x 40 x 27 16 x 16 x 15 21 x 21 x 10 28 x 28 x 23
23,9 g 10,8 g 2,5 g 2,5 g 9,3 g
12 V / 100 mA 12 V / 100 mA 5 V / 10 mA 5 V / 10 mA 12 V / 90 mA
DM 150,-- DM 100,-- DM 50,-- DM 40,-- DM 79,--
Technische Daten von 5 Miniaturkameras
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
Teleobjektiv
Brennweite: 12 mm Öffnungswinkel: 28° Min. Objektdistanz: ca. 50 cm Preis: 25,--
Tubus kurz
Durchmesser: 16 mm Innengewinde M12 x 0,5 Länge: 8 mm
3,1 x 2,3 mm 3,6 x 2,7 mm 6,5 x 4,8 mm 5,2 x 3,9 mm 3,5 x 2,6 mm
AA: 13 mm AA: 13 mm AA: 15 mm AA: 12 mm AA: 12 mm
Aufnahmen mit Teleobjektiv und kurzem Tubus
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
Teleobjektiv
Brennweite: 12 mm Öffnungswinkel: 28° Min. Objektdistanz: ca. 50 cm Preis: 25,--
Tubus lang
Durchmesser: 16 mm Innengewinde M12 x 0,5 Länge: 20 mm
2,0 x 1,5 mm 3,0 x 2,3 mm 5,0 x 3,8 mm 4,0 x 3,0 mm 2,4 x 1,8 mm
AA: 8 mm AA: 10 mm AA: 14 mm AA: 12 mm AA: 8 mm
Aufnahmen mit Teleobjektiv und langem Tubus
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
CMOS/CCD: - CCD-Kameras bieten besseren Kontrast bei geringer Beleuchtung- CCD-Kamera erzeugen fühlbare Abwärme- CMOS-Kameras sind leichter und kleiner- Pixelauflösung ist bei den CMOS-Kameras geringerErstes Fazit: - Miniaturkameras sind geeignet für
Beobachtungen und einfache Aufgaben (Anwesenheitskontrolle)- preiswerte Optiken aus dem Überwachungsbereich sind nicht für diese Arbeitsabstände ausgelegt (Abbildungsfehler ↑ mit ↓ Arbeitsabstand)- Qualitätsschwankungen nicht ausgeschlossen bei solchen „Billigkameras“
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
16 mm16 mm
Prototypgreifer mit integrierter Kamera
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
Videobild von der integrierten Kamera:
Teleobjektiv mit langem Tubus
Fokussiert auf Greiferbacken: Fokussiert auf Unterlage:
Videobild von der integrierten Kamera
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
Bilderfassungsmodul
Geplante Arbeiten:
• Aufbau von Bilderfassungsmodulen mit höherer Auflösung
• Aufbau geeigneter Beleuchtungseinrichtungen
• Entwurf einer geeigneten Schnittstelle (Mechanik, Spannungsversorgung, Signale)
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
Pflichtenheft BilderfassungsmodulBildverarbeitungssoftware
Erforderlich:
• Mustersuche zur Bestimmung der Bauteilposition
• Lesen von Barcodes bzw. Data Matrix Codes
• Autofokus
Wünschenswert:
• Automatische Beleuchtungseinstellung
• Korrektur der Abbildungsfehler
• Bildverbesserung aus Mehrfachaufnahmen
• Bildverbesserung aus Beleuchtungsserien
• Bildrekonstruktion aus Fokusserien
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
Weitere Funktionen: Mustersuche Markenzentren berechnen Erzeugen von Binärbildern Histogramm als Graphik Mausgesteuerte Fadenkreuze Graphische Grauwertprofile Nummerische Anzeige der Grauwerte Speichern/Lesen von Bildern Aufnahme von Bildserien
Digitales Bildverarbeitungssystem DIPLOM(Digital Image Processing Library for Microstructures)
Weitere Infos: http://www.iai.fzk.de/diplom
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
• Korrektur der Abbildungsfehler
• Korrektur von Helligkeitsfehler
Erweiterung der DIPLOM-Bibliothek
Aktuelle Arbeiten:
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
• Korrektur der Abbildungsfehler
• Korrektur von Helligkeitsfehler
Erweiterung der DIPLOM-Bibliothek
Aktuelle Arbeiten:
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
Bild mit starken Verzeichnungen
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
Bestimmung der Verzeichnung
verzeichnetes Kamerabild eines regulären Gitters mit bekanntem Gitterabstand [µm] Maßstab [µm/Pixel]
Korrekturmatrizen für x- und y-Verzeichnungen
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
Originalbild
Korrekturmatrizen fürx- und y-Verzeichnungen
Korrigiertes Bild
Korrektur eines verzeichneten Bildes
Rechenzeit zur Korrektur eines Bildes: ca. 0.4 s (Pentium II 450 MHz)
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
• Korrektur der Abbildungsfehler
• Korrektur der Helligkeitsfehler
Erweiterung der DIPLOM-Bibliothek
Aktuelle Arbeiten:
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
Bestimmung der Helligkeitsfehler
Bild einer homogen ausgeleuchteten Fläche (LED-Lichttisch)
Korrekturmatrix für die Helligkeitsfehler
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
Originalbild
Korrigiertes Bild
Helligkeitskorrektur
Rechenzeit zur Korrektur eines Bildes: ca. 80 ms, mit Histogrammausgleich ca. 300 ms (Pentium II 450 MHz)Korrekturmatrix für die
Helligkeitsfehler
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
Originalbild (ohne Helligkeitskorrektur) Binärbild
Anwendung der Helligkeitskorrektur
Grauwertschwelle: 120 Grauwertschwelle: 150
Originalbild (mit Helligkeitskorrektur) Binärbild
Grauwertschwelle: 180
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
• Korrektur der Abbildungsfehler (Weiterentwicklung)
• Korrektur der Helligkeitsfehler (Weiterentwicklung)
Erweiterung der DIPLOM-Bibliothek
Geplante Arbeiten:
• automatische Helligkeitseinstellung
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
Beteiligte Mitarbeiter: Franz EberleAndreas KilletBernd KöhlerAndreas MärzLars Nock
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
• Automatische Fokussierung• Kontrast- und Konturoptimierung
• Bildfusion aus Beleuchtungsserien
• zusammengesetzte Großformatbilder• Bildfusion aus Fokusserien
DIPLOM-Funktionen für Mikrostrukturen
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
Das Programm berechnetin ca. 0,04 s einen Fokuswert
Automatische Fokussierung
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
Je höher die Bildschärfe wird,umso größer wird dieser Fokuswert
Automatische Fokussierung
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
GutGut
fokussiert
fokussiert
Automatische Fokussierung
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
KontrastverstärkungKontrastarmes Bild wegen geringer Beleuchtung
Histogramm-ausgleich
Mittelwertbildung(50 Aufnahmen)
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
KonturoptimierungAufnahme gut ausgeleuchtet
Mittelwertbildung(50 Aufnahmen)
Lokale Konturoptimierung
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
Einzelaufnahmen mit jeweils 768x572
Panoramabild (2200 x 1130)
Zusammengesetzte Großformatbilder
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
Bildrekonstruktion aus Fokusserien
Fokusserie
Rekonstruiertes Bild
Höhenkarte
Forschungszentrum KarlsruheTechnik und Umwelt
Bernd Köhler, Institut für Angewandte InformatikStatusseminar, 8.11.2001
Fusion aus Bild 1 - 4
Bildrekonstruktion aus Beleuchtungsserien
Bild 1
Bild 4