Die nichtkommerzielle Vervielfältigung, Verbreitung und Bearbeitung dieser Folien ist zulässig (Lizenzbestimmungen CC-BY-NC ). MULTIMEDIA ANALYSE- TECHNOLOGIEN Seminar Dr. Harald Sack / Jörg Waitelonis Bernhard Quehl / Haojin Yang / Christian Hentschel Hasso-Plattner-Institut für Softwaresystemtechnik Universität Potsdam Sommersemester 2012 Mittwoch, 11. April 12
Einführungsveranstaltung, Bachelor-Seminar Multimedia Analyse-Technologien, SS2012, Hasso Plattner Institut, Universität Potsdam, HPI Potsdam, Dr. Harald Sack
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Die nichtkommerzielle Vervielfältigung, Verbreitung und Bearbeitung dieser Folien ist zulässig (Lizenzbestimmungen CC-BY-NC).
MULTIMEDIA ANALYSE-TECHNOLOGIEN
SeminarDr. Harald Sack / Jörg Waitelonis
Bernhard Quehl / Haojin Yang / Christian HentschelHasso-Plattner-Institut für Softwaresystemtechnik
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
Dipl. Inform. Jörg Waitelonis
■Studium Informatik Uni-Jena bis 2006■2006-2007 Exist-Seed Projekt Osotis■ seit 2007 Gründer von yovisto.com■Entwickler von REPLAY (ETH-Zürich)■ Forschung: Semantic Web, Multimedia-Retrieval,
Seminar: Semantic Multimedia, Dr. Harald Sack et. al., Hasso-Plattner-Institut, Universität Potsdam
9
■ Projektzeitraum: 2009-2012■ effiziente Suche nach/in AV-Inhalten in Medienarchiven und Rundfunkanstalten ■ Arbeitsprozesslösung für die effiziente Erfassung, Aufbereitung und Verwertung von
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
12
How to Search in Multimedia Archives?
Mittwoch, 11. April 12
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
13
Step 1: Digitalization of analog data
Step 2: Annotation with (text based) metadata
How to Search in Multimedia Archives?
Step 3: Content based search on textual metadata
Mittwoch, 11. April 12
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
...today multimedia metadata is generated manually
Mittwoch, 11. April 12
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
15
Face DetectionIdentification
TrackingClustering
overlay text
Logo Detection
VisualConcept Analysis
Classification:StudioIndoorPerson
News Show
scenetext
Audio-Mining
structuralanalysis
AutomatedSpeech
Recognitionspeaker
identification
Multimedia Analyse-TechnologienAutomated Video Analysis
Mittwoch, 11. April 12
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
16
video
• Decomposition of time-based media into meaningful media fragments of coherent content that can be used as basic element for indexing and classification
scenes
shots
subshots
frameskey frames
Multimedia Analyse-TechnologienStructural Video Analysis
Mittwoch, 11. April 12
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
Seminar: Semantic Multimedia, Dr. Harald Sack et. al., Hasso-Plattner-Institut, Universität Potsdam
30
□Projektteams mit je 2-3 Studenten bearbeiten alle die selbe Aufgabenstellung□Termine□16./18.4.2012: Technologieeinführung
□Bild- und Videobearbeitung/-programmierung mit OpenCV□Feature Extraction - welche, wie, und wozu überhaupt?□Evaluation - wie beurteile ich mein Ergebnis objektiv?
Multimedia Analyse-TechnologienAdministratives
Mittwoch, 11. April 12
Seminar: Semantic Multimedia, Dr. Harald Sack et. al., Hasso-Plattner-Institut, Universität Potsdam
31
□Projektteams mit je 2-3 Studenten bearbeiten alle die selbe Aufgabenstellung□Termine□16./18.4.2012: Technologieeinführung□ab dem 23.4.2012: Wöchentliche Seminargruppentreffen
□Termine nach Absprache□ca. 4.6.2012: Zwischenpräsentation der Projektergebnisse□11.7.2012: Abschlusspräsentation der Ergebnisse
Multimedia Analyse-TechnologienAdministratives
Mittwoch, 11. April 12
Seminar: Semantic Multimedia, Dr. Harald Sack et. al., Hasso-Plattner-Institut, Universität Potsdam
Seminar Semantic Multimedia
32
Mittwoch, 11. April 12
Seminar: Multimedia-Analyse-Techniken, Dr. Harald Sack, Hasso-Plattner-Institut, Universität Potsdam
33Literatur
• Gibbon, D. ; Liu, Z. : Introduction to Video Search Engines. Berlin : Springer, 2008
• Bradski, G. ; Kaehler, A. : Learning OpenCV. Beijing : O'Reilly, 2008
• Blog zur Webseite:http://mumat2012.blogspot.com/