Top Banner
> Kollaborative Annotationssysteme Kollaborative Video Annotationssysteme > Tools for teamwork video annotation
36

Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

Aug 12, 2019

Download

Documents

lenhi
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Page 1: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

> Kollaborative Annotationssysteme

Kollaborative Video Annotationssysteme> Tools for teamwork video annotation

Page 2: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

„Teamwork. Zwei Menschen mit gleichem Elan arbeiten zusammen für gemeinsames Ziel. Niemand kann so etwas schlagen... Vielleicht, außer dass drei Menschen mit gleichem Elan… „

Page 3: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

3

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

Übersicht

1.TREC/TRECVID Konferenzen2.Übersicht existierender Tools

3.VideoAnnEx System4.EVA System

5.Vannotea System6.eSports System

… Auf geht's

Page 4: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

4

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

TREC Fakten und Geschichte

> TREC: Text Retrieval Conference> Entstanden 1992> Seitdem sind viele verschiedene weiter „TRACS“

entstanden:Blogs, Enterprise, Genomics, SPAM, etc…

> 2002 : „ein gemeinsames Ground Truth System für die Evaluierung von bestehendem Videomaterial wird benötigt“

> Anfang 2003 wird die TRECVID geboren

Page 5: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

5

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

TRECVID

> TRECVID: ein 2tägiger Workshop über VIDEO

> 2003: 42 Teams aus allen Nationen arbeiten zusammen Annotiertes Videomaterial 104.5 GB(130min News and gemischtes Material in MPEG2)

> 2003: Erster Einsatz von VideoAnnEx 2.0> 2005: EVA wird herausgebracht

Page 6: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

6

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

2. Existierende Anwendungen

Page 7: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

7

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

Übersicht Einzelanwendungen

> Ricoh - MovieTool> ZGDV – VIDETO> COALA – LogCreator> LanternaMagica – Finality> Screensound Australia – Mavis> Distributed Video Production (DVP) project

> Warum nicht diese Tools benutzen? Zu kompliziert, zu spezifisch, Einzelanwender Lösungen…

Page 8: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

8

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

Kollaborative Systeme Übersicht

Microsoft Tools (Teaching):- Research Annotation System (MRAS) - Collaborative video viewing (CVV)

> Echtzeit Annotation:

Univ. of Queensland:Vannotea (FilmEd Project)

Univ. of Indiana withBeijing University.:- eSports System

> Post Annotation:

IBM Research:- VideoAnnEx 2.0- VideoAnnEx 3.0 (EVA)

Page 9: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

9

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

Kollaborative Systeme Übersicht

Page 10: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

10

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

3. IBM – VideoAnnEx 2.0

Page 11: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

11

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

IBM – VideoAnnEx 2.0

> Enstanden als standalone Anwendung in 2001> Kollaborative Anwendung seit Version 2.0> In TRECVID 03 and 04 benutzt

> Hauptkonzepte:- 3 Benutzergruppen:Manager / Group Administrator / User

- Server-Client Architektur- Automatische Szenen Segmentierung- Vordefiniertes Lexikon

> Werfen wir einen Blick auf die GUI…

Page 12: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

12

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

Page 13: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

13

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

Im Detail: Ontologie Editor

Static scene Key objectsEvents

Page 14: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

14

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

Im Detail: Administration Panel

Page 15: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

15

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

Hauptnachteile

> Voreingestelltes Video Format und Größe> Lexikon auf 3 Kategorien beschränkt> Keine hierarchische Video Segmentierung> Keine „Bulk-shot-annonatation„> Bessere Szenen Segmentierung wird benötigt

> Zwingt den benutzer alle drei Konzepte auf einmal zu annotieren.

Page 16: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

16

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

- Eine hocheffiziente GUI wird verlangt- Annotationsprozess effizient gestalten- Höhere Annotations Qualität- Statistik im Hintergrund

Wunschliste für die TRECVID 05

Der nächste Schritt…

Efficient Video Annotation (EVA) System

Page 17: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

17

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

4. IBM – Efficient Video Annotation (EVA)

Page 18: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

18

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

Efficient Video Annotation (EVA)

> Getroffene Annahmen:- sehr kleines Begriffs Lexikon (39 Begriffe)- Unbewegte Visuelle Inhalte (nur ganze Szenen)

> Architektur:- Web basiert

> Benutzer Freundlichkeit- Bulk annotation- Keyboard Steuerung möglich

> Statistik- Überprüft und Evaluiert den Annotations Prozess

Page 19: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

19

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

Page 20: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

20

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

Im Detail: Bezeichnungskonzept

2. Bezeichnung wählen

1. Konzept wählen

3. Szenen markieren

Page 21: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

21

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

Im Detail: Statistik

Screenhot: Detaillierter Statistik Bildschirm, der durch jeden Benutzer eingesehen werden kann.

Page 22: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

22

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

EVA‘s Ergebnisse

> Fragen wir EVA nach seiner eigenen Statistik:

>

> Sehr hohe Übereinstimmung> Verbesserung in Geschwindigkeit and Präzision> Sehr kleine organisatorische Kosten

EVA war ein großer Erfolg!

Page 23: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

23

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

5. Vannotea – Project FilmEd

Page 24: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

24

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

Vannotea

Stand in Konkurenz zum VideoAnnEx 2.0 System> Wurde jedoch kein tool für die TRECVID> Sehr fortgeschrittenes Projekt mit neuartiger

Architektur> Entiwckelt in der Queesnland Univ., Australia

> Haupteinsatzziele:- Australian Institute of Sports- CancerGrid- Museums (Indigenous Knowledge Management)- CyberSTEM – Networked Telemicroscopy

Page 25: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

25

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

Vannotea

> Architektur- Getrennte Metadaten Speicherung

> Komponenten:- search and retrieval Database (Dublincore)- annotation database (Annotea)- application server (.NET Remoting)- MPEG2 streaming

Page 26: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

26

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

Im Detail: Architektur

Students@ UTS

Film/Media Analyst@ Australian Centre

for Moving Image

Curator@ Screensound Australia

Students@ University of QLD

ApplicationServer

StreamingServer

Synchronous & CollaborativeIndexing, Annotation and Discussion

StreamingServer

AG

AG

AG

AG

AccessGridNodes

FilmEdApplication

VIC/RAT

Storage and Management

AV Library

AV Library

Screensound Australia

Australian Centre for Moving Image

IndexingDescription

Data

AnnotationDiscussion

Data

IndexingDescription

Data

AnnotationServer

Page 27: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

27

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

Graphical User Interface

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

Page 28: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

28

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

Im Detail: AccesGrid

> Breitband Videokonferenzen> Groß angelegt, multiple Gruppen> Interaktive kollaborative Treffen> High quality video/audio> Geringe Latenz

Page 29: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

29

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

Im Detail: .NET Remoting

Page 30: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

30

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

6. eSports System

Page 31: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

31

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

eSports System

> Hauptziele:- Die Annotierung von Echtzeit Sportveranstaltungen- Globaler Sport Unterricht

> Architektur:- Komponentensystem- Plugins sind möglich- Storage Server (RTSP)- Whiteboards

> Spezielle Architekturdetails:- Narada Brokering- GlobalMMCS- Media enrichment

> Werfen wir einen größeren Blick auf das System...

Page 32: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

32

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

Page 33: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

33

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

Im Detail: Benutzerschnittstelle

Page 34: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

34

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

In Detail: GlobalMMCS

> Konferenz Management> Unterstützt heterogene Clients> Verschiedene Endgeräte> Gateways für jedes Protocol

Page 35: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

35

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

Im Detail: Narada Brokering

> Software multicast für eine Echtzeit Kollaboration gepaart mit einem “publish-subscribe” System für asynchrone Systeme.

> Verlässliche, reihenfolge erhaltender Nachrichten Transport in einem heterogenenen Netzwerk mit TCP, UDP, SSL, HTTP

> Filterung

Minicomputer

Firewall

ComputerServer

PDA

Modem

Laptop computerWorkstationPeers

Peers

Audio/VideoConferencing Client

Audio/VideoConferencing Client

NaradaBrokering BrokerNetwork

Page 36: Kollaborative Video Annotationssystemepi4.informatik.uni-mannheim.de/pi4.data/content/courses/2006-ss/seminar/10... · @ UTS Film/Media Analyst @ Australian Centre for Moving Image

36

Kollaborative Annotationssysteme für Videos | Thomas Plotkowiak

Der Nächste Schritt…?

> Soziale Annotation> Audio / Video Blogs> Webbasierte Lösungen

> Vielen Dank für Ihre Aufmerksamkeit> Fragen?