Analysis and integration of Web 2.0 data sources into a ...homepages.uni-paderborn.de/wilke/files/bachelor/thesis/Adrian-Wilk… · III. Web 2.0 Netzwerke als Datenquellen Analyse

Analysis and integration of Web 2.0 data sourcesinto a system for analysis and storage of

Artefact-Actor-Networks

Adrian Wilkewilke@[REMOVE]campus.upb.de

09. September 2010

Zielsetzung der Bachelorarbeit

Aus der Zielvereinbarung:

I Datenquellen fur Artefact-Actor-Networks System

I Ontologien definieren

I Crawler- und Parser-Komponenten entwickeln

Konkrete Arbeitsschritte:

I Relevante Daten?

I Nutzbare Schnittstellen?

I Einbettung Ontologie?

I Konzeption & Implementierung Komponenten

AAN: Analysis and integration of Web 2.0 data sources 2

Zielsetzung der Bachelorarbeit

Aus der Zielvereinbarung:

I Datenquellen fur Artefact-Actor-Networks System

I Ontologien definieren

I Crawler- und Parser-Komponenten entwickeln

Konkrete Arbeitsschritte:

I Relevante Daten?

I Nutzbare Schnittstellen?

I Einbettung Ontologie?

I Konzeption & Implementierung Komponenten

Ubersicht

Ubersicht Vortrag

I. Artefact-Actor-NetworksVorstellung des Konzepts

II. DatenformateWie werden Daten abgelegt?

III. Web 2.0 Netzwerke als DatenquellenAnalyse von Delicious, SlideShare und Scribd

IV. AAN FrameworkVorstellung des Systems

V. Entwickelte KomponentenNetzwerke durchlaufen, Daten-Extraktion und -Speicherung

VI. Ergebnisse und AusblickAktuelle und zukunftige Projekte

Vorstellung AAN I. Artefact-Actor-Networks

I. Vorstellung Artefact-Actor-Networks (AAN)

Artefact-Actor-Networks - Was steckt dahinter?

I Dokumentennetzwerkeeinfaches Beispiel: Verlinkte Webseiten

I Soziale NetzwerkeIn Organisationen oder auch im Web (Facebook)

I Ansatz: Zusammenschluß beider NetzwerkartenNeue (indirekte) Verbindungen

Dokumentennetzwerke I. Artefact-Actor-Networks

Konsolidierung von Dokumentennetzwerken

Network of documentsNetwork in World Wide Web Consolidated artefact network I

Website A

Website B

Document C

Document D

(1) (2) (3)

Consolidated artefact network IINetwork with bookmarksConsolidated artefact network I

Website B

Bookmark E

(1) (2) (3)

Soziale Netzwerke I. Artefact-Actor-Networks

Konsolidierung sozialer Netzwerke

Consolidated actor networkActor network of company Private actor network

Person X

Person Y

Person X

Person Z

Person X

Person Y

(1) (2) (3)

Verbindung uber berufliches und privates Umfeld von Person X

Konsolidierung I. Artefact-Actor-Networks

Konsolidierung beider Netzwerkarten

Consolidated artefact network II Consolidated actor network

Typen semantischer Relationen

Semantische Relationen I. Artefact-Actor-Networks

Semantische Relationen zwischen Akteuren

I Zusammenschluß der verschiedenartigen Netzwerkarten:3 Typen von semantischen Relationen

isRelatedBy : ACT²

Actor ZActor XActor Y

relates : ACT²

isInBuddyList : isRelatedBy : ACT²

hasInBuddyList : relates : ACT²

I Eigenschaften in Abbildungen:Vererbung, Inversion

I Standards, Vokabularien: FOAF, RELATIONSHIP

Relationen zwischen Artefakten,Relationen zwischen Akteuren und Artefakten

I Standards, Vokabularien: Dublin Core, SIOC

Website A Website B

linksTo : references : ART²

Document C

references : ART²

hasLink : isReferencedBy : ART² isReferencedBy : ART²

Bookmark QActor Y

hasBookmarker : ART-ACT

bookmarkerOf : ACT-ART

Relationen zwischen Artefakten,Relationen zwischen Akteuren und Artefakten

I Standards, Vokabularien: Dublin Core, SIOC

Website A Website B

linksTo : references : ART²

Document C

references : ART²

hasLink : isReferencedBy : ART² isReferencedBy : ART²

Bookmark QActor Y

hasBookmarker : ART-ACT

bookmarkerOf : ACT-ART

Stand der Dinge I. Artefact-Actor-Networks

Stand der Dinge

I Nutzen und Mehrwert durch lokalen Zugriff undneu erschließbare Verbindungen

I Wolfgang Reinhardt et al.: Artefact-Actor-Networks

I Tobias Varlemann: Konzeption und Entw. ArchitekturAußerdem: Twitter, HTML

I Matthias Moi: Anwendung im Kontekt von WikisAußerdem: Semantische Ahnlichkeit (SemSim)

I Zusammen mit ihnen:”Modeling, obtaining and storing data

from social media tools with Artefact-Actor-Networks“,ABIS 2010 Workshop, 4.-6. Oktober in Kassel

Datenformate II. Datenformate

II. Datenformate

Bisher: Konzept von Artefact-Actor-Networks X

Aber: Speicherung semantisch angereicherter Daten?

Drei aufeinander aufbauende Formate: RDF, RDFS, OWL

RDF II. Datenformate

Resource Description Framework (RDF)

I Tripel: Subjekt,Pradikat, Objekt

I Subjekt: Resource(URI oder Blank Node)

I Pradikat: Resource,keine Blank Nodes

I Objekt: Resource oderLiteral

http://www.cs.uni-paderborn.de

http://ddi.uni-paderborn.de

http:/ /www.terms.example.org/has-working-group

Didactics of Informatics

http://purl.org/dc/elements/1.1/descript ion

Terminologie: Ressource hat Eigenschaft mitEigenschafts-Beschreibung

Reprasentation von Informationen X Semantische Beschreibung?

RDFS II. Datenformate

RDF Schema (RDFS)

Zur Definition von Ontologien

University

Corporation

rdfs:subClassOf

hasEmployee

Person

rdfs:domain rdfs:range

Ontologie (im Kontext des Semantic Web):Terme zur Beschreibung und Reprasentation eines Wissensgebiets.Bereitstellen von Beschreibungen der Konzepte Klasse, Beziehung,Eigenschaft.

OWL II. Datenformate

Web Ontology Language (OWL)

Reprasentation der Bedeutung von Termen in Vokabularienund den Beziehungen zwischen solchen Termen.

Hatten wir das nicht gerade?

Ja, aber OWL kann mehr, z.B.:

I Inversion,

I Transitivitat,

I Symmetrie,

I Beschrankungen in der Kardinalitat ...

Die AAN Ontologie basiert auf OWL.

AAN Ontologie (Version 2) II. Datenformate

AAN Grundontologie

<!– http://AAN/AANBase#bookmarkerOf –><owl:ObjectProperty rdf:about=”http://AAN/AANBase#bookmarkerOf”><rdfs:subPropertyOfrdf:resource=”http://AAN/AANBase#act art”/></owl:ObjectProperty>

AAN := artefact-actor-networks.net/ontologies/2010/03

Ubersicht Ontologie

Web 2.0 Datenquellen III. Web 2.0 Netzwerke als Datenquellen

III. Netzwerke als Datenquellen

Bisherige Grundlagen:

I Artefact-Actor-Networks Konzept X

I Ablage von semantischen Daten X

Welche Daten der Netzwerke sind relevant?

Kriterien fur Daten

I Relevanz fur AAN

I Offentliche Daten

I Statische Eingenschaften

I Konsistente Nutzung

Verfugbare Datentypen

I Klassen

I Relationen

I Eigenschaften

Kriterien fur Daten

I Relevanz fur AAN

I Offentliche Daten

I Statische Eingenschaften

I Konsistente Nutzung

Verfugbare Datentypen

I Klassen

I Relationen

I Eigenschaften

Delicious III. Web 2.0 Netzwerke als Datenquellen

Delicious: Social Bookmarking

Delicious III. Web 2.0 Netzwerke als Datenquellen

SlideShare III. Web 2.0 Netzwerke als Datenquellen

Scribd III. Web 2.0 Netzwerke als Datenquellen

Dokumentennetzwerke III. Web 2.0 Netzwerke als Datenquellen

Schnittstellen III. Web 2.0 Netzwerke als Datenquellen

Schnittstellen der Netzwerke

Kriterien fur Schnittstellen

I Offentlich zugangliche Daten

I Alle zuvor gewahlten Daten

I Moglichst keine storenden Restriktionen

I Moglichst strukturierte Daten

Schnittstellen: Delicious III. Web 2.0 Netzwerke als Datenquellen

Schnittstellen: Delicious

I API: Zugriff personlicher Daten (Login)I Feeds: Beschrankungen

I 1 Aufruf pro SekundeI Maximal 100 zuruckgegebene Bookmarks

I HTML: Nicht strukturiert

Offentlich Strukturiert

API - XFeeds X XHTML X -

Genutzte Delicous Feeds (10/23)

URLTag(s)

Tag(s)

Actor(s)

Tag(s)

URL(s)

Tag(s)

bmPopularByTag

bmByTags

bmByUrl

bmByUser

bmByUserAndTags

networkFans

networkMembers

tagsByUser

tagsByUserAndTags

urlInfo URL

Bookmarks

Input classes Output schemesFeed patterns Output classes

Schnittstellen: SlideShare

Artefact

KeywordActor

get_user_contacts(username)

get_slideshows_by_user(username)get_slideshows_by_tag(tag)

Query ID | URL

search_slideshows(query) get_slideshow(id | url)

API method

XML Response

API:4 von 13 Methodendecken Bedarfsemantischer Daten

HTML:Zusatzlich furVolltexte undKategorien

Schnittstellen: Scribd

Artefact

KeywordActor

docs.search(@tag)

docs.search(query)

API method

HTML parser

Keywordsof Artefact

API:1 von 24 Methodenliefert verwendbareDaten

HTML:Fur zusatzlichenBedarf

AAN Framework IV. AAN Framework

IV. Das AAN Framework

Wir kennen:

I Artefact-Actor-Networks Konzept X

I Ablage von semantischen Daten X

I Daten in Netzwerken X

Jetzt wird es praktischer: Das AAN Framework

I Grundlage: Die OSGi Service Platform (Java)

I Architektur des AAN Frameworks

I In Arbeit entwickelte Komponenten

OSGi IV. AAN Framework

OSGi Service Platform

I Spezifikation der OSGi Alliance

I Verschiedene Implementationen,u.a. Equinox (Eclipse Foundation)

I Java-basiert → Portabilitat

I Abhangigkeitsmanagement operiert auf Versionierung

I Bundles: Ressourcen und Klassen

I Statischer Export oder

I dynamisch angebotene ServicesImplementierungen von Interfaces,registriet bei Service Registry

AAN Framework IV. AAN Framework

Architektur AAN Framework

Entwickelte Komponenten V. Entwickelte Komponenten

V. Entwickelte Komponenten

Bisher behandelt:

I AAN Konzept X

I Semantische Daten X

I AAN Framework X

Nun zu den entwickelten Komponenten.

Fur jede der 3 Datenquellen war zu entwickeln:

I Crawler Komponente

I Parser Komponente

Entwickelte Komponenten V. Entwickelte Komponenten

Entwickelte OSGi Bundles

Crawler Komponenten:

I Schnittstellen: Webservice, Observierung, Job Behandlung

I Durchlaufen der Netzwerk-Strukturen

Parser Komponenten:

I Schnittstellen: Parsen moglich? Parsen.

I Extraktion relevanter Daten

I Speicherung im Modell

I Erstellen von Folgeauftragen

Workflows V. Entwickelte Komponenten

Workflows Crawling Komponenten

Workflow Scribd Parser

Workflow Delicious Crawler Manager

Ergebnisse und Ausblick VI. Ergebnisse und Ausblick

VI. Ergebnisse und Ausblick

Behandelt wurden:

I AAN Konzept X

I Semantische Daten X

I AAN Framework X

I Entwickelte Komponenten X

Abschließend eine Ubersicht der Ergebnisse und ein Ausblick

Ergebnisse VI. Ergebnisse und Ausblick

Ergebnisse

I Komplette Daten Ontologie aus allen Netzwerken X

I Vollstandige Ergebnisse fur SlideShare und Scribd X

I Volltexte fur Delicious und SlideShare X

I Keine Volltexte aus Scribd(Optionale Anforderung in der Zielvereinbarung)In Zukunft: Daten aus PDFs extrahieren?

I Keine vollstandigen Ergebnisse fur DeliciousWarum?

Beschrankungen Delicious Feeds

Delicious Analyse Fallbeispiel

I Job: Delicios Tag”fsln10“

I Es gibt 387 BM von 12 Akteuren,384 BM ohne Doppel-Eintrage

I Job mit rekursiven Anfragen, interner Tiefe 1 (ca. 25 Minuten)

I 630 Artefakte von 7 Akteuren wurden gecrawlt

I Das sind 327 BM(grep -o http://delicious.com/url/ artefact-list.xml | wc -w)

I Job mit rekursiven Anfragen, interner Tiefe 2

I 733 Artefakte von 10 Akteuren wurden gecrawlt

I Das sind 383 BM

Delicious Analyse Fallbeispiel

Benutzer Webseite Job 1 Differenz Job 2 Differenzjul. 120 120 0 120 0wol. 126 126 0 126 0syw. 97 52 45 96 1seb. 9 9 0 9 0Den. 12 12 0 12 0rol. 1 1 0 1 0

mey. 7 7 0 7 0chr. 1 0 1 1 0eva. 10 0 10 10 0dig. 2 0 2 1 1moi. 1 0 1 1 0cwa. 1 0 1 0 1

Gesamt 387 327 60 383 3 oder 4

Ausblick VI. Ergebnisse und Ausblick

Ausblick

I Analyse: Auswertung zu Delicious und Slideshareim Journal of Computer Science and Technology(Beitrage bis 1. Oktober 2010)

I Aktive Weiterentwicklung Visualisierung und Analyse imFachgebiet DDI

I Projektgruppe: knowAAN Voraussichtlich im WS 2010/11

I Seminar: Future Social Learning Networks im WS 2010/11

Fazit VI. Ergebnisse und Ausblick

Personliches Fazit

Wissen in verschiedenen Bereiche erworben:

I Theorie (z.B. Reprasentation von Semantiken)

I Technik (z.B. Architektur OSGi Platform & AAN Framework)

I Praxis (Entwurf & Entwicklung der Komponenten)

I Teamarbeit, Englisch-Kenntnisse

Vielen Dank!

Anhang: Vereinfachte Ontologie V2, Stand: Juli 2010

Grundontologie

Analysis and integration of Web 2.0 data sources into a ...homepages.uni-paderborn.de/wilke/files/bachelor/thesis/Adrian-Wilk… · III. Web 2.0 Netzwerke als Datenquellen Analyse

Documents

THESENBAUKASTEN AUTOMATISMEN 2 - homepages.uni...

UB Leipzig Katalog, Datenquellen Artikel aus E-Journals -...

Datenquellen, Datensenken und die Wüste

Scanned Document -...

Der Kampf gegen die Bücherflut -...

Online Occlusion Culling -...

PG402Boris Shulimovich 1/172.05.2002Textextraktion aus...

Using as - homepages.uni-regensburg.de

Alphabetisierung Indikatoren und Datenquellen für ein...

2001 Statistisches Landesamt Baden-WürttembergF6... ·...

LabVIEW Kurzlehrgang -...

1 Bevölkerung und Demografie · uInfo 1 Datenquellen der.....

Beschäftigungs- und Bildungssituation in den...

BISKO Bilanzierungs Systematik Kommunal der kommunalen...

Textextraktion aus nichttextuellen Datenquellen...

Zeit Reifegrad Strategische Roadmap UML Datenquellen...