Sviluppo di una piattaforma CLIENT/SERVER per attività didattiche basate su AR

UNIVERSITA’ DEL SALENTOFacoltà di Ingegneria

Corso di Laurea in Ingegneria dell’Informazione

SVILUPPO DI UNA PIATTAFORMA CLIENT/SERVER

PER ATTIVITA’ DIDATTICHE BASATE SU REALTA’ AUMENTATA

ANNO ACCADEMICO 2009/2010

RELATORE:Prof. Giovanni Aloisio

CORRELATORE:Ing. Lucio Tommaso De Paolis

LAUREANDO:Giacomo Giovanni Delfini

1 - IntroduzioneL’obiettivo di questo progetto è la progettazione e la realizzazione di un’applicazione Client/Server per la didattica che faccia uso della tecnologia della Realtà Aumentata.

Il docente, tramite la postazione SERVER, utilizza i modelli 3D disponibili che saranno visualizzati dagli studenti nelle postazioni CLIENT utilizzando i marker tipici delle applicazioni di realtà aumentata.

L’applicazione è stata sviluppata in collaborazione con l’ISTITUTO COMPRENSIVO “Italo Calvino” di ALLISTE (LE).

2/17

3/17

2 - La Realtà Aumentata

Un sistema di Realtà Aumentata (AR) permette di aggiungere informazioni virtuali al mondo che ci circonda.

L’applicazione presentata è un sistema direaltà aumentata di tipo marker-based

4/17

Si fa uso di tale tecnologia per rendere più coinvolgente e più intuitiva la lezione da parte del discente.

2.1 – Settori in cui è applicata la AR• Addestramento militare

• Medicina e chirurgia

• Ambito industriale

• Beni culturali

Didattica

5/17

3 – Applicazione CLIENT/SERVER

ARSERVER: utilizzato dal docente per associare al marker i modelli virtuali da utilizzare per la lezione.

ARCLIENT: utilizzato dagli studenti che, dopo il download di un file di configurazione XML, usufruiscono della visualizzazione in AR e interagiscono con il modello.

6/17

3.1 – Applicazione ARSERVER

I dati riferiti ad ogni lezione sono inseriti all’interno di un file XML.

7/17

3.1.1 – Applicazione ARSERVER

Dalla postazione Server è possibile:

1. Selezionare il contenuto virtuale da associare alla lezione.

2. Condividere il file di configurazione XML con le postazioni client.

3. Avviare la procedura di scambio delle informazioni tra Server e Client.

8/17

3.1.2 – Applicazione ARSERVER – Interfaccia di gestione

L’applicazione Server è dotata di un’opportuna interfaccia che permette al docente la gestione del contenuto informativo associato ad ogni lezione.

9/17

3.2 – Applicazione ARClient.

10/17

3.2.1 – Applicazione ARCLIENT

Dalla postazione client è possibile:

1. Connettersi al Server.

2. Cercare il file di configurazione messo a disposizione dal Server e selezionarlo.

3. Scaricare il file di configurazione della lezione in AR.

4. Disconnettersi dal Server.

5. Usufruire della lezione in Realtà Aumentata tramite il marker.

11/17

Termina Scambio (TERMINAOP)

Il file è arrivato (FILE_OTTENUTO)

Invio del file in bytes

Inizia ad inviare (INIZIA_INVIO)

Risposta positiva al GET (GETOK)

Download File(GET)

Ricerca File (SERVER_RICERCA)

File Trovato (RICERCA_ESEGUITA)

CLIENTCLIENT SERVERSERVER

Il Server è in ascolto sulla porta 8090

Il Server è in ascolto sulla porta 8090

Il Client si connette al Server sulla porta 8090

Il Client si connette al Server sulla porta 8090

Connessione al Server

Connessione Client OK

4 – La comunicazione tra CLIENT e SERVER

Il trasferimento dei file di configurazione dal Server al Client avviene instanziando un oggetto di tipo NetworkStream.

12/17

5 – Visualizzazione dei contenuti in Realtà Aumentata

Avviene grazie al framework GoblinXNA v. 3.5.1

Goblin XNA è una piattaforma open source sviluppata presso il Laboratorio di Computer Graphics e User Interfaces della Columbia University, nell’ambito della produzione di interfacce utente 3D per applicazioni in realtà virtuale e in realtà aumentata.

Il framework Goblin XNA è stata sviluppato interamente tramite codice C# e sulla base del framework Microsoft XNA Game Studio 3.1.

13/17

5.1 – Organizzazione della Scena

Lo Scene Graph rappresenta una tecnica di programmazione per la manipolazione delle componenti audio e di rendering delle scene virtuali.

14/17

5.2 – Visualizzazione AR con GoblinXNA

Per la visualizzazione dei modelli virtuali in realtà aumentata sono stati utilizzati i seguenti strumenti:

• Le classi del framework DirectShow per l’acquisizione dell’immagine reale tramite webcam.

• Il supporto software fornito dalla libreria di marker tracking ALVAR v.1.4.0, sviluppata dall’azienda finlandese VTT.

• La classe ModelLoader appartenente al namespace GoblinXNA.Graphics per il caricamento dei modelli virtuali 3D.

15/17

5.2 – Video dimostrativo dell’applicazione

16/17

6 – Conclusioni e sviluppi futuri

L’utilizzo di un’architettura di tipo CLIENT/SERVER, rappresenta un’evoluzione rispetto ad un eseguibile di tipo STAND ALONE in cui solo il docente può utilizzare l’applicazione.

Possibili sviluppi futuri per questa applicazione potrebbero essere:

• La realizzazione di nuovi modelli 3D virtuali appositi per il framework GoblinXNA utili alla creazione di nuove lezioni.

• Il miglioramento dell’architettura CLIENT/SERVER aumentando l’interazione tra docenti e studenti, mediante l’invio di messaggi verso le postazioni client.

• La visualizzazione delle informazioni sui modelli 3D visibili in Realtà Aumentata potrebbe essere arricchita con animazioni video e contenuti audio.

• L’Utilizzazione di altri array di marker per l’aggiunta di altri contenuti informativi che possono aiutare a comprendere meglio la lezione.

Grazie a tuttiper l’attenzione!