1 Complementi di Interazione Uomo-Macchina Dr. Marco Cristani e-mail: [email protected]ufficio: Stanza 47, Ca Vignal 2 Università di Verona Facoltà di Scienze MM.FF.NN. Corso di Laurea Specialistica in Sistemi Intelligenti e Multimediali Lezione 8 – The day after WIMP
67
Embed
Università di Verona Facoltà di Scienze MM.FF.NN. Corso di ...profs.sci.univr.it/~cristanm/teaching/cium_files/... · Complementi di Interazione Uomo-Macchina Dr. Marco Cristani
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Corso di Laurea Specialistica in Sistemi Intelligenti e Multimediali
Lezione 8 – The day after WIMP
2
Preambolo• Legge di Moore
– 5 anni ~ 10x avanzamento– 10 anni ~ 100x avanzamento– 20 anni ~ 10000x avanzamento
• La legge di Moore non vale per le interfacceuomo-macchina
Prima motivazione:
3
Preambolo (2)
• Non esiste legge di Moore per le persone…
Seconda motivazione:
4
Evoluzione delle interfacce uomo-macchina
• Il fulcro di avanzamento in un’interfaccia è datodal meccanismo di interazione che essapropone
Numerose alternative, nessuna preponderantePost-WIMP interfaces
5
Stato dell’arte
• Dal punto di vista commerciale
6
The day after WIMP
• Starring:– Perceptual user interfaces
• Affective computing, Human-Robot Interaction, Social Computing
– Ambienti immersivi• Wearable computer, Realtà virtuale
– Ubiquitous computing• Realtà pervasiva
– Tangible UI• Realtà aumentata
7
Perceptual user interfaces - Motivazione
• Recenti ricerche sociologiche e psicologiche hanno cercato dicapire come le personeinteragiscono con le macchine
• Risultato assodato: le interazioni con i computer tendono ad essere sociali e naturali[1] B. Reeves and C. Nass, The Media Equation: How People Treat Computers, Television, and NewMedia Like Real People and Places, Cambridge University Press, September 1996.
Find more...
8
Verso l’interazione sociale
• Equazione fondamentale [Reeves and Nass]media = real-life
• Motivazione:– Per secoli, l’interazione su cui si è addestrato l’essere
umano è quella sociale (con altri esseri umani)motivazione d’istinto
• Sintesi del ragionamento– Rendere antropomorfe
• Le interfacce• Le interazioni
9
Interfacce antropomorfe
• Interfacce “antropomorfe”– Cercano un omomorfismo tra uomo e interfaccia
AIBOQRIO
Courtesy of Sony
10
Interfacce antropomorfe
• Possibile autogol [Schneidermann]:– Interfacce antropomorfe precludono all’utente umano un chiaro
modello mentale di ciò che è possibile proporre all’interfaccia e cosa aspettarsi dall’interfaccia in risposta a determinate azioni.
– Il test di Turing insegna…– Il golfo di esecuzione e valutazione diventano enormi (ovvero non
si ha più controllo e predizione)
• MA: – Per contro, valgono gli esperimenti di Wexemblat
• “Don’t anthropomorphize computers; they hate that!”B. Shneiderman, “A nonanthropomorphic style guide: overcoming the humpty dumpty syndrome,”The Computing Teacher, 16(7), (1989) 5.A. Wexelblat, “Don't Make That Face: A Report on Anthropomorphizing an Interface,” in IntelligentEnvironments, Coen (ed.), AAAI Technical Report SS-98-02, AAAI Press, 1998.
Find more...
11
Interfacce antropomorfe
• Soluzione: – Computer come tool niente interfacce antropomorfe
• Vedi interfacce user pre-emptive– WIMP
– Computer come collaboratore antropomorfismo• Vedi interfacce system pre-emptive
– Bancomat– Foto tessere self-service
– mimesi
12
• Favorire interazioni tra la semantica dell’utente e le potenzialità della macchina, tramite traduzioni fra diversi linguaggi
• Ciclo di Abowd e Meale, include in maniera esplicita la macchina, a differenza di quello di Norman
• 4 componenti:
• Ogni componente ha il suo proprio linguaggio
Il ruolo di un’interfaccia utente
13
• Il ciclo interattivo è composto da 4 fasi1. Articolazione2. Prestazione3. Presentazione4. Osservazione
• Ogni fase sussiste nella traduzione tra i due linguaggi adiacenti
• I problemi nascono quando la traduzione è difficile o impossibile (vincoli di HW in 1,2, vincoli umani in 4)
4. Osservazione
1. Articolazione2. Prestazione
3. Presentazione
linguaggio base
linguaggio dei compiti
14
4. Osservazione
1. Articolazione2. Prestazione
3. Presentazione
linguaggio base
linguaggio dei compiti
Dalla parte dell’uomo - tempistiche
• Che tempistiche devo usare per – D: trasmettere all’utente la sensazione di causalità ad un suo input?– R:
• MIN: Due stimoli all’interno dello stesso ciclo del perceptual processor (TP =~100ms) appaiono fusi, e la fusione è sinonimo di causalità(vedasi doppiaggio dei film: labbra contemporaneamente in movimento con lo speech determinano causalità)
• MAX: dopo 10 secondi, la memoria sensoriale si svuota (recency effect)
uomo = perceptual processor
recency effect
15
4. Osservazione
1. Articolazione2. Prestazione
3. Presentazione
linguaggio base
linguaggio dei compiti
Dalla parte dell’uomo - tempistiche• Che tempistiche devo usare per
– D: aspettare una reazione causale da parte dell’utente ad un input della macchina?
– R: Dopo aver definito il movimento, applico la Legge di Fitts
Movimento•Tempo richiesto per rispondere ad uno stimolo = tempo di reazione + tempo di movimento•Il tempo di movimento dipende dall’età, dalla forma fisica, etc.•Il tempo di reazione dipende dal tipo di stimolo:
–visivo: 200 ms–uditivo: 150 ms–dolore: 700 ms
•la necessità di tempi di reazione brevi può limitare l’accuratezza in un operatore novizio, ma non in uno esperto.
16
• La legge di Fitts descrive il tempo impiegato per colpire un obiettivo nello schermo Mt = a + b log2 (D/S +1)dove – a e b sono costanti determinate empiricamente – Mt è il tempo motorio– D è la distanza– S è la dimensione
DS
17
• L’obiettivo in generale deve essere
– più largo possibile
– più vicino possibile
Il tempo necessario per raggiungere ilbottone è lo stesso nei due casi
STAR
T
18
PUI - definizione
• Interfacce interattive, percettive e multimodalimodellate secondo il modello di interazione umano/umano
– percettive• Offrono capacità percettive simili
all’uomo– Cosa sta dicendo l’utente– Cosa sta facendo l’utente– Dov’è l’utente– Chi è l’utente
– multimodali• Accettano/producono modalità
multiple per lo scambio di informazioni
Contesto
Semantica offerta dall’utente
Organizzazione aree di ricerca
19
Perceptual User Interface - definizione
• Interfacce interattive, percettive e multimodali modellate secondo il modello di interazione umano/umano
INTERAZIONE NATURALE PERCEPTUAL USER INTERFACEnostro corso
20
Perceptual User Interface – problemi aperti
• l’interazione avviene tramite eventi percettivi– gesti con significato atomico (anche chiamati back channel)– sentenze analisi del linguaggio, area di ricerca a sé stante
• Problema: non esiste una definizione oggettiva di evento percettivo– gesti dipendenti dal contesto
• Soluzioni– vincolare la gamma di gesti plausibili, per una gamma di
interazioni pre-fabbricate– creare interazioni ex-novo, previo learning (training di un
classificatore)
21
Perceptual User Interface – 2 ostacoli
1. Tecnologia (ostacolo “facile” da superare)– Ricercatori ovunque e focalizzati su differenti aspetti– Interesse crescente – Progresso consistente– rimane il test di Turing…
2. Mercato (difficile)– PUI generalmente costose (necessità di sensori)– pragmaticamente, le PUI penetrano nel mercato grazie a
• biometria• sorveglianza• entertainment (poco)
22
23
• L’obiettivo è di creareuna interfaccia in gradodi trascrivere unavideoconferenza, aggiungendoinformazioni semantiche– back channel– gesti deittici
Perceptual User Interface per la trascrizione di conferenze
24
• Importante• Continuo
– Indica interesse
• Sporadico– Trasmette senso di impegno– Indica presenza sociale
• La comunicazione non visiva perde questi input• Una comunicazione remota visiva poco accurata
peggiora la situazione
Il contatto visivohttp://research.microsoft.com/~larryz/GazeAwareness.pdf
25
• La conversazione ha una struttura fondamentale: turn taking
• Il turn taking si struttura– tramite lo scambio reciproco di proposizione– tramite l’utilizzo di back channel
• Back Channel– Cenni, smorfie, scrollate di spalle, piccoli rumori– aiutano, rafforzano l’interpretazione semantica delle proposizioni– la sostituiscono– essenziali, provate...
Back channel, conferma e interruzioni
26
Informatica pervasiva e realtàarricchita
27
• Vuole rompere con il paradigma tradizionale dascrivania
• Sposta la potenza computazionale nell’ambiente
• E’ l’interfaccia che individua e serve l’utente
• Queste definizioni sono date da Mark Weiser
La ricerca sulle applicazioni dell’informatica pervasiva
• Innumerevoli sinonimi, che testimoniano unabranca della scienza in sviluppo capillare e parallelo– Ubiquitous Computing (Mark Weiser, 1991)– The Invisible Computer (Don Norman, 1998)– Disappearing Computer (European IST, 2000)
• Termini in relazione:– Appliance Computing– Pervasive Computing– Situated Computing– Ambient Intelligence– Calm Computing– Ambient Displays– Context-Aware Computing
29
• Tre problemi nella realizzazione diun’interfaccia pervasiva1. Definizione dell’esperienza d’interazione fisica
appropriata
2. Scoperta di temi applicativi
3. Presenza di teorie per progettare e valutarel’esperienza umana all’interno dell’informaticapervasiva
30
• Principio fondamentale: abbandonare la scrivaniacome terreno di interazione
• Due concetti fondamentali: input e output impliciti
– Input implicito: sono azioni e comportamenti umaniche sono effettuati per raggiungere un goal e che non sono intesi primariamente come interazioni con computer, ma che dai computer sono catturati, riconosciuti ed interpretati come input
– Output implicito: output di un computer chenon è relazionato ad un input esplicito e che èintegrato con l’ambiente e con gli scopidell’utente in maniera trasparente
32
– le interazioni naturali con l’ambiente fisicoforniscono un input sufficiente a molti servizi
– l’interazione diviene cosi’• incidentale
• poco intenzionale
Obiettivo
Intenzione
Azione 1
Azione n
...
Stato del sistema
42
1 5=?
Azione 1
Azione n
...3
Stato del sistema67
33
– le interazioni naturali con l’ambiente fisicoforniscono un input sufficiente a molti servizi
• Un’interfaccia pervasivaideale sarà quella chestabilirà l’identità, la posizione o l’attività di un utente attraverso la solapresenza e le interazioninaturali all’interno di un ambiente
• Interfacce con talicaratteristiche sono giàall’ordine del giorno
39
• In certi casi non svolgono compiti per migliorare i compiti dell’uomo, ma per monitoraggio
• Si parla di interfacce di videosorveglianza
Hitachi’s 0.3 mm mu chip RFID tags in use at Extra “Future Store” in Rheinberg, Germany
40
Esempi di interfacce pervasive di video sorveglianza
Tags could not be “killed” as promised
Benetton told consumers the tags could be “killed”at checkout, while Philips documentation revealed the tags could only be made “dormant.”
www.BoycottGillette.comFind more...
41
• Requisito essenziale per l’invisibilitàdell’interfaccia è che deve cambiare aspetto
• Weiser ha definito una rozza tassonomia diinterfacce pervasive, basata sulle loro dimensioni1. il pollice (circa 2.5 cm)
2. il piede (circa 30 cm)
3. la iarda (circa 90 cm)
Verso l’output distribuito e sularga scala
42
• Alla classe 1 appartengono i dispositivi recentid’interazione
– PDA, cellulari, cercapersone
• Alla classe 2 appartengono i dispositivi usualidell’interazione, con basso tasso di pervasività
– portatili, tastiere, schermi
• Alla classe 3 appartengono nuovi apparati– Video wall
– Specialmente per quest’ultima classe, l’ambito dellacomunicazione tra dispositivi è ambito di ricerca vergine ed in fermento (esempio)
43
• Una soluzione all’invisibilità richiesta per le interfacce pervasive: integrare manufatticomputazionali con manufatti fisici
Integrazione tra mondo fisico e virtuale
44
• In che ambiti investire nell’informatica pervasiva– Comunicazione interpersonale
– (Esempi)
• Oltre alla fusione fisica di mezzi computazionali con manufatti fisici, obiettivi astratti dell’informatica pervasivasono1. Utilizzo del contesto da parte dei dispositivi
2. Rilevamento e utilizzo di esperienze personali
• Si parla anche di informatica quotidiana
2. Temi applicativi per l’informatica pervasiva
45
• Un informazione contestualesemplice ma effettiva è la posizione geografica, ossiadove– rispetto all’utente particolare,
vedi i sistemi di mappaggio GPS
– rispetto a più utenti, vediSentient Computing Project
Contesto nell’informatica pervasiva
• Il contesto è tutto ciò che aiuta un’interazione ad esserequanto più fruttuosa possibile per l’utente
46
• quando– Ad oggigiorno, le applicazioni di informatica
pervasiva che tengono conto del tempo sonomolto poche• di nuovo, l’eccezione è composta dalla video
sorveglianza.
• che cosa• perché
47
• Esempio: memex, Vannevar Bush
Registrazione e accesso automatici
• La raccolta di esperienze è essenziale nello sviluppodella persona
• Vi sono dei limiti umani alla raccolta di esperienze• L’informatica pervasiva vuole intervenire;
– la registrazione e l’accesso vengono effettuati su esperienze– il fine è quello di preservare la registrazione di un’esperienza di
vita in modo che possa essere riesaminata successivamente
48
Verso l’interazione continua• Un’accezione di informatica pervasiva: informatica
quotidiana• L’informatica si sposta da uno strumento localizzato a
una presenza costante• Promuove attività, ossia insiemi di compiti ben definiti• Le attività sono differenti dai compiti, ai quali
corrispondono ben definiti cicli di interazione• Esempi di attività:
– Organizzazione della vita quotidiana– gestione delle informazioni personali
49
• Caratteristiche delle attività:– raramente hanno un’inizio e una fine chiari;– raramente sono atomiche, ossia sono interrotte (da altre attività)– possono essere eseguite in maniera parallela, poco coordinata
• Riassumendo, le attività sono– composte da eventi– gli eventi producono, trasformano informazioni– gli eventi sono connessi tra di loro in maniera altamente non
lineare– da ciò ne consegue che le informazioni trattate devono poter
essere collegate tra di loro in maniera associativa
• l’informazione deve poter essere scritta in forma ipertestuale
• L’operazione fondamentale della comunicazione trauomo e macchina è dato da dei modelli ciclici– Modello di Abowd, Norman
• Nel caso di informatica pervasiva, tali modelli non valgono più.
• Ci sono altri modelli alternativi, forte intersezione allasociologia:– Teoria delle attività– Azione situata– Cognizione distribuita
51
Capire il comportamento umano
• Crediamo che le persone vivano secondo le lororegole di comportamento e la conoscenzaimplicita, cosicchè le cose più potenti risultanoquelle effettivamente invisibili durante l’uso
• In pratica, un’interfaccia pervasiva si inserisce in un contesto di quotidianità
• Bisogna dare una definizione di quotidianità• Quotidianità = insieme ben definito di attività
effettuate regolarmente
52
• La quotidianità si riferisce– rispetto ad un singolo soggetto– rispetto ad una comunità
• L’informatica pervasiva si rivolge allaquotidianità della comunità
• Per capire quali sono le attività tipiche di una comunità si usano metodi etnografici
• Si usano persone (sociologi), le sonde culturali
53
3.Valutazione delle sfide per l’informatica pervasiva
• L’informatica pervasiva serve?• Per una risposta, servono tecniche di valutazione• Problema:
– le tecniche di valutazione controllano che soluzionideterminate risolvano problemi determinati
– un primo motivo dell’inesistenza di tecniche divalutazione per l’informatica pervasiva è che non si ha chiaro quali siano i problemi che essa debba risolvere
54
– un secondo motivo è dato dalla limitatezza di possibilità di creazione di ambienti di laboratorio in cui valutare le interfacce di informatica pervasiva
– la creazione di ambienti di laboratorio annulla lo scopo principale dell’informatica pervasiva, ossia inserire dei manufatti computazionali negli ambienti quotidiani, per risolvere problemi quotidiani
– infatti i laboratori non sono ambienti quotidiani– l’unica possibilità di verifica rimane quella basata su
intervista
55
la natura dell’esperienzaumana è basata sullapartecipazione all’internodell’ambiente (Heidegger)
56
Realtà virtuale e arricchita• VR• si riferisce alla simulazione generata al computer di un
mondo, o di una parte di esso, in cui l’utente vieneimmerso
• permette all’utente di sperimentare situazioni che sono– troppo pericolose– troppo costose
da vivere “in carne ed ossa”
57
• Che cosa viene inteso come realtà virtuale– uomo ricoperto di sensori: è una parte della
realtà virtuale, qualla più antica, ossia la realtà virtuale immersiva
• Che cosa è anche realtà virtuale– realtà virtuale da scrivania– situazioni di comando e controllo– realtà arricchita– telemedicina
• Una branca sostanziale dell’industria videoludica creamondi virtuali
• La diffusione di tale fenomeno è grande• Necessità di inserimento di un linguaggio standard di
realtà virtuale– VRML (Virtual Reality Markup Language)– permette di creare mondi tridimensionali accessibili, trasportabili.
61
Comando e controllo
• La realtà virtuale risulta utile nel momento in cui l’uomo si trovi ad esercitare comando e controlloin ambienti a rischio– simulatori di volo– simulatori di situazioni a rischio (applicazioni militari)
• Technological development– 2010-2015: video-realistic graphics based on general-purpose stable
rendering systems. – 2015-2020: integrated persistent worlds. – 2015-2020: global physics with unlimited world complexity and
simulation of most physical aspects. – 2015-2020: sufficiently good non-human and domain specific human AI. – 2015-2025: programmatic sound. Most aspects of reality can be
simulated sufficiently well. – 2015-2025: realistic simulations of all senses (through brain-computer
interface). – 2030+ : good human-level artificial intelligence. – 2045+ : uploading and life in virtual reality
http://future.wikia.com/wiki/Virtual_reality
Find more...
66
Visualizzazione delle informazioni e dei dati
• L’idea è che nel mondo virtuale possono essereinseriti e visualizzati dati astratti che diventanocosì tangibili
• Si ha la cosiddetta visualizzazione scientifica– dati 3D puri: galleria del vento– dati 2D + valore: immagini– dati vettoriali non spaziali