Humanoid Robot Presentation Through Multimodal

Humanoid Robot Presentation  Through Multimodal  

Presentation  Markup Language

Author

 Doshi Pratik H.

Introduction♦ Not only documents but also multi­modal contents including 

visual and auditory information are used in media and interface fields these days.

♦ In order to make multi­modal contents using life­like characters easily, several languages have been developed [1].

♦ As MPML is a medium­level scripting language, anyone can write multi­modal presentation with life­like characters.

♦ Humanoid Robot  are expected to play an important role in all types of fields.

♦ The presentation by the humanoid robot gives a di� erent impression, as more life like.

♦ Here MPML­HR uses humanoid robots as presenter, we can extend presentation contents explaining actual objects

MULTIMODAL PRESENTATION MARKUP LANGUAGE MPMLA

Features of MPML♦ Independent of particular systems♦ Character control function♦ Easy description♦ Media synchronization♦ Meta­data description

MPML family♦ There are several versions of MPML in the MPML family. ♦ MPML Ver.1.0 is the first version developed. ♦ MPML Ver.2.0e [7], is an extension of Ver.2.0.♦ In MPML Ver.3.0, some extensions including a graphical 

editor have been incorporated. ♦ MPML­VR [8] stands for MPML for Virtual Reality.♦ MPML­HR is designed based on this Ver.2.0e. 

Figure 2: Specification tree of MPML­HR

MPML tags

A SYSTEM OF MPML­HR PRESENTATION

A

IS

OM

System Configuration♦ Humanoid robot ASIMO♦ Control Servers♦ ASIMO Voice Server♦ Receive Server♦  MPML­HR parser♦ Browser♦ LCD projector ♦ Speaker ♦ Vertical large screen 

Figure 7: System configuration

MPML­HR Parser

Figure 8: MPML­HR control diagram

..2 MPML­HR Parser♦Opens the MPML­HR source code♦Examines it with its XML format.♦XSLT processor converts source code to operation data.♦It is understandable for the Receive Server.♦The Receive Server is connected with the ASIMO Voice 

Server, Control Servers and the Browser.♦The Receive Server interprets the data into control commands 

referring the mapping table and sends the commands through the TCP/IP connection to the ASIMO control.

Making Presentation More Life­like♦Parallel execution of the action command and the speech 

command

…2Making Presentation More Life­like♦2 threads are generated in the Receive Server.♦The Receive Server receives the operation data from the 

MPML­HR parser, and dispatches the commands to the ASIMO Voice Server or Control Servers or Browser.

♦If  action thread is in idle state when Receive Server receives  action command, the action command is sent to the Control Servers immediately to check for state of speech thread.

♦ When the Receive Server sends an action/speech command  to the Control/voice Server, the action/speech thread turns into busy state from idle state until the end signal is received from the Control Servers.

♦If the action thread is in busy, the action command is sent to the Control Servers after both thread come in idle state.

…3Making Presentation More Life­like♦Autonomous head motion

♦Action thread is in idle state while speaking.♦ To make more life­like, the head action command is automatically sent at random.♦ The head action command makes the robot move his head right & left, and up & down. ♦It is sent at the time when the robot is speaking with no action. 

…4Making Presentation More Life­like♦This happens only when  speech thread is in busy state and action thread is in idle state. ♦There are two situations in receiving the head action command, as shown in the figure. ♦One is that the robot is speaking with no action. ♦The other is, if the robot is speaking with the short action which ends before the speech ends. Tim ing of autonom ous head m otion 

execution

Conclusions:♦MPML­HR is an extension of MPML.♦MPML­HR is very simple language♦Anyone can write attractive multimodal presentation 

modules using a humanoid robot without expertise.♦The Receive Server has 2 threads to allow parallel execution 

of the action command and the speech command making the robot presentation more life­like.

♦It gives stronger impression looking at the humanoid robot presentation.