Top Banner
An Integrated Framework for Interactive Multimedia Presentations in Distributed Multimedia Systems Ramazan Savas ¸ Ayg¨ un Department of Computer Science and Engineering State University of New York at Buffalo [email protected] Advisor: Aidong Zhang ABSTRACT 1. INTRODUCTION 2. MULTIMEDIA SYNCHRONIZATION 3. VIDEO PROCESSING
2

An Integrated Framework for Interactive Multimedia ...

Dec 18, 2021

Download

Documents

dariahiddleston
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Page 1: An Integrated Framework for Interactive Multimedia ...

An Integrated Framework for Interactive MultimediaPresentations in Distributed Multimedia Systems �

Ramazan Savas AygunDepartment of Computer Science and Engineering

State University of New York at Buffalo

[email protected]: Aidong Zhang

ABSTRACT������������ ������������������������� �!�#"$#���� ����%&������ ��!��"'�$���(������)������*�������!�� +"',!"'�#�-��.������#"�"',!����/��%0����1� 2���%0�3%�45������� 6"'�$�� 0��"#7�!�#���%���#"$"$����89������� :4;%0�3�#%&���#���$*<(= �"$��>���$���#�0 0�? 0�=�>��%�@A*(� 0���!@5���!�/?�$�� ���"$����"$"$��%&�B%2��C�D����E@�%0�FG7H ��=����"$��D�������$4I 0�#A4;%0��������� ��������8J�?�����������!�K L���#"$#���� 2���%0��"#MON /�P�G%�@ ��Q%04�"',��!*��/��%0����1� 2���%0�R��%H�����"���"A�������������%��/�S"',!����/��%&����1� ����%&�+"$�G#�#��*T �� ����%0��"U ��=�V��"$C�W�������� 0�C���%0��"#M�XY����%0�G%&"$� 0�Z#����H�$*<(� 0"$��"',!���C/!�%&����1� 2���%&�[��%H����\�/� ��]�� 0�[/� 0������B������*<(= 0"$#�Y 0�����%0��"@5/������#�� 0(�������8)��"$��\���H�C�� 0�����%&��"�����F�A(= ��CF�@ ����� 0���?"$FH���^M`_�%��Cab#�������Q�$�� ���"$����"$"$��%&�J%04U���������������� Z�� 2�� !7D�/�Q���������������� �� ��� R��#���")�%V(G��!�#���%��#�"$"$��cMRN /�6"$������68&#����� ����%0�d 0�=���%2�H����8�%&(He'����" "$#80��#���� ����%&�f�� 0�����!���#5�/�5��.���������(� 0�=�H*@5���H�/g"$��80��� T �� ������,�MhXYP���%0�G%&"$L J����/�%H�:4I%��V�?���������"$%0*���!���%0�["$������B@5/�����/3@5����� 0����%�@O�#�!�%H���������%&�Y%�4A�/���H����#%V 2��!��ab��#���?�#"$%0�������%&��"#MdN /�f%&(He'#�C��"$#8&����H�� 2���%&�[@5�����5(Gf�iH*�$�� ������)(�,W80#��C�� ������8� �#��%&"$#��(G%0������ ��$,�4I%��j�/�\%0(!eE#����M\kH�����#�/�6�!���!#%V�� 2�� R�6 #,Y ���"$%Z�i!��"'�����Y R�#%&���!�#"$"$��34I%���6 ���7l@� ���"$%L�!�%&�G%&"$f�%Z�iH�$�� 0�������@h4I� 2����#"�4;�%&�m�/�6�#%0�����#"$"$���H�����%�M�XY]@5�����`�#%0��"$���������%&������"$"$��L�� ��� ��/= 2�)��"U8&#����� ��#�(�,)nW��"$�C���Ao�%0"$����AN^�� ���"'4I%���Opqn�o N5rb@5/����C/]/= �"j(G#�����"$��)���sRt\uDv *�w07 sRt\uDv *'x�7 sRt\u�v *<y+z {2|l ��=�6})x�~&�!M�w0M�N /�U��"$C� @5�����(GA�!�%2�!���!��? W/���8&/�*<��#�������"$��\�������$4I 0�#A�%) ��#�##"$"\�/� ��%&���#���"%�4`�/�)����"$#���� ����%&�cM XY)@5�����j�#"'���/���"5�����#8��� ����Q4K�� 0���@�%0�F%0�V����"'�� ����#)��!���� 2���%&�R�!�%�eE#���S%��&��A�/�U������������M

1. INTRODUCTION���]�/���"`��%����%��� 0�H�/�#"$��"#7&@�5 0�����%W 0��/���#����/�D4;%&����%2@5����8]80%� ���"#�

� �%]���%2�H�K�!U �"',!����/��%&����1� ����%&�f��%H�����@5/�����/f@5�����c���i!��(���,"$�����G%0�$�Q�������� ��������P�?�����������!�K Y�!�#"$#���� ����%0��"R���g����"'*�$���(��!���+���������������� �"',�"'����"#7

� �%: 0��/���#��Y�W�= 0�����E,�%046kH���H���#�p<�W%�k�r6��.���������#���"Q(�,�������%��##"$"$����8U�?�����������!�� ��� ��� 5@5/����C/]�����#������#"l�/��8&���*

� N /���"A�#"$� ����/R��"�"$�����G%��$���+(�,6�Uk�_Y80�� ����S�$�'kH*������&�&�0�&�HM

��� ����%&��%�4!�/�`(= 0��FH80�%0���=�) ��=�W�/�\Ci!�$�� ������%&��%04!��%2�H����8%&(He'#���"#7

� �%)���%2�H�K�!� �/���8&/�*<��#�������"$C���������$4q ��#54I%0���#%&���#���$*<(= �"$�� 0�#�#�"$"S%�4��?�����������!�� ?�� 2�� !M

2. MULTIMEDIA SYNCHRONIZATIONN /�C�]/� 0"5(G##�Q�6 0��,f��%H��#��"5���%0�G%&"$��+4;%0�S�?�����������!�� ����C*"$#���� ����%0��"]z �H7b��7=y0|�M�N /�)�6 �e'%��W�H�� #@5(= 0��Ff%04��/��"$)��%H��#��"5��"�/���� 0��F�%04j"$�����G%��$��4;%0�A�So�����"$C�A���H�C�� 0�����%&��"A����F&W(= ��CF�@ ���� 0���L"$FH���L@5/�����/Y 2����#��#"$" ��$,Z4I%��� 0���������# ����%&��"�����F���!��"'�� ����#��!���� 2���%0�R%2����5����E@�%0�F+ 0�=�f"$�G%0�$�"� 0���������� ����%0��"#M�N /���"S%����8&��*�= 2�#"l4;�%0���/� ���!4I%0��6 2���%&��@5/����C/���"`"$�G#��� T ��]4;%0�`�/�\4I%��$@A ��������"$#���� ����%&�f(�,B�/�S��"$��A(�,�"'�� 2�����8��/�����K 2���%&��"$/�����"� 0��%0��8"'�$�� ���"+ �"+����z�wC|<M�XYV���%0�G%&"$V�%Y/� 0�=�!��V"',����C/!�%&����1# ����%&���.������#����H�"S(�,3��0�=���H�$���������0�q�����J���!���C�5@5/����C/P 2�B�#%&���G%0"$��%04�#�&#���"#7`�#%&���������%&��"? 0���[ 0�����%&��"B����F� u o � �����#"#MZX36@5����� 0��"$%f�#%&��"$������S/�%�@�"',!���C/!�%&����1� 2���%&�R�����#"W ���8&������ 2���R4;�%&�k s �E¡Y�i!���#"$"$��%0��"#M u 0��/V"',����C/!�%&����1# ����%&�V��������"S"$��������] ��=����\��"`� �"$����D�%U����!���#A���@d�����#"�4;�%0���/�#"$ ������"`4;%0�\�/� (� 0��F�*@A 2�����!�#"$#���� ����%&�cM`�[�������������4I%��D���#���"� 0���� ������%&��"\/� ���D�%(G�80#��C�� ����)�%S/� 0���������"$����������� 0�����%0��"l����F��"$FH���� 0�=�)��/= ���8&�����#�C���%0�^M�¢W������%H��#��z ~2|b��"5 ��+���#���$*<(= 0"$#�6��%H�!#��@5/�����/f�� 0� 0��"$%]/= ��=����5������*<(= 0"$#�B%&�G��� 2���%0��"#M`�<� /= �"Sw�r`�#�#����&��"D�%]��C*�#����#�&#���"#7Gx0rA��%&���$�%&������"S�%?�C/�#�CFf�#%0�=�������%&��"� 0�=�Q��r5 0���%��"�%QCi���#���� ������%&��"#Mf�£80#����� ��D�� #,�%0����%04��/�B�#%0���G%&��#���"U%04�/�W"',����C/!�%&����1# ����%&�R��%H�!#�c��"��!#���������f���V_l��8&���Bw0M

3. VIDEO PROCESSING��45�/�Q�� ��� P ��+�$�� ���"$�����$���Y%2����?�����@ %��Fb7`�/�+(� 0��F!8��%&���=�8&������ 2���%0�¤ 0���g�/�[Ci!�$�� ������%&��%�4���%2�H����8¥%0(!eE#���"P�� 0���C*�����#L�/�3 ���%&���H�Q%04?�� 2�� d�%:(GP�$�� ���"$�����$����"$��8&��� T �� 0�����,�M��4\�/������������������ ��� 2�� + 2�?�#%0�����#"$"$#�c7G4I# ������"W@5/�����/Z@5������������ 0"$��/�6 0��%&������%045���%���#"$"$����8Z��##�L�%R(Gf����C���������cMs %&"'�f%�4U�/�R�!�#�H��%&��"6�H����#%L"'�$�� 0��"6 2�V�#%&���!�#"$"$��J��"$����8nU��"$�����?o�%&"$����BN^�� ���"'4I%���¦pqn�o N5rCMcN /���0 0����]%�4\n�og�#%�C§B*�#��#����7H�/�S�!���?(G��D%04j��%0��*<1#��%���o:�#%��§�������H�"5 ��=���/�����=��Ci%04��/�) 0(�"$%&�������0 0����W%04��/�W/���8&/�#"'�S�So��#%�C§��#��#���S ���8&%�%H�4I# ������"?�%Z�#%&���� ����E@�%P(���%��CFH"#M3N /�f"$���¨%04��/�f 0(�"$%&������0 0����#"5%�4l�/�U/���8&/��"'�W��o��#%��§B�#��#���"S���=�!���� ��#"A�/�U�i!��"'�#���#%04) L(G%&���=�� ��$,d���:�/�Q(���%���FGM�N /�Q/���8&/�#"'�6�#%��§�������H�"f ���"$%���=�!���# ��U�/�U��,!�GU%04��/�U(G%&���=�� 2�$,f����F��pq�&��$����� 0�q7=/�%0���1#%0�H�� ��Kr@5/�����/� ��A"'������H�$���A 24;���D�� 0��C�� S%&�GC�� ����%&��"D����F�A�= ���������8U ��=�����������8�M

N /�)(� 0��FH80�%&���=�f8&#����� ����%&�V�# 0�R(G)�G��$4;%0�����f(�,+������"'�������8%04S"$�������K 2��(���%���FH"B ��B����ab��#�������H�C��& ���"?%045�/�f�H�K�!#%Z"'�$�� 0�

raygun
Text Box
© ACM 2001. This is the author's version of the work. It is posted here for your personal use. Not for redistribution. The definitive Version of Record was published in MULTIMEDIA '01 Proceedings of the ninth ACM international conference on Multimedia, http://dx.doi.org/10.1145/500141.500209.
Page 2: An Integrated Framework for Interactive Multimedia ...

Event Source Event

OR

Controller

Controller Receiver

Receiver

Stream

ACTOR

Timer

action

executeaction

Actor

Notification Questioning

RECEIVER

Timer

Receipt

Question

Sending Event

AND

CONTROLLER

EVENT EXPRESSION CONDITION EXPRESSION

direction = FORWARD

and

stream is in PLAY state

activation

������������ ��������������������������� ���!"!���$#%�'&(#%��� ���)��!�#%�*�����'+*�'��,'+�-

z x�|<MDN /�S�#����"'����@5/�����/��#%0�H�� �����" ��%���������#���"\�/� 0�B�/�5%��/�*C�"D��"`�/� �� ��=�!�K�� ��5�#����"'�C�\@5/����C/B��%&���� 0����"`�/�A(���%��CFH"�4I%��D�/�(� 0��FH80�%&���=�bMl��4!�/�D�H�K�!#%�"$%&����� ��" sRtDuDv *<�#%&���!�#"$"$����!���!#%�7�/� t 0�=�/.�(���%���FH"U@5/����C/L�#%&���� ����L��%0���%&�P����4;%0��6 ����%0�Y�� 0�(G5#���������= 2���?(G�4;%0���#����"'�������8�(G#�# 0��"$A�/�#"$5(���%��CFH"\�#%&���� �����/����%2�!����8Q%&(He'����"#MZkH�����#B�/�?�C/� 0��806(G��E@�##�3��%&��"$#.H��#���4K�� 0��#"� ���"$�6 �����7`��4;�� ���#"? 2�]"$�G#�#� T �6��������& ���"� 2�6��"$��L�%80#��C�� ��+�/�+(� 0��FH80�%&���=�bMYN /�+80#����� 2���%&�J%04��/�6"$������R 2��!��ab��#�����#"$%0�������%&��"A��"$����8] �"$������S��,H�� 0�����?@5�����b 0��"$%?(G��#%0��*"$���!����+�%?�����%H�����#U�/�W�!���!#%� ��5�/�W��.��������6�#"$%&�������%0�^M

N /�A�iH�$�� 0�����%0�B%04b��%2�H����8W%0(!eE#���"\�� 0�?(G �G��$4I%������?(�,���"$����8�/��(= 0��FH80�%0���=�+��%H��#�qM�o�%0����%&�Q�� ��$�����"��/� ����i!��"'�W���R�/�%0(!eE#���"S 0���+�/�U(� 0��FH80�%&���=�+ 0"5@ #���l �"5%&(He'#���" 0�"$/= 0��%�@5"W 2���@ %)�6 �e'%����!�%&(���#��"#MlNj%U���!���# �/�A�ab#���\%04b�/�#"$A���%0(���#��"#7�/�����80#"]���L�/��(= ��CFH8��%&�����3 ��=�L�/�����80#"����[ f4;�� 0��6 2���%&���= 2���cM�N /�A��!8&#"\%04G�/�A%&(He'#���D�6 #,�(G �#��%2����](G#�� 0��"$%�4��/�`%��&���� 0��������85%0�^�/�`���80#"j�# 0����%0�j(G��!��#�����U(G��� 0��"$D%�4�/�5"$�������� ������,B%&���/�5���805%04G�/�5%0(!eE#���� 0�=�?�/�A(= ��CFH80�%0�����cM�54;���?��C�#�����%&�Y%�45���80#"#7`��%0���/�%0��%08&���� �� %&�G��� 2���%&��"� ��f ���*������#�f�%��!��#���A�/�W�H����#%�%&(He'#�������3z 1�|<M�N /��"$U��%0���/�%&��%08&���� 0�%0�G��� ����%0��"f��%L��%0�6��%&��"$���!����/�+�#%&���#���"�%04S�/�f4;�� 0��R 0�=��6 #,Q���%H�����#�4q 0��"$?��"$�����"#MU���V%&���W�� 0"$07c@5/�#�V�/�]���80#"U 2�����������= 2����%0�A�# 0����%0��(GW�!��#�����b7�@ 54I%0����%�@9�/�5����4;%0��6 ����%0�%�4^�/�5/���8&/�#"'� 8��� &����#���������/����#��8&/H(G%0������i!#��"D�%��#%0����������/�#��8&�"#MZN /�6��!8&#"]�/= ��]%2������ ��Y@5���/Y�/��(= ��CFH80�%0�����3���80#" 2�W�#��%2����bM\¢W����U �����%0"$��+%0(!eE#���5(G%0���=�� ��$,6��"A���� 2���c7H�/�����"$�K�!)%04��/�W�#8&��%0�V��" T ������f�%B%&(!�� 0���+�/�)%&(He'#����M

�2�������435 �67+ ��789�5�:��;<#���

4. HIGH-LEVEL USER INTERFACEs %0"'�`%04!�/�\��"$��j���H�C�$4q 0��#"l4I%����?�����������!�� ���#"$#���� 2���%0��"l%0����,��%&��"$���!�� �So��5*<��,!�GA��"$��D���H�C�� 0�����%&��"�����F�5���� #,�7��= ���"$� 0���?��*"$����&M��S���������� ����%&��")����F&�����"'�� 0���#B��!���� 2���%&�3��#��Z/���8&/!*<�����#���"$��S�������� ������%&��"S(� 0"$��Q%0�Q�/�)��%&���#���"A%04��/�)���#"$#���� 2���%0�^M¢W��)%04�%0���S 0���������� ����%0��"���"��!��"'�� ����#)#�����# ����%&�R%2��C�S����E@�%0�FGM_l����������8P�%&�����#"����: L���������������� V���#"$��H�� 2���%&�J��"��&��$,d/= 2���cMN /�W���������������� U����"$#���� ����%&�f��" ���#"$��H�#�6����F�W ](G%�%0FB@5/����C//� 0"] f�� �(���B%�4A�#%&���#���"#MBN /�B"'�����#���)�� ��3�H���@h 0��,Z"$#�����%0�%�4j�/�W����"$#���� ����%&�+����F�W �(G%�%0FbM\N /�W��"$��5�� 0�+ 0��"$%B"$C�A(G%�%&F�*

�6 ��FH"����:�/�R����"$#���� ����%&�J�%3�#�H���@ �/�%&"$Q"$#�����%&��"+%�4U�/�����"$#���� ����%&�cMRN /�#"$f ���"$%&���%�4A�/�?�# 0"$%&��"]@5/�,P�/��"',!��*��/��%&����1� ����%&�+��%H��#�G/� 0" �%�"$�����G%��$�A"$FH���Q ��=�6(= 0��F�@A 2���64;�����C*���%&�� 0��������"#M ��"$�8&��#���A%�4��/�U��"$��5���H�C�$4q 0��]��"5"$/�%�@5�R���Q_l��8�*���]x�M

5. EXPECTED RESULTS AND FUTURE WORKN /�5�!�%&�G%&"$#�6"',!���C/!�%&����1� 2���%&����%H��������!�%2�!���!#"\���i!��(���������,B���"',!����/��%0����1� ����%0��"$�G#�#� T �� 2���%&�g 0����#�= �(���#"f�������� ��������Z�?����*���������� ¥�!�#"$#���� ����%0��"3��� �!��"'�$���(����������������������� J"',�"'����"#MN /�S8&#����� ����%0�Q%04^�/�S(= 0��FH80�%0���=�6 ��=�B�/�S�iH�$�� 0�����%&�f%04^�/���%2�H����86%&(He'#���"U@5�����\/�#���V�/�? 0���������# ����%&��"U�/= ��W��.������?��%�@A*(= ��=�H@5�K�H�/¥�!�%��H����V��%��Q�#���� 0(���Z�!�#"$#���� ����%&��"#M>X3R@A ��H��%Q�����#8��� ��B�/��"',!����/��%&����1� ����%&�3��%H������&7b�/�B8&#����� ����%0�Y%04�/�W"$������� 0���f�/�W�iH�$�� 0�����%&�+%04���%2�H����8�%&(He'#���"A@5���/V ?/���8&/��#��#�G��"$�� �������$4I 0�#�4I%0���!��"'�� 0����S��!���� 2���%&�+ 0���������# ����%&�6@5/���"'��=�!#���"A�� 0�Z ��#�##"$"��?���������#���� ��!�#"$#���� ����%&��"S����F�� ��#�##"$"$����8(G%�%&FH"#MgXYR@5�����W�#"'�6�/�V�����#8��� ����¥"',!"'�#� 4K�%&� ����ab����H���%��� ����%0��"W��� u �!�%&�G� 0���f@5���/�����=S�������QkH�� ���"#M

6. REFERENCESz�w�|]N /�U��@5�j"$�����b�= �8&&M /��$��^� >?>2@A@A@)M ��@5�qM ����>�"$�����qMz x2|���M�kbM���,!8&���Q ��=�Q��M�@G/= ���8!MGk��� ����%&�� ��$,$. 0��FH80�%&���=�

v #����� ����%0�R��� sRtDuDv �#%&���!�#"$"$��Q�S����#%6kH�.���#���##"#M!�E�A �����C�C�=�0�q���0�=�&�CB\�0� D��C��C�=���?�0��EZ�!� �q�"F6�HG0�q�JILK9M!�ON<�<��9M�M�����QP�7GN^%&F�,�%�7%R� ��= 0�c7G����8&��"'�Sx0�0�!w&M

z ��|�.SM%. ������,�7�R�MTS)%&��"'�� ��^7��]M�o�%�%0��C,�7G 0��� s M�nUEe'%0��8!M�S"',����S*� ��%�%&��FH���54I%0��(�������������8B�������� ��������)�?�����������!�� �!�#"$#���� ����%&��"#M����OU �$������HG0�I��V0���WDYX�B�EZEZ�!� �q�"F��[G����07�� 08&�"Wx?1&� \!x0~0~!7^kH#���#��(G��Uw#�&�&{HM

z y0|���M�}S���6 0�c7!��M�o�%0�$�#���� H7Gn?M��]M!nU����&7�n�M%R!M=nU��F�&7 v M�R!M���,!��%0�K�!"#7� 0�=�7R�M=�]M�¡^%�%�M=�>"'�� ��=�� 2���Q��%H����b4;%0����������������� �"',����C/!�%&����1# ����%&�c� t �#��%�"',����C/!�%&����1# ����%&�%0(!eE#���"#M5EV��� �q��F6�HG0���B��0����9F���7=~�p<x0rC� {0{\�w��!w07`w��&�0{!M

z 12|�oSMTS)��� 0�=�7R�M *<��M�}S@A ���8!M=���Q�����#80�� 2���Q"$��/�#��W4;%0�%0(!eE#���$*<(= �"$��Q�H����#%� �(�"'�$�� ������%&�^M��E�OX�B�EZ7��= 080#"�0�&�\��!w0w&7c¢W���%0(G��Wx0�0�&�!M

z ~�|���M�kbM���,!8&���Q ��=�Q��M�@G/= ���8!M����H�C�� 0�������U���������������� �!�#"$#���� ����%&�+�6 0�� 08&���#���5���Q����"'�$���(��!���+���������������� "',!"'�#��"#M!�E��UA�'���]\�QD A ���^]<B\�0� D*]l�0� A �*D#���9FB�0�q���0�_ �$���H�=�&���[V0�a`JB\�*G0�I��Vf�0��GOB\�?FYM=�H�q�I��V07�¡j �"��\#8& 0"#7�S#�& 0�� H7���������^x0�0�!w&M

z �2|�R�M=k!��/���#��4�7TR�M�S)%0��"'�� 0�c7� 0�=�+n?M!nU�^M�_�¡^� t kG��_l���i!��(������H�C�� 0������# t �#"$#���� 2���%0�PkH,!����/��%0����1� 2���%0�^M A ICILIb ����������HGcX���$�0�]�WDcB\�?FJF?�H������0�q�q�0��7cw#y�p'w2rC��w&w�yd\=w�x�1�7\w#�&�0~!M

z {�|]NWM=k!��F�%��� !M�N /�)���G#8�*�y��H�K�!#%B"'�� ��=�� 2���+��C�� T �� ����%0���%H�!#�qM A ILILI _ �$�����:]eB��;�$���H�I�q� b �0��^]�fc�gG��$� _ �$���H�=�&���[V0�07����w#�\��!w&7G_�#(���� ��$,Zw��0����M