Top Banner
50

Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

Feb 09, 2022

Download

Documents

dariahiddleston
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Page 1: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

������������� ��������������������������� �

� �"!$#&%('*),+.-&/�+0�213'4)576 ��+3!98�';:<#0= 6 '> +?-A@ 6 �B=2CD+?)

E #0FG+.-AHIC�#0)�H�@.JK8�@3C�FMLMHI#0-KN()M13'4)M#0#O-A'4)"1P+.),Q 5 )�JR@S-ACT+.HA'*@S)U/V:<'4#0)G:<#W ' 6 =�#0)2HYX )"'4Z�#0-[!$'4H��

W ' 6 =�#0)2HO\�� )M=3+?-]+2\_^S`3aSb3b2\_cdLM-I=�#0�e F,!I+f��1S'*)�\g' 6 ��+3!<\h+?=2CT+.)�iSjk:0!mlgnM' 6 =�#m)�H0lg#OQ2L�loHA-

p?q�r s�tvu�u�w,xzy2{�|U},q~r_�VtR� �,u�tR{(�

���&�2�,�,���d�

�����Y�,���������&���m�7���*�~�?�����f�G�$�����&�3�7���.�*�7�����$�m��$�?�S�*�]� �����Y�����¡ "�$�*¢<£K¤R�S���A£h£h���?�]���A�?¥Y¦d�S�¡£��3���?���3§�f�©¨ª�����«¢0���­¬��?�?�S���7��®?�°¯3�$���]���A�?±²�(�S�*����¢0³�2�]� �´�µ¢P�$�]®?���]¶��0�Y�����·��¢?�7��¸?¹º§?�m¢0�I�9�0�Y����������7�����»���m�7�m±¼¦��S�h£��3�7�?���S�*�]¢<£&�S�]½�¢0���m�]¥¾���I¢?�A³���´�]¢O£��S�]®?�A£��?���&�]�S�I�B¢0���º���]�2�]�I�A�����¿���?���9���D���]³£*¢0�$�m�À�.�*���$���S£h�����m�Á¢0�$�Á¢<£h£Â�A�O®.�]���m�M±²ÃD�Á�.�*�7³�A���$�������7������Äo�Å�*�S�m¢?�d�����S�]�I¢<�h£_¢0�������$�m�7�]�3�(��������&�2�?���I¢f�3�&�A�?�&�µ�]�3�I�9����¢0����¢<®?�·½��]�]���¢?�S��.�À�����]�º±ÆÃÇ�����S���È���S�*�D�A�?�S���AÉ��m¥K½��]��¢<®.���?��³�*�7�º¥_�A�?�����$���?�������m���]¥ �����·Êo�?�����]�K�©�������ËÄ,�����?½�³£��]�Ì¢0�����¿�����h£´¢f�k�$�?�S�*�]�Í���Î�����&���S�h£��3�7�?���S§��0��©������¢f���Ï�.�*���A���$�7�m�M±UÃD�Ï¢O£´���T�A�0®?�]���������7�?³�$���0£��?�f�´�]¢O£k¢0���Ç���7§Ð�$���0£��?�0�*�]¢<£B¢?�7�2�m�A�I�·�0�B����������7�����P���m�7�m±KÑ�����¢<£h£�§?¥ ¶(�B�A¢0Ò?�k¢µ£��S�?ÒÓ¢f�Y������A���$���]�3�K�¿������¢0�����.�Ó¢0���º¢0��¢<£�§3Ô]� �����B���$�?�?�I¢0�·��$��¢0�&��¢<®?��½��]�]�z�S�]®?�A£��?���m�Ƕ(�����Ç�����Ó¢O���Õ�0���¢.���¿�����������&�,�����������,�m���m±¾ÃD�&�A�?���$£����S�Â����¢f��$���B�,���7�����Â���m�7����¢.��½2�]�]�,¥"¢f���·¶(�h£¡£��A�?�3�����S����$��½��?¥K¢U®?�]��§°���SÖ����]�S�7�*¢<£Â¢0���z�A�?�S�����0®?�]�I�×�´¢O£�$�?�S�*�0±

Ø ÙMÚ �,�,Û Ü·Ýk�d�_ÞIÛ Ú

���S�´���´�~�����B�����?��§��0�_�$���ß�����7�����Â���m�7�mà�¢ �&�Ð�S³�m����¢0���$�]�&�������k�����&�¢0�7��Ô]�Í���I��¸?¹9§?�m¢0�I�d�0�,�AÉг�*�7�$�]���A�?±

�Í£*¢0� �,���7�����3á.¥ãâ~�7���7�*�7�ä�¢0�����]�¢f�7�*�$�´¢f�,¥�����?�2�3�7�m�������«�����7�����å�,�m���zæ×���¾çD¢?��¢­���]³�S£*¢?�A�]�&�]�S�&�v�?�B�$���Pè?���m�7�����.�Àé<¬�¢0�U�¢?�$�S�����m����S����Ò�ê]ë �����S�*�zìmí?¸.¹ïîÓð4ñ�òó¢f���7�*�$£��ÀÊ´¬��?�&³�����7�����P¨�¢?���S�����]��§P¢f���·¤R�S���A£h£¡���?�]���A�?Ä~ôo�����I¸?¹<õR±¯0�����A�Ó�$���]�,¥����&��¢?� ½2�]�]�»¢�¶(�*�S�A£�§ó�.�*���A�����7�m����?�S�*�0±ï¤R����¢?�µ½��]�]�«¢0�$�I¢?�$Ò?�m��¢0���z�S�A�;�]���S�m��0®?�]�Ó¢0���ö�O®.�]�m±ã���º�?���D�AÉ������]�&�?¥ �,���7������Äg���¢0���]� ��¢?�¾½��]�]�U�A�?���¿�*�S�]���m�Î���Â�$�]�����m�7�]�S�K�����éA½��]�f�����S�����3ë��0�P�¾¤T¢f���È�����z���÷¶�¢?�Î�A�?��³�¿�*�S�]���m�¼���I�U�S£��7���¢0�$�»�.�3¢<£R± ���������ó�.�����]�m¥�����&���z��¢?�ͽ��]�]�U�]¢<£h£��m�º���7�A£��m���Ë¥M�]®?�]����¢0���&³�;�S£R± ¤¿�½2�]�7¶��]�]�ø¢0���ï¢0���?���&�]�S�I�U�?�²�A�?��³���$���?���7���m���Ë¥K½��]��¢<®.���.�7�*�7�P¥¾������Êo�.�����]�Â�©�������ËÄ�����?½S£��]�P¥��?�2�]�I¢0�7���?��¢O£µ�S�A ��S���7���?���T�0�&���3�$�A£¡£h��³�?�]���A�?¥0���m�A�m����¢f��§ß¢f���B�7�SùÏ�$���]�S�Å�A�.���.�������.���M�v�?����3���A£h£h���?�]���A�]³R�.�I¢0�S�7������¥,¢0�����7�&�.�,±¤¿��¶��¡£h£_½2�Y�$���ߢ<���ã�f�G�$�S�´����¢0���]�(��� �����m�7�]�S�

�����ȸ?¹¼§?�m¢0�I�°�0�D�����ú�Í�K±·ÃD�«��¢<®?�ï���7���m������¢0Ò?���$�S�´�µ�7����®?�]§Á¢.�k�A�.�&�����]���]���¿��®?��¢0������S£�����³R�.�*���$���S£��4��¢0��§ã¢?�Î���3���×��½S£��?± ¤R�&�2�?���I¢0�S��A�?���A�]���I��¢0���º���S�������S���A�m�M¥k¢0���­�.�´�$�A�����7�m�­���¢0���m¢?�7§S³v���?³v�����S�]�I���I¢0���º�¢0�����]�m±�Ñ�¢f���h£¡�*¢0�����7§¶(�����»�����m�$�*¢<£Y���]�$�Â��¢0�����A�?���A�]���I� �*�����.�¢?�7³�7���&�m�M±����������m¢?�S�]� �*���.�����m�A���m�©�����v���������]� ���A�v³�]���]���A�m�K¶Í���]�Ó�$���]§P¢0���&¢<®O¢<�h£*¢0½S£��?±KÃz�S�h£��µ�����û�ü<ýIþ2ÿ�����ýAþ�����4ÿoý�Ký�� ���mþ4ÿ����(þ������7þ��vý������������������������

� ÿoý�Iþ �"!���# � #%$���&mþ���')(,ý�&*����+ , (�ý�&.-/�0MýIþ�������$1�2�����mþ4ÿ��*�3!.�"��4��5������!76�8�8"'9'9';: ���mþ4ÿ��*��: ýIþ��*: �*<�8���<þ4ÿ����*=����+vý �>��ÿ���� ��ÿ�����& � #?(,ý�&*����+�:

ì

Page 2: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

�$�]®?���]¶z�*�(���?�¾�7���7�*�A�7£�§��������.���0£��?�0�*�]¢<£R¥�¶(�Y��¢<®?��$�7���m�D���������m���]�3�����A£*¢0���m�ζ(�?��Ò��¾���������·�?�I�S�]��$���]§P¢0�����m¢0�$�m�M±�¤R�S���]�I�.�*���$���S£h����¢0��§D�$�m¢?�S�]�I�7�S����*� ¢?���7���&�m�U¢0�������º��¢0���7�*�A�S£*¢0�&¢?�7�2�m�A�B�0��������Í�zæR�?± �2±�¥?���S�h£��3�7�?���S�*�]¢<£ �?���A�?�&�����I¢0�����.��¢<£vç,�*��A¢0Ò?�]�P¢?�(¢ �v�Ð�]¢O£_���0���S�m±¤¿���?���ߢf�����]�&�����$�&�¢0Ò?� ���S�*�Y������®?�]§P�A�?�&³

�S£��]���?¥(¶(�·��¢<®?���AÉÐ�S£��?�$�m�󢺣*¢0���.���3����½��]�µ�0��$�A�;�]���]���A�m�˱A@��0¶(�]®?�]�m¥K�$�S�´�Î�S�3�m�º���?���&�m¢0��$��¢0�_¶(�(��¢<®?���A�.�&�&�]�S���m� �?���m¢?������¢0�2�]������¢f��µ�]�3�7���?���Î�����z���K±K�(���ó�$�m¢?�S�]�Á¶��¡£h£����?�7�*�A��$��¢0�&¶(�P��¢<®?���S�]®?�?���m�Ç�7�]��¢0�I¢0�$�Ó�7�m�A�7���?���·�$��A�]�$�I¢<������¢0���]�I�Ë¥?�.�´�$�A�����7�m�&�7�.�&���?�$���]�I�,½������AÖ�§¢f�����&�]���A£�§Á�$�����m�U�����µ���]�¢<���S������±�ÃD�·�¢?�S��$���m�7�k�S�m�$�*�¿���?���K¢?�]�A�.�I�.�����Â�����?���¾�?�S���S���?���Í�0�¶Í��¢0�~�´�Í���&½2�B�AÉ���¢0���S�m�����2�?������¢����]®.���]¶­�0��$�S�´�Í�7�?���m±�ÑV���?�����S�*�(���Y�����?�S£*�����?�(½�� �����S�]��³�����3�����$��¢0�Â�$���P��¢0�2�]�I�·¶(�Ó�7��¢0�$��£��m�����7��¢?�A�¢f����£��m���µ���&�2�?���I¢0�S�·�?�&���S���]���m�7�������2±À¤¿�Ç� ¢?�A�<¥¶(�P�S�]®?�.���m�U�&�?�����7��¢?�A���$�D��¢0���]�A������¢0�&¢0������.���.�´�$�A�����7�m� ���Â�S�]�I¢O�¡£��A£*�7�]¶Í���]����B?±~¯?�?�&�(��¢0³�2�]�I��¶(�]���·�AÉÐ�S£*¢<�����m� ���ó�S�]�A¢<�h£Y½��m�]¢0�����������]§¢f���DC�E�F�C�E�G�EmñIH�J7HvðLK�E(�0���7�?�&�¾���&�2�?���I¢f�3�~�*�S�m¢?�]±�����k�$�m�7�Y�f�������B��¢0�2�]�¾�*�¾�?���3¢0�S��Ô]�m��¢?���;�f£�³

£��0¶Y��M ¯?�m�A�7���?�)Nµ���3�$���Ð�S���A�m� �����·���È¢0���D¢0��³¢O£�§SÔ]�m�UÊ�¬~�?�&�����7�����À¨�¢?�$�S�����]��§å¢0���ï¤R�S���A£h£h��³�.�]���A�?Ä�ôo�����I¸?¹0õ¿±Â¤¿�Á�$�S�´���7�m�A�����.�,¥_¶(�¢O£´���Ó¢0��³�$�]�&�����m�ï���«�S�]®?�A£��?�¼���]¶Ì�*�S�m¢?�D¢0���ï�����.½���×�´�S�Í�*���7���m�]±�¯?�m�A�7���?�PO �S�m���A�7��½��m�Í¢0�����AÉ��S£´¢O��������?�&�¾�0�_�����K�m¢0��£¡���]� æR�����3�����v���?�¼�����%Q?¹�Äo�(¢0����$���%RO¹VÄo�AçÅ�A�.�&�&�]�S�I���?�·�����K���K±S¤R�º¯?�m�A�7���?�TS¶(�K¢0��¢<£�§SÔ]�K�����B¢0���?���µ�]�3�I�d����¢0��¢0���¾�&�?�$�Y���]³�A�]�S�m±ºÃD�������3���Â�����7�����S§U�����·���]���]�I�A���$�¿���?����f���$���P���ï�����������7���$�´¢O£Í�$�$���]���A�m�·�7�]��¢0�A¢0���A£�§���º¯?�m�A�7���?��¸�±~¯0���©�¡£*¢0��£�§?¥V���P¯?�m�A�����.�PQ�¥S¶(���0��®?�¢f�P�0®?�]��®.���]¶È�0�������&�A�?���A���]���?¥,�A�.�&�����I¢0�7���?��¢O£�������.���m�Á�.�����m�A���m�¼���0¶�¢0�I���T��¢?���¿�����ï�����»���9±¯?�.�&����¢0�����I¢O£O£*¢0���.��¢0�?���A�.�3®?�]�A��¢0�7���?�K�7§��7���]�Â�¢f���D������¢0���S��¢<£?UM�S�]½����]�¦��7��Ô]�P�A�?�S���m�7�A�B¢0����0®?�]�$®?���]¶(�m�¾���B�$�S�´�����m�A�7���?�,±�Ñ�����¢O£¡£�§?¥V¯?�m�A�7���?�DR�A�.���$£����S�m�¾�.���Y�7����®?�]§?±

V�ü<ýIþ�ÿ���+�� �"�����=�������&]ÿ�+�����+�+4ÿoý�&ý"�XW���$þL���Y +[ZX�]ÿ�����+��þvý]ý� ÿ�+\<��!��]+��mýAþ��_^`W������4ÿoý��ba*: cd�=[�<ý�� � ���e�"��+��µÿ��ÿ�+Íÿoþvþ�������f�����KýAþ��*�]ÿ��g!0ýIþ�� �"����= � ��� � ����"��+��]�����7þ��¾ÿ�+�"�%� � ���*&.�"�����(ý�h������������������þ���+vý�mþ�����+ ý��i���*�j+�� �lk ������:ZGý���f�7þ�+�� ��#=7m9��&ino�oý�� <pY +���þ�����g������+q�$þ��;&���+��7þ4ÿ � ��&¾ÿ���(ýAþ��r&���� �7ÿ���^`Wl�����4ÿoý��a*:�sd � ����"��+��9�<ý������"��#�ÿ���tL&���!�����"�.�e��#�+���+�ý���������u'��7þ��1��ý��*��&¾ÿ��i������� ÿ����7þ �"���mþ��:

v w Ýk�ÅÞ Ú\x\y �{z|«Û~}��·ÝB� Þ Ú\x�� �>����&Þ Ú\� �r� � Ú Ü ÙGÚ � � ��� Þ x?�ÍÚ � �?y

¤R�U�¢0Ò?�m�Î�7�]���7�ó�$�«£��S�?Òå¢0�Á�����7������Äo�T£*¢0���S³�¢0��Ò·��¢0�2�]�BÊ�¬~�?�&�����7�����¨�¢?�$�S�����]��§P¢0����¤¿��³���A£h£h���.�]���A�?ÄBôo�����I¸?¹<õ�½2�A�;�?�$��¶���½2�]�0���z���D�A�?��³�¿�*�S�]�P�A�]���I¢<���«¢0���.���&�]�3�A�Â�S�A�v�]���.������¥K¢0���I¢?�$ÒS³�����&�?���.�*���A�����¿�����&�����B�Í�)�?±S¤R��¢0��¢<£�§SÔA�����µ�����¸?¹¾§?�m¢0�A� �0�,���������K¥<�����*� ���&�2�?���I¢f�3�����B�.�*�7������³�?�S�*�7��¶���¢0����¢.�(½��]�]���?�7���0����¢<£h£�§P���$�?���3���m��½S§�,���������µ�S���·�7�A£h�d¢0���µ¶���¢0�~��¢?��½2�]�]�P¢?���S�m�·�?�¢<�v���]��¶�¢0�I���]±MÃÎ��¢0���]�,Ä �_��¢<§?������¥0½S§K¢0�3§K�µ�m¢0���]¥����¢0� �����&���ï�*�K¶Í��¢0��æR�?�B�7���.�S£´�Î���]�¢O���U¢?�Aç�,���������������.���3�7�m�T���óÊ´¬��?�&�����7������¨Ó¢.���S�����]��§¢0���ΤR�S���A£h£¡���?�]���A�?Ä´±P�K�B¢0�S§��?�����]���A�?���A�]���m¥������¢?�¾����¢0���.�m���������.���?���?����������¸?¹�§?�m¢f�I�(���¾��¢?�½��]�]�P¢0�$�?�����M± ¤R�·�R¢?�A�m¥0�?���¾�0�,�����¾���������3���m���f����S�*�K��¢0�2�]�K�*�K�$�Â���A¢?�A�������Â�7���]���Í���D�$�S�´�9�]®?�?³£����7���?�,±B�(�S���]¥V���¾�*�¾�?�S£�§º��¢0�����I¢<£ ����¢0�¾¶���¢0������3���]�$�m�7���m�·���º�����K�?�7���0����¢<£�®?�]�I�¿���?�,±¤¿�À¯?�m�A�����.��NV±�ì?¥(¶(�P¶(�h£h£k¢0��¢<£�§SÔ]�D�,���7������Äg�

�?�7���0����¢<£K�����?�2�3��¢<£R±�ÃD���7���&�¢f�7��Ô]�P�,���7������Äg����]�S£h���m�����Ó�A�]�$�I¢<���Á�.½��×�m�A�����.���K���º�S�´�9�*�S�m¢?�9���¯?�m�A�7���?�{N�±�N�±U�,���������2Äo�&�.�S���S���?���µ�?�U£��m¢0���S������¢?�$�S�����m��¢0����½��7���AÖ�§k�.�*���A���$�7�m�9���µ¯?�m�A�7���?�DN�±�O�±Ñ�����¢<£h£�§?¥S¶(��£h�*�7���7�.�&�(�����m�.�*�A�7���?�����0�"�����7�����¾���¯?�m�A�7���?��N�±�S�±

��� � �_�j���.�{�����I�7� �1��� �r�{��,���������2Äo�B¢<��� �´� �������$�O®.�*�S�¢��µ�]�����Ð�T���P¢?�7³�7�m��� ¶����]�$���]��¢��¢.���S�����Y�]¢0� ���S����Ò��?�_���.�m±�@Í��7�I¢0�$�m��¢0�������ͽ��]�0�����S�����&�0�M�S�´�~��¢0�2�]������¢f�������è?���m���7���?�Áé<¬�¢0�·�¢?�$�S�����m�(���S����Ò2ê[ëT�´�(¢ �S���?�S£�§¢0��½S���?���?�����?���?±¡@Í�Ï¢0�$���]�&���I�9�������I¢0���¿�v�?������S�*�~���3�$�k¢K�µ�?���K�A�?���A���]���Í�;�.���Ƚ3§µ�����?���S�¿�����¶���¢0���*���]¢<£h£��m�©������¤¿�����I¢0�7���?�_¢ß¢f�&��æR¤"¢BçI±<�(����3¢0�&�·�*�µ�S£*¢m§.�m��¶(�����ó¢��·¢0�zæR� çI¥�¢�¶(�?�¢0�æ×âÍçk¢0���Ç¢0�U���3���]�$���?�3¢0�$�?�·æ�¬�çK¶����3�7���.�]���S�]��*�·���S���µ���?���A¢0�3�<±«�(�������S���]�����?�S¢0���?�&�7�I¢<§�� ���¢·���S�?� ¢f��¢0���Í�;���.��å¢0����â¾±,�(��� �?½��7�m�A�7��®?�

£�¤��D�����¾ý�����7þ��.�"��&¥=9'r�?&<ý\�<ý��g'Mÿ�+��T�vý þ���!.��"����mþ4ÿ��*��Y +�ÿ�&���"+j�*�×þ�����ýIþ;���Ëÿ�+;'"ý����& � �(þ ����*�7þ�þ���&*���lt&.�"���9��ýAþ9�(ý�+���ý��ý�mþ þ���&*�×þ�+�:¦, ���<þ §�¨e0Sÿ�+q��f�×þ�#©'r������t<��mý'1�T'"ýAþ�<ª�"��&_�.�"+ � �����ª�¿ÿ�����&«�"��&T¬��mý����&ª�7ý!]ÿ�tý��*+L��#:q$1�����mý����%'1�.�"�9��ý"���oý'9+;'Mÿ����h!<þvýfAÿ�&��?�"�¾ÿ����vþvý"t&��*���4ÿoý�©�vý;�������9�;=�ÿ��2ÿ�+r�;�Aý]ý�&(ÿ�&���;�vý�þ���"&����mþ4ÿ��*��Y +ýIþ4ÿ��$ÿ��.�e�"þ����*&��7þ4ÿ����¾ý�h���*� ÿ�+�+�����+;��9�p��*&7:

N

Page 3: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

�f�Å�����9���3���]�$���?�3¢0�$�?�~�´�Í���Â�S�]�$�]����������¶��S�*���º�0��$�����?�����]�~�׶(�9�´�d�����¾¶��.�¢0�&¶��S�h£��¾�����Y�.½��×�m�A³����®.�Â�0��½2�?���D�����·�¢0�U¢0���D�$���¶(�?�¢f�P�*���$��A�.�3®.�����A�B�����Í���3���]�$���?�3¢0�$�?�(����¢0�����p­0�7���K�*�(�����¶(�?�·¢0�Ï¢f���������K�?�$���]�(�*�����?�<±��(�S�*�Y�×���$��¢0�7���?��*�¾�S�]�S�*�A���m�·���ÓÑ����?���$�Âì?±

®®

Ñ����.�����&ì7M��(���K¤¿�����I¢0�7���?��¢ß¢0�µ�7M�¯?�A¢0�?�&ì

�����D�&�m¢0���ª�������?���?�z¶��S�*�$�À�$���T�S�m�$�*�¿���?�,¥�$���B�A�?�3®.�*�A�7���?�,¥M¢0���������B�S�m�A�]�������.�P�*�Í���&�I¢fÒ?��S£*¢?�A�Í�*�(¢K���A£��]�7§3�2�ß�A�.�����m�A�7���?�,±��(�S���]¥S�����(����³�$�]�����?�3¢f���?��¶(�h£h£_¢?�7ÒÂè.���m�7�7���?���d����¶��7�������]�·��¢0��³���A¢<£(£´¢f���?��¢0�?�P¢0���U¶��¡£h£Y�$�m�A�A��®.�P�����P¢0����¶��]�A�����¶��7�����$�]�P��¢0�����A¢<£_£*¢0���.��¢0�?�?±i¯����m���7���?���B�]¢0�½2���?�Ó¢0�S§P�7��½��7�m�A�¾���¢0�0����¢0½S£��?¥2�v���?�²�¢0�����]³�·¢0�7�*�]����� ���S�]����§?¥f�;���.�å������¶(�m¢0�$���]�����B�$���m���]±�K�]�A�?�I�.�����D�$�Ó�����7������¥������&���]¶ã¢0�.�]����¢P�$�

½2�k�.�*���A�������m�M¥2���������m¢?���f�������K�mè?�S��®?���]¢<£Yé<¬�¢0��·¢?���S�����m� ���S����Ò2ê[ë�¥?�]¢f�B½��¾ÊoÃz��¢0��¶(�h£¡£���¢f�����]�¶Í���]�T¢µ�¢?�$�S�������I¢0Ò?�m�(�$���k��¢f�����0���ï�������S�*��S¢0�&�0êÂÃÇ�h£h£,���������S���]�����.�3¢0���?���S�m�$�*�S�K¶��$�?���0£�§¢.�B�f�;���]�U¶����]�������·�3¢0�µ�&�*���S£*¢<§?�m�Σh��Ò?�����S�*�¢.� ���ß�S�S�m��¶����]�µ�������3¢0�µ�(�*���S£*¢<§?�m�&½2�]�7¶��]�]�¢©�¢0�Ó¢f���P¢�¶(�?�¢f�MêOÄ,ôo�����I¸?¹S¥2�,±�S°OpS.õR±�Ñ����?³���$�%N&�S�]�S�*�A�I���$���B���]¶À�¿������¢f�7���?�,±�Í���?���¾���0���S�~���·�����¾��¢0���]�������7���������]�S£*¢?�A�m�

�$���ßè.���m�7�7���?�Áé<¬(¢0�Â�·¢?���S�����m�Í���S����Ò�ê]ë�½S§Â������v�0£h£��0¶(�����hM

Ê2UM�]�U���� �É��?����¢0�����]�S�7���?�È���ï�?�����¢0���7�*�A�S£*¢0���.���0���I¢<£,�A�?�&�������]�²±�±0¤×�d���������������¢f�&½3§��µ�Ð�.�h�v§?���������S�*�·�A�?�&³�������]�U���«��¢<®?�»¢f� ¢?�S�mè.��¢0���z�7���?��³¢0�?�?¥¾�7�S���I¢0½S£�§z�����A���m¢?�¿�����°���A�P�7�2�]�m�

³

´ µ ¶ · ¸ ¹ º

³

Ñ����?�����)N�Mó�(���U¤R�����I¢f�7���?�»¢ß¢f�&�7Mz¯?�I¢0�.�4N�¥¼��]�I�¿���?�Uì

�0��¢?�A�7���?�Æ¢0��� �����0®?�*�.����� ���z¶(�����¢0�D¢0�����$�?���7�*¢0���������?�.�I¢0�&�&�?¥�± �]¢0�½2�Â�¢.�S�&���P�S£*¢<§D��¢0�7�*�¿�R¢?�A���.�7�h£�§��������¢0�$���0�\½ ���«�����º�������I¢0�7���?�z�3¢0�µ�?¥HL¾°E�F¿J7CHbÀ�ÁàÄE<ð*ñ¦ÅÆH�J�Ç.EmñÈÄlÉÆJÊ J?ñVêOÄ�ôo�����I¸?¹S¥��,±_S7S°N�¥º�]�&����¢?�¿�*�¢?���S�m�Sõ¿±

ËÍ�?�7�*�A�P�$��¢0�&�����º¶��.�¢0����¢?�&�.�*��¢f�����m¢0���m�¢<£����?�?�]�$���]�m±kâ~��� �������?½��7�m�A�7��®?�m�¾�0�>½ ¥�«¢0��������·���3�$�]�����?�3¢f���?�K���]�¢O��������¢O£��$�]���m�Mà�¢0�K£��m¢?����,���������·�S�3�m�~���?�(�AÉ��S£¡�*�$���7£�§P�7�I¢f���Y¢0�S§Â�$��¢0���?�?±Ñ����?�����\Oµ�7���0¶Y�~���S�*�Y�¿������¢f�7���?�,±

Ì

Í Î Ï Ð Ñ Ò Ó

Ì

Ñ����?�����)O�Mó�(���U¤R�����I¢f�7���?�»¢ß¢f�&�7Mz¯?�I¢0�.�4N�¥¼��]�I�¿���?�¡N

�(���]�$�T���]�]�Â�����U½��U¢0�«¢0��½S���.�S���7§°���­�������¢0���]�<à(�����*�&�����$£��m¢0�·¶��S�*�$�ó�0�K�����P���A�]��¢0�����S�

O

Page 4: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

�S�]�S�*�A���m�Î���óÑ����?�����TNP¢f���ÁÑ����?�����TO·�*� ���º½�������m�M±�¤R�P¢0�S§Â�]¢?���?¥Ð¢.� ���(�*�~���O¶z�?�]���]�A¢<£h£�§·����³�S�]�A�7���S�Ð�M¥S¶���¢0�(�����B�Í�ó�$�m¢<£h£�§��$�7���m���$�©¢.���7�m����*�Í�������¢?�$�S�����?Äo�Y¢f½S�¡£h���7§P���µ�������I¢0����¢&�S���¢0�½2�A������¥��I¢0�$���]�B����¢0�T���A�k¢f½S�¡£h���7§D�����¿���k�S£*¢0�$�Ï¢¶(�?�·¢0�,±À¨º�3�7�·�7��½��7�mè.���]�3�º���]�¢0��Ò����?�z������Í�U���?���?���Í�������?�]���S�]�d�´�$�7���ߢf���¢?�$�7���&������¢f��$�����3¢0�µ���*� �S£*¢m§.�m�K½��]�7¶(�]�]�&¢��·¢?���S�����¾æR� çI¥m¢�S���¢0�Îæ×âÍç�¢0����¢0�ª���3���]�$���?�3¢0�$�?�¾æ�¬�çI±S¤R�º���S�*�®.�]�I�¿���?�,¥�¬¾Äo�K¢<��� �´�9���P�S�]���]���©�����·¶��S�*�$�Á�?����f�G�$���Y�7¶(�K�]�3���������m�����p­O�7���Í�´�(�A�?�S®?�]�I�×������¶(������*�Í�����K�S���¢0��æ×Ñ����?�����iSVçI±

ÔÕ ÖÖ

× Ø Ù Ú Û Ü Ý

Þ ß à á â ã ä

ÔÕ ÔÕ

Ñ����?���$�\SIMß�����&¤R�����I¢f�7���?�)¢ß¢f�&�&¢?�Í�*�K�?�]���]��³¢O£¡£�§·���S���]�������]���m�Tæ×�(���B�����7�����Ï���m�7�]ç

å �����·¢m§ï¢?�7Òz¶��S§À�,���������ï�S�m�¿���?���m�È�����¤"¢Ì���ú�7���$�È¢����m�A�S£h�*¢0�U�¢0�����]�m± û�S§«������v������¢f½��?�����$���K¶��.�¢0�,¥S�����K�¢0�P¢f���������K���]³�S£*¢?�A�]�µ�]�3�]êå�(�S�*���S�S�m�B���.�B�¢0Ò.�&�����&��¢0�2�]��m¢.�¿���]�B���º�����S�]�I�7�I¢0���M±_@��·�A�?�S£*�D��¢<®?�����S�����?³�S���A�m�ï�$���Á¤"¢÷�AÉV¢?�A��£�§ï¢?�º��� �.�*�ï¶(�����È�����¶(�?�·¢0��³v�¢0�U�*���7�������]�S£*¢?�A�m�ǽS§������P�S���¢0��³�·¢?���S�������*������� ¢0���»���º�?½S®?���?���¿£�§z¶(�?�S£*�z���?�½2�k¢0�S§·�&�?���B�A�?�S�v���¿������± å ����¢0���?���&�]�S������¢f��]¢f�Á½2���¢?�S��¢0�3¢<�����7�����S�*� �*������¢f�B�¢?�$�S�����m�æ7¢0�(£��m¢?�7�K�����S�7�B����¢f�ß�A�?�S£*�º½���½��S�h£��B�?�Í���¢0�?³�����m�Ï���Uìmí?¸?¹Ðç_�S£*¢<§?������¢0�3¢<�����7�(�&�]�·���Ó�������P¢�S¢0�&��¶(�?�S£*�B�7�.�����B���´�.�*�A�S£��?���~¢0�M ��I�7�<±,���¢0��������I¢f�7�����P¢&¶(�?�¢f�,¥��?�º�������?�����]�¾��¢0���M¥M��¢?��S���?���]�~�����3�7�2�m�A�I� �0�,�7���]�A�m��� ���&�$�����]§.�m� �0�"�����¢<®?�]�A¢0�?�·���]�I�7�.�,±Á¤¿�ó�?�$���]�&¶(�?�I���]¥ ���Â�]¢f��½���$¢<�*�U����¢0�B�$�����?�]���S�]��³v½�¢?�7�m�Î�������I¢f�7���?���3¢0�&����]�I���$���k�µ�3���ª�;�?�K¶Í��¢0�mÄo���A�.��������±k���S�´�Ë¥M¶��½2�A£h���]®.�?¥,�*�9���?�B¢&®.�]��§Ó�A�?�S®.�����$�����D¢0���.���&�]�3�<±

�(���B�·¢<���P���m¢?���?������¢0�(�������S�m�$�´�×���.�T�A�.���A�]����³�����Ó�·¢?���S�����·�����?���?�S�¾�*� ����½��·½�¢?�7�m���.�����&³���I¢0�7�����«¢U¶(�?�¢0�Ç���À�$���D�3¢0�&�º�*�º�����?½�¢0½S£�§���?������¢f�Y�,���������·½��A£h���]®?�m�º�����K�S£��7���¢0�$�K���3�$�A£�³£��m�A����¢<£ß�$��¢<£h£��]���?������½��������P�]¢0��¢.�$���7§U���D¢?�A�£h��Ò.�¢&¶(�?�·¢0��æ×¢<£������?���.�����K�¢<§�½����A�?���v�?����³�����k�$�K�]�3���]�$�I¢<���������������?���.�3�]çA±�¬��?�S®?�]�I���A£�§?¥f����¢<§&½��B�A�.���$£����S�m�ª����¢0�������7�����&½��A£h���]®?�m�Í����¢0�¶(�?�&�]���]¢0�Á½2�·�������I¢0���m�ν3§Î�¢?�$�S�����m�©¶��S�h£���&�]�À�]¢0�����.�m± �����P�R¢?�A������¢f�P�,���7�����z�7�7������³£*¢0���m� �����(�¢0������½2�����]�S£*¢?�A�m� ½S§B�����(�¢?�$�S�����æR¶����]�º���K�����?�3���×���7�¾¢?�(�m¢?�¿�h£�§���¢<®?�¾���mè?�S�����m�������¶(�?�¢0�U����½����$�]�S£´¢.�A�m��½S§D�������¢?�$�S������?�&¢?���S�m�U¢P�$�]�¢0��Ò�����¢0���������$���0�*�A�¶�¢?�ß����³�7��½��7�I¢f�3�7�*¢<£vç �I¢<�*�7�m���������Âè.���m�7�7���?���Ë¥?½�����£��]�~������?�Y�.���?���m�$�]±

@Í�]�����*�º�?���P�AÉ��S£*¢0��¢0�7���?�È�f�©�����7������Äo���S�]³�¿���?�9MÀ����� �A�����$�*¢<£&�2�0���3�D�7�]�]�Â�º���Ç���º����¢0����������?�7���?���0�Yð Ê ð`H�J7HvðLÀ?ñµ ��?�����m�¾�µ�?���B���$�?����³���]�3��£�§º���Á�����7������Äo�9��¢0���]�K����¢f���*�K�A�?�&�&�?�S£�§¢?�$Ò3���0¶(£��m�S�?�m�M±�Ñ��?�¾�?�������S������¥��������3¢0�&�9����³���]���]�S�7£�§»�2�3���7�m�$�7�m���S�m�A�]���7���?�,±��(�����¢0�Ç�*�¢<£h£��O¶(�m�Ç������¢<§ ¢f�3§S���S�����ó¢0��¢<£h£Y���z�?�I�S�]�·����]¢0���7�D�$�������3�$�]�����?�3¢f���?�·���Á�·¢0Ò?�P�$���Ó¶Í���?��������S�]�3�7�h "�]¢0�����.�,¥�¶��S�h£��»�$���ó¶(�?�¢0�­�*��¢?�A����³¢<£h£�§«���mè.�S���$�m�«���ó¢O�´�ö���������3�$�]�����?�3¢f���?�æm±�¤¿������P�·¢?���S������®��]±ó¶(�?�·¢0�Á®.�]�I�¿���?�,¥(�������¿������³¢0�7���?�Ƕ(�h£¡£B�$�]�¢<���ó��������¢0�&�?±«�����P�¢?�$�S�����¶(�h£h£Â����§z���z�A�?�3®.�����A�������Î���S���]���$�?�3¢0���.������¢0����P�*���$���D¶(�?�¢0�,±øÃz��¢0�ª�*�P�$�m¢<£h£�§u�7���S�0����������¾�¢?�$�S�����?Äg���A�?�&�2�]���]���A�Í�´�~���?���$����¶(�?�¢0����D�*���S£*¢<§?�����È¢0�3¢<�����7�<± �����7������Äo�Î�7�]�]�������0£�§�;����®.�0£��?�������mè.�S�����]�&�]�S�I�Ç�¢<§å¢?�A����¢<£h£�§ã��¢<®?�®?�]��§z�7�?�����Ç�����]���*�7�m�]±»ËÍ�A�������]�P�����º�¢0�Ç��������D�?�]���S�]�$³v½�¢?�7�m�z¤"¢Æ���?�P¢0�S§óÒ.�����«�0���¢0³���S����� �*�K¢�¶(�?�¢0�,± å �T�$£��3���B�AÉ�¢0������¢0�7���?�,¥V����]¢0�·½��B�7�]�]�·����¢0�~¶���¢0���,���������������.���3�7�m�d�*�~����A�?�&��¢0�$�B�����K�¢.���S�����?Äo�¾�7���]�A�m���¾¢0�3¢<�����7�Í����¢0��0�,�����¾�¢0�,¥�ñIÀ7H����¾£��S�?Ò¢0��¶Í���]�����]�~���ÍÊo½��m¢f�I�]Ä�����D¶(�?�¢f�����«������¤¢içm±������Ó�·¢0�«¢0���Ç������¢?�$�S�����Ï¢0�$�k�µ�m¢?�7�����m�ª���Á�$�]���Â�Í�0�������A��� ���]³�7���m�A����®.�P���]���;�?�$�¢0���A�m�&¢0�S¢<�����7�����m¢<£�¶(�?�&�]�,±

è ���mþ4ÿ��*�\+��*�����+���+����.�"�g����� � ��+�� +��vþ ������#%��ýAþg���7þ'Mý��l��&\�(ý+��;!mþvý � � � ��# � �g�$ÿ�fAÿ����²�vþ����������l����*+�'��7þ�+;�vý������¬�����+��4ÿoý��*+�:

é �9�]ÿ�+Sÿ��p�&*f��7þ��������L��#gêp���<þ���+Vÿ��g�����Iê.�p���?þ���+�������= � �*�ÿ���&Ëÿoþ������L��#:

S

Page 5: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

¤¿�PÑ����?�����iO�¥?¶(�K�7�]�Y�$��¢0�(�����Y¶(�?�·¢0�&��¢?�(�.�*�7³¢f�����m¢0���m�Ó�;���.��������3¢f�&�?¥M½����B�������?½o�×�m�A�7��®?��v�?�,½2�?���������~�¢?�$�S������¢0��� �����~�¢0�9�´�����7�h£¡£S���&³���I¢f�7�����P¢&¶(�?�¢f�,±(�Y�3¢O���,¥M�$���A���K�2�]�7�v�?���¢0���A��*� �A�?�&��¢0�I¢f½S£��µ½��m�]¢0���7�·�����]§D¢0����½2�?���Á�¿������³£*¢0���������7�?�µ�]���S�����&¶��S�*���º�����]§�¢0���K���?�m±�����Yè?�S����Ò��~�0�"�$����¤¢z�¢<§B¶(�A£h£�½��K�A�?���A�m¢<£�³

�����ó¢Î�&�]�������S�0£��?�0�*�]¢<£K�R¢<�������m���·½2�]§?�?���z����¢f��AÉ��S£h�*�$����£�§«�7�A¢0���m�U½S§ �����7������±�ÃD�º���0£*������¢f��$���Ó¤"¢k¥~�]®?�]�«�����.���?�����·�*�����]�S¢0�I�S�m�z¢?�µ½��]³�����·�?½����A����� ½3§��·¢0�3§?¥Ð�´�K¢µ�]¢0���A�v�S£¡£�§º�S£´¢f�����m����$�?���3�$¢<£R±D¤R�������0®.�*�S�m�&¢ª� ¢<����½�¢?�¿�*� �v�?�&�A�?�&³��¢f�7�*�7�?�,à������K¶(�?�·¢0��æR�A�������]�K¢?�(¢���¢0���7�*�$����¢0�S���������� �3¢0�&�K�?�K¢?��¢·�A�?���A�]���]ç�¢?�A�I�¾¢?��¢µ���]��³�$�I¢<£_�2�0���3�K�7�&����¢f�Y����� �7¶�� ���&�2�3�7���]�I�¾�]¢0�º½��¢.���7�m���7�m�µ���º���O¶­¶��A£h£_�$���]§Té$�R¢0Ò?�mëV±�����7�����Â�A�?�S£*�·��¢<®?�Y�S�A ����m�·�$���Y�3¢f�&����� ½��

�S£*¢<§?�m�9¶(�������׶(�(���]�.�S£��?¥.���S��àm�.����½��A�����¾���S���]��³�$�?�3¢0���.�m¥O¢.�����·�������.�7���0����¢<£R¥Ð¢f�����������?�$���]��½��]³�����¾�A�������]��¢(�¢0� �?�_¢Í¶(�?�¢0�,±,�(���~���S���]�����?�S¢0³�$�?�K¶(�?�S£*�������]�D��¢<®?�&�$�P�S�m�$�´�S��¶Í���]�����]�B���������½��×�m�A�d�*��¢K�·¢0�&�?�(¢K¶(�?�¢0�,±���£����]�$��¢0�7��®?�A£�§?¥�$���Ï���ú�;�.�B�¢?�$�S�����&���S���A£h£h���.�]���A�T�]¢f�D½������]³���S���]�������]�$�m��¢?�&¢º���m�7�����Á¢.���7�m����¢��¢.���S�����?Äo�¢f½S�¡£h���7§�������¢?���Í�v�?�B¢·�S���¢0�D½2�A�����2±&�(�S�*�¾�*�7³�����K�¢<§Ï�7�]�]� ���µ�¢0���]�7�*¢<£_¢0�� ��I�7�m±;@Í�O¶(�]®?�]�<¥�$���(���3���]�$���?�3¢0�$�?�mÄo� �S�m�$�*�¿���?�·�*���7�����A£�§&�$�K½��K¢<�;³�v�m�A���m�ν3§Î�����Ï¢<®0¢<�h£´¢f½S�¡£h���7§zæR�?� £*¢?�$Ò�ç¾�0�ß�A�?�&³��¢f�7�*�7�?�,±ïÃz���]�����]�������P�·¢?���S�����?Äo�·�A¢?�7Ò�¶(�h£h£½2�K�m¢?�¿���]���?�(�&�.���ß�.�hùÏ�A�S£��Í�������S�*�~£*¢0�����]���]¢?�7��*��¢0���?�$���]�Tè.���m�7�7���?�,±ÌÃÎ�Á���S����Ò«�$��¢0�D�,����³�����9���S���]���S�m�µ���Í���µ�S£�§µ����¢0���7�?�µ���A�.�&��¢0�7�*�7�?������?�S£*�P½2�&¢m®0¢<�h£*¢0½S£��?¥,�v�?���.�����]��¶(�*�7�?¥M���&�A�?�S£*���¢<®?�Í�?�����m�©�;�?���$���Y�7¶(�?³v���]�.�S£��¾®?�]�I�×���.�Â�0�,������S¢0�&�?±��(�S�*�����&�S£h���m�·����¢0�µ�������3¢0�&�P�]¢f��½���S£*¢<§?�m�ª¶(�����P�����K�$�m�7�S£��BÊo�­�*���$���B¶(�?�¢0�,Ä�¢?�A³�$��¢<£h£�§��µ�m¢0�S�����óÊo�²�7�]�]�Â�µ�&�?���·¶(�?�¢0��³4£h��Ò?��$��¢0�Pâ¾Ä�±�¤R�������$�,¥�¢��&�?�$�K®O¢0�7���m���7�]���f�dè.���m�7³�����.���k�]¢f�Á½2�Â���7�m�U¶Í���]�Á�����µ���3�$�]�����?�3¢f���?�¾�*��$��§?�����º���D�7���S�?�·�����Â�.�]���S�]�k�f���$���Â�7��½��7�m�A�I�]±å ���A��¢0�3¢<���,¥�¶(�K½2�A£¡���]®?������¢f�������K�&�3���Y�7�]���¿��³½S£��&�$�m¢?�7�?�º½��]�S�����D�$���k�$�����]�]³v���]�I���?�D�3¢0�µ�K�*��$�Y��¢<®?��¢¾���]�����I¢O£���¢0���7§B�7�B¢?� ���K¢<£h£��0¶ó������¢?�7³���m���7�&�]�S�K�0���$�������&���]�I���?��¢0�7�����P��¢f���7���m�K¶(������$�m�7���m�A�¾�����m¢?�$���?�����]�m±¤¿�P¢0�S§©�]¢.�7�?¥�¢?�~¶�¢.���&�]�S�7���?���m�·½��A�v�?���?¥S�����

�Í�»�A�.���A�]������¢.���]®.�0£�®?�m�·�������?���.�Â�7���&�?±~�,����³

������Äo���?�����f����¢O£�¤"¢ ¢0���T���I�&�A�?���.���7���?���·�S�����?������Á�7�]�7���?�����A�?�������I¢<���S�I�º�?�ú�A���$���]�3�D�.�*���A���7³�¿���?���B¢f½��?��� �����&���m�7�<±B¤¿�K�*�K�?�]���]�A¢<£h£�§U¢0�?���]�m�����¢0�������U�?�]���S�]���*���7���ó¢f���ï�����Á�S����½��]�D�f���¢0���7�*�$����¢0�S�I�&¢0�$�Â���?� ����½��·�v�0£h£��O¶(�m�U�7���7�*�A�7£�§��� ¢0�$���]�&���I�9������¢?���]¥��A�7���7�*�$�*�7���?�B�S�A�v�]���Î��������K±�ë�®.�]�Ï�����7�������S���·�7�A£h��¥S���������K�7��½��7�mè.���]�S��7�m�A�7���?���µ�0��Ê�¬��?�&�����������U¨Ó¢.���S�����]��§�¢0����¤¿��³���A£h£h���.�]���A�?Ä�¥Â�7�.�&�]�7���&�m�ª���?���?���m�º�����m�7�U�*�������m�¢0���¼�v�Ð�A�����m���?�ã�$���Àè?���m���7���?�9M éO¬�¢0���¢0³���S�����m�&�A�.�&�����S�´�]¢f�������Á��¢f�����I¢<£�£*¢0���?��¢f�?�����¢D�·¢0�����]�&�����.�*�7�7�����?�S�*�7��¢f½S£��Î�v���?�÷����¢f�&�0�k¢�3���·¢0��½��A������ê]ë�±ó�(�S�*� �*�µ�¢0�S�h�;�m�����m�Î����������AÉV¢f�&�S£��À�A�?�S®?�]�I��¢0�����.�å���z�0��®?�m�Î���Æôo�����I¸?¹S¥�,±hS¦OpS?õR¥S¶��S�*�$�Ó�A�?�S�I¢<�����¾è?���m�7�����.���Y¢0½2�?�����2�?³�]����§?¥µ�¢0�����]�¢f�7�*�]�Á¢0���È�$���m����ìó�$�?�S�*�]�U����¢0��?���&¶(�?�S£*�����?�K�7§S�S�*�]¢<£h£�§U¢?�7ÒÓ¢f½��?���¾���U�?�I�S�]����Í ������?��� �����(�?�]���S�]���0�"�7�?�µ�]�?���?±��(�S�*� �¢<§½��&¢µ�S���S�K����¢0�Í�����B�?�]���S�]�¾�*�������B��������� ¤¢ï�*������S�]�m���v�?�������$���3�7�m�Í�0�,�R¢<���K�A�?�&��¢0�7�*�7�.�,±�Í�;�$�]�À�S�A ��S����������¼¤¢�¥P�,���������ø�S�A�v�]�����

�����P�$���0�*�A�P�0�Y�$�]�S£´¢.�$�������$���Té<¬(¢0���¢?�$�S�����m����S����Ò�ê]ëÈè?���m���7���?�D¶(�����»éO¬�¢0�P�·¢?���S�����m�9�S£´¢<§�����¾�������I¢0�7���?�·�3¢0�µ�0ê[ë�±������Y���]¶z�����?½S£��]���v�?³�A���7�m�~�?�����S���A£h£��m�A�$��¢<£Å�]¢0��¢?�$���7���m�(¢0���&�S�S�m�~���?�£��]�&���3§��¿�*�]¢<£Y¢?�7�2�m�A�I�9���3���]���;�]���·¶(�����U�?�I¢0�S�7��������3���A£h£h���?�]���A�����D¢0�U�]�3�7���7§?±�ËÍ�?�k�S�S�m� ��� £¡����������S����Ò?���������P�7�2�m�$�h "�&�I¢.�7ÒÐ�Í£h��Ò?�&�S£*¢<§.�����������m�$��?�Â�7�f£�®.����������Ô]ÔA£��m�]¥Y�¿�����A�������Pè.���m�7�7���?��³R¢0���S³¢0���7¶(�]�¾�&�]�������·�*�K�7�S���I¢0½S£������µ���S�������S���A�&¢0�S§���?�S�*�¾���¢f�0����¢0½S£��?±�¾�¼�´�$�7���«����¢0�U�*�U�?�2�]�ã���È�.�*���A�����¿���?� �*�

¶���¢0�D�����7�����«���&�S£h���m�Á¢f½��?���)¾¦À7í��¢?�$�S�����m��7���?�S£*��½2�&½��S�h£�� �?�K�����?�.�I¢0�&�&�m�ª���·�S£´¢<§º�����¤¢ �����]�A�m���¿�v�S£¡£�§?±]@����7�]�]�Â�¾���·½��A£h���]®?�&�$��¢0���h�¢D�·¢?���S�����D�]¢0�ǽ��D�A�?���7���$���A���m�Ç���D�S£*¢<§�������3¢0�&���7���]�A�m���¿�v�S£h£�§?¥M���B�S�3�m�¾���.�����m¢<£h£�§��¢0�����]�¶����]�����]�º¶���¢0�·���Ó�S�S�m�������$��¢0���]���z�*�º�¿���&³�h£´¢f�Ó�$��¶���¢0�P¢U�¢0�ï�S�3�m�ª�?�����?�m±î@��]�$������]¢0�D½2�Â�7�]�]�D����¢f�B�,���7������¢<£��&�3�7�¾�]���A�?���I¢0�.�m������3�7�2�m�A�7��®?�K¢0�����]�&���A�����K��¢?�$�������¾���m�7����� ���7��³£h��Ô]�ó¢f�3§ÇÒ?�����­�0�©�7�$�I¢0���]�?§Ç¶���¢0�I���3�]®?�]�<±ï@Í��]®?�]�k�A�.���¿�*�S�]�I� �������2�3���¿��½S�h£h���ק ����¢0�_¢Í�¢?�$�S�����¶��S�*���«�7���]�A�m�$�¿�;�S£h£�§z�S£*¢m§��µ�����P¤"¢ �]¢f�����?�½2��AÉÐ�S£*¢<�����m��½S§¾���I� �A���m¢0���?�A�M½��m�]¢0���������_��¢.�K½��]�]�½��S�h£���½S§ó�AÉ����]�7���&�]�S�I¢<£B�µ�]�����Ð���˱Æ@��0¶(�]®?�]�m¥�����AÉÐ�S£h�*�$���7£�§Á�7�I¢0�$�m�(����¢0� Ê ���Y¶��¡£h£�½2�k¢?�������&�m�

¸

Page 6: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

�$��¢0��������½��m�7�·�7���I¢0�$�]�?§º�´�µ��������§Î���������0®?�*�S�¢f���7¶(�]�I�(����¢0�Ͷ��.�S£´�ª��¢0�����I¢O£¡£�§�½2�B�0��®?�]��½S§Ï¢�·¢0�,Ä�ôo�����I¸?¹S¥M�,±9S°O.¸0õR±K¤¿�K�¢<§P½��·�A�?���$£����S�m��$��¢0�������7�����Â�S�S�m�����.��������¢0�S§�£h���©���A¢0�7���?���(�?����0¶ ���z�&�Ð�S�A£��3���·¢0�ú�A�.�?�S���7��®?���������A�m���7�m�]¥½����B���]�]�Â�¾�����.�´�$�A�?���I¢0�?�&¢0�S§P¢0�������S¢?��������¢f��S�]®.�*¢0���m�Í���S�k�����$�·�;�$�?�ã�����ÂéA�S���¢0��¶�¢<§���ë�¥�2�3���¿��½S£�§D½2�m�]¢0���7�·�����;�]�A£*�ß���9�*�K���S£h��Ò?�A£�§Á����¢f��$¢0�7�*�¿�R¢?�A���?��§K�7�0£����7���?��� �]¢0� ½����.½��I¢<�����m�9��� ���S�*��·¢0�����]�m± å �ó�������.�����]����¢0���M¥(½3§Î���?�Â�A�?�&³�©���$�7�����K�S���·�7�A£h�"���K¢0�S§K�AÉÐ���$�]�&��®.���]¶����0���S���?��$�����*�������?¥?����¢?�]�A�]���I� �����~���3�$�¿��½S�¡£h���7§&����¢0� �¢0³�$�S�����m�¾���?�¾�������*��Ò.�����P�S���¢0�D�A�?�?�S���7��®?�������?³�A�m�$�7�m��¢0�Y¢O£¡£��]¢0�P¢<£*�7�·��¢?���(�����K�$�m�7�m±�����B¤¢�¥�¢?�(¶�¢?�~�&�]�S�7���?���m�M¥���¢.���S�m�A�]���7���?�

¢f�����I�&®.�]��§Á���m¢f���m±�¤¿�&�*�µ�����]���A�v�?���P¢0����¢0�$�]�3��$��¢0�Ïé]�$���m¢0�7�����3ëT¶(�h£¡£¾½��P¢0�Î���3���]�.�I¢<£���¢0��� �0��$�������K±m¨º�?���]�0®?�]�<¥]½3§¾���?���7�7�����S£*¢0�7�����K�A�]���I¢<����$�m�����S�*è.���m�B�.�k�7���A¢0���]�0���m�¾���º½��&���7�m�M¥������7������AÉ��S£h�*�$����£�§ó¢O£¡£��0¶Y� ���S�*�]±��K�B�����7�����Á�S�m���A�7��½2�m����m¥.���P�$���K�3¢0�&�¾�����]���K¢0���K�������S£��m�¾�A�?���7���I¢O����³�����·�����B�S�m�¿���?�º�0�Å�$���K�¢?�$�S�����m�˱�����7�����������?�µ�?���m�¾�����m¢0�������µ���&�S£h�*�$����£*§?¥ ���3�2±

�Í��®0¢0�7���?���Í�S£*¢?�A�m�(���º�����K��¢0���]�<¥����B�S�m���A�7��½��m����0¶Ì�¢?�$�S�����m�D�A�?�S£*�Ƚ2�ÀéA�7���?�?�m��ëö���z�O®.�]��³�A�.�&�D�A�]���I¢<���«�?½����I¢?�$£��m�������.���3�7�m�ǽS§z�?�����?³���]�S�I�9�0�Y�������*�S�m¢��$��¢0�K�¢?�$�S�����m�&�]¢0�U���S����Ò"±��®?�]�$§Ó�.½3®.���?���K�AÉ�¢0�&�S£��µ�´� ¢0½��.���B�¢?�$�S�����m��·¢0Ò?�����È���*�7�A¢0Ò?�m�]± Ãz���]�������«�·¢?���S�����Ç�*��R¢?�A�m�·¶(������¢0�P¢0�7�������µ�]�7�*�]¢<£Å�.���]�I¢0�����.�,¥S���P�?��³�S�]�µ���?�&���D�f��®.�Ó¢<¶�¢m§T���A� �*�S�]�3�7���7§�½S§�½��A������R¢?�7�P¢f���«¢?�]�A���I¢0�$�?¥������]¢0�«��¢0���7�T�;�?�P¢f½��?���O.¹&�7�m�A�?�����ͽ��A�v�?��� ���m�7���.���.�����P¢f�������]�]¢?�¿���?��³¢O£¡£�§ï�0��®?��¢�¶����.���»¢0���7¶(�]�m± â��A�����À¢f½S£����$��]¢f����§·�?���ߢf�7�������&�]�7�*�]¢<£Å�]¢O£´�A�S£*¢0�����.���¾�R¢?�7�Y¢0���¢.�]�A���I¢0���A£�§·�*�(�?�]���]�I¢O£¡£�§��A�?���¿�*�S�]���m�ª���3���A£h���?�]�S�½2�]��¢<®?���?���ð?±�@��0¶(�]®?�]�m¥������7�����¶(�*�7���m�����Â��¢?�A³���¡ "�A�~���S�*�_¢f�,�������AÉ����]�������f�Ð�S���¢0��³v���m���˱Åâ~����$�S�´�ß�*�k�$���m¢0�7������¥��*�9���B���?�]êÀ¨�¢<§S½��?¥ ½����B�����¢f�7�������&�]�7�*�]�K�S�?�¢O���ª�*�K¢&�S���?�S£�§Ó�����m�$�h "���?���?±¬~���m¢0�7���������z���S�*�&�¢f�����]�Â�]¢0�����?�&�S�����mà~�h�k¢�·¢?���S�����Y�]¢f�&��¢?���d�����(���m�7�m¥f���(�]¢0�������]�&½2�Y���]³

ñ $1�����mý�������f����¡+4ÿ��g!����_&���fAÿ�����+²� ÿ�<�ª��e�������2�"�výIþ�+�$þ�� � �������7þ%�"�?���Ëÿ�+%���p��¡��f��7þ �"���ò�������� � �¿ÿ����+�=�ÿ��ÿ�+�þ �$þ��j���p��;�g���"����������4ÿ���e�X'1�]ÿ�ój'1�mý©�e�"�i�j�l���4ÿ�!���#-et`&Ëÿ���ÿ������*� � �7þ�+~ÿ��D+����×ý��&*+(ÿ�+�þ�������þ�&*��&P�"+ � �¿ÿ�����ý"�ýAþ�&]ÿ��p��þ�#¾ÿ�����������������:

�����?�?�A¢0�&�&�m�·���?�Í���Â�$���m¢0�Y¢0�Y¢f�7�������&�]�7�*�]�]±~¤v������S�S�m�~���?�������m¢f�m¥?�����Í���3�$�]�����?�3¢f���?���]¢0��¢?�7Ò&¢�.�hùÏ�A�S£���¢0�7�������&�]�7�*�]¢<£S�����?½S£��]�ú¢.�M�S�*�­m���]�� ��I�7�è?���m���7���?�ó¢0�����S�m�$�*�S�P����¢f�B���p­O�7���·�*�&�S�m¢O£¡�����¶(�����Ó¢©�¢?�$�S����� �7���?�S�������]�P¢0���ª�����]���?±¤¿�Y�]¢0�P½2�k�7�]�]���$��¢0�Y�����7�����Ï�S�S�m�(���?�Y���]�]�

���·½��&�7Ò?�]���7�*�]¢<£����0¶�¢0�I���(�$���K�*�S�m¢·����¢0�Y¢·�7�S�v³ "�$���]�3�7£�§ã�S���¢0��³4£h��Ò?�ï�¢?�$�S�����åæv�R± �?±´¥P¢ï�¢0³���S�����K����¢f���*�(�7�SùÏ�$���]�3��£�§µ�?�3���&¢0�~�S£*¢m§.�����������¤¢ ç��*� ½��?�����U�����·¢0Ò?�Â�7���$�U���*�7�I¢0Ò?�m� ¢?�K¶(�¢0��������½����$�Ó�$���3���¢f���]¥�¶(�������.���Ó¢0�S§��AÉÐ�S£h�*�$��������m¢f�7�����©�S�.����½3§ ���I�(�A�?���7�$�����A���?�I�˱_�(�S�*�d�*�S�m¢�¢<§Ó�7�]�]�ø�AÉ����I¢<®0¢0�3¢0�S�m¥2½����k�A�?���¿�*�S�]�7�����º������S���?��£��]®?�A£��f���7�?���S�*�7���´�]¢f�7���?�D���mè.�S�����m�º�v���?�Æ¢�¢?�$�S�����(�;�.�,��¢?���¿�����K�����(���K¥Ë�����7���?�S£*� ���?�_½2��.�*�7���*���7�m�ï¢?�µ½��A���������&�2�3���¿��½S£��?±å�K�������7�����¢<£*�7�U�&�]�3�����.���]¥����.���S�����Á�]¢0�ó�$�m¢<£h£�§ó�����?�U������¢?�$�S�����¾�;���.� �S�I¢<¶(����� �����A�?�����m�A���A�?���$£����¿���?���¶(�������?���D½2�A�����ú�7�2�m�$�h "�]¢<£h£�§¼�����?�?�A¢0�&�&�m�­����S�k�7�2±,�«�7���7��Ò.�����B�AÉ�¢0�&�S£��Y�]¢0��½��Í�0��®?�]���v���?������ �����S���A�7��®?� £��m¢f���S�����Ó�S�?�¢O���9M�ËÍ��£��m¢0���S�����¢<£��?�?�7�������ø�.��¢0�I¢0�S���]�m�¾�A�?�����m�A�¾���m�7�S£��I�Í�?������³�7�]�]�Á��¢0�A¢�±B¨º�?���]�0®?�]�m¥V���Á�7�?�µ�©�]¢.�7�m�K¢��A�?�&³�������]�K�]���I�Í���D¶�¢<§��(����¢0�B�]¢0�����.�Y½2���;�.���m�7�]�]�,¥�?� �]®?�]�B�����S�]�I�����3��� ½3§¾���I�������?�.�I¢0�&�&�]�<±,�(�S�*��]¢0�U½��P�.�*�7�����m�$�¿�������;�.�B�¢?�$�S�����&£��m¢0�$�S�����Î���]³�7�m¢0�I�$���]�I��¶Í���T¢f���P¢<�v���]�&¢P�©���S���¢O£Y�3����½2�]��0�"�©�´���I¢0Ò?�m�]¥0½��������$�O®.�m�,�������7��½���£��Í���0���S������¢0��¢?�$�S�����m���]¢0���¢0Ò.�����*�7�I¢fÒ?�m� ¶(�������?��� �AÉÐ�S£h�*�A³���7£�§T�����O¶Í��¾°À7í�H�À�ô0± ¯0�����A�&�������S���¢0����������Ð�]�]¢.�¿���?��¢<£h£�§T�S�A¢m¶¾�������A�?�$���m�A�ß�A�.���$£����×���.���Í����³�S���A�7��®?�A£�§?¥&�����Î�R¢?�A�P����¢f�P�¢?�$�S�����m�D�]¢0�È¢?�A��¿�����h£*¢0�7£�§&�7���?�S£*�B�A�?�S���7��½������~����������¢f���?���&�]�S�I�����¢0�~���A�;���$�������¾���?�7���?�&����¢f���¢?�$�S�����m�(�]¢0�����?��¢0Ò?�K�©�´���I¢0Ò?�m�]±�����7������Äo� ¢0�������3¢.���K���0¶�¢0�I���M�$���m¢0�7�����Y�7�]�]�·�

�¿�����h£*¢0�ó���ï����¢0�U�0�P�K��¢0� ¯?�������,Äo�«éI���S®.�´�×��³½S£��«��¢0����ë­�v���?� �m�A�?���.���*�]�]± ¨�¢<§3½2�»������³������Äo���A�?�S�v�?�������7§z���»�$���m¢0�7�����ó��¢.�����I�ª���S�?�I������S�´� ½2�A£¡���A�B����¢f�B�?�����]¢0�����?� �?�P���S���R¢0��½S§�7���$� ¢0�$���]�&���I��M²@��·�¢<§P���]�S¢0�I�D�$���m¢0�7�����D¢?�¢9£´¢.�7�����]�$�?�����,¥S�7�?�&�]�$�S�����������7�&�S�?�����?���~������¢?�$�S�����]³v���m�����f�G�$���Y���m���S£��������µ�¢?�$�S�����m������¢0�

õö ��&*�7þ�+>�$þ��¾þ�� ���7þvþ���&]�vý\W������4ÿoý�Pcl: /¾ý"�q���Ëÿ�+g!.�et!p�×þ�=¦, ���<þ §�¨÷=�!�!¥:�a÷§"a"t`a÷ø¨e0`=.�"��&², ���<þ ø�ùl=�!�!¥:7s�atúc/e07��ýIþf��7þ�#D�������7þ�� ��ÿ��]ÿ����T�"��&�ÿ��*+4ÿ������L�����j�7ý�g�[������+�ý�_�>�et� �Ëÿ����������þ��Ëÿ���� � #����mþ4ÿ��*��:

Q

Page 7: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

�.�����]��¶(�*�7�Ç��¢0���.£��»�$���ó�&�?�$�����&���.���I¢0�S�Á¢?�7³�2�m�A�I���f�"�S���¢0�&�A�?�?�S���7���?�,±�¤ �G¢¾�����.�?�I¢0�È����¢f���¢.�����A� ®?�]��§K½�¢?�7�m�����&¶Í��¢0�_¶(�(���0¶ �]¢O£¡£"�$���m¢0��³�������]¢0����¢?���������k���9¥3�·¢m§S½�� ¶(�K¶��.�S£´�·��¢<®?��$�k�$�]®?�*�7�B�7�.�&�K���?�7���?����¢f½��?���(�����K�S���¢0�·����³�$�A£¡£��m�A�m±d¤R���*�~���?���2�3���¿��½S£��K���B��¢<§�¶���¢0�������7�����¶�¢?�����S����Ò.�����&¢0�����$£*¢<���å�$�Y½2�Y¢0½��7�0£������A£�§&�A�?��³�$�m�A�m± ¤R���7�]�]�Â��¢.���¡�,���(¶(�?�S£*��½��¾�A�?�3�$�]�3��¶(�����¢ �¢.���S�����B�$��¢0�(�S£´¢<§��(�����K¤"¢ú�7���]�A�m���×�;�S£h£�§P����·¢0�����]�(¶���¢0�Í�����¾�������]�Y�&�m�$��¢0�S�*�7�Â�¾¢0���?±

����� ûª�9�9�7ü7�rüpýÿþ�� ����� �����A���jü7������� ������ ���

�����7����� ¶�¢.� ¢<¶�¢0��� ����¢0� �7�?�&� �0� �S�*��*�S�m¢?�ö¶��.�S£´� ½��È�.�����3�7�m�ø¢f�»�$���À�7���&�ï���¶Í���?���­Ê�¬��?�&�����������Ȩ�¢?�$�S�����]�$§ ¢0���¼¤R�S���A£h£h��³�.�]���A�?Äkôg�,���I¸.¹mõ�¢0���­���Á���m�����?���S�m�ï���z�7�?�&��.½��×�m�A�����.���¾����¢0�K���&½2�A£¡���]®?�m�U�S�*� ¶(�?��Òº¶��.�S£´�½2�Á�A�?�S�v���?�S���m�z¶(�����,±�¤¿�«�R¢?�A�m¥¾���Á�.�*���A���$�7�m����?�&�K�0�������m�7� �m¢0�7£h���]�¾���Uôo������Q?í<õ��?±~ÃD�B�.�����m�A��$���K���m¢?�S�]������ôo�����I¸?¹fõ��v�?���$���B¢0���7¶(�]�I�~���&�����HL¾¦E�À�� ÀÅ?ð���J��¦À°Ä��÷E���HvðLÀ?ñ�¥?¢f���������iJ7C�Å�� Ê EmñhH¥Á�C�À ÊE��.H�C�J���G÷E<ñ�G�À7C�É>F¿E*C��E�FrHvð`À?ñß�;�?���$���m�7�ߢf���(�I¢0�����]������$�A£��]®0¢0�S�����¾�������A�������]�S��¶(�?��ÒM±�@Í�O¶(�]®?�]�<¥m������$�]�¢<���S�����B�?½��7�m�A�7���?���~¢0���(¶(�?�����&�A�?�&�µ�]�3�7������.�,±�����! ¾°EJ?òpGïð*ñ HL¾°E�G�J?ñ2ò#"DÀ°Ä��÷E���HvðLÀ?ñ�¥�¢<£�³

�$���?���?�D�&�S�7�7£�§º���U�.�´���?�S�*�7�m�Î�;�.���Â�]¥G�´�9�¢0�S��³�v�m�7���m�©���Ó�7�.�&�ß����½��7�mè?���]�S�Y�A�?�µ�&�]�3�A���?��������Í�K±_�(�S�*� �*�]¥d���U���I��½�¢?�¿�*�µ�v�?���P¥�¢0��¢<®?�]�I�¿���?��f�k�������*�������D�0�&���S����Ò?�����z�¢?�$�S�����m��½2�m�]¢0���7��$��� �A�?�����mè?���]���A�m���f�©�$�S�´�º¶(�?�S£*�­½��ó�S���m¢?�S³�v�S£�ôo�,���A¸?¹S¥M�,±rS7S7S?õR±¾¨º�3�7���2�]�?�S£���£h��Ò.�&���·½��]³£h���]®?�·����¢0� �3���¢f���B¢0���Pé]�����m�$�*¢<£*ëD¢0�����$�S����ÒS³�������*���A�.���¿�*�S�]���m���?���K�f�Å�����¾�&�3�������&�2�?���I¢f�3��$�I¢<���I� ����¢0� �¢0Ò?�·�����7��±D���T���?�&�?¥������µ�*�S�m¢�f�Å�7��¢0�7�����Â�������P¢Pé[�3���¢f��ëk¢f½S�¡£h���7§�¶(�������¢0³�$�S�����m�¾�*�¾���?�B¢µ�S£��m¢?��¢0�S�K�����?���?�S�m±K�(�S�*�¾�?����³£��S�?Ò·¶�¢.�����$�?½�¢0½S£�§��&�?���K¶��´�S�m�������m¢?�·�����,����³������Äg���7���&�P�$��¢0�U�����*�&���0¶B±������7�����Á½2�A£¡���]®?�m��$��¢0�K���S�*��¢0���?���&�]�S�K�*� ���?� �]®?�]�D¶(�?�����Î���A�;��³�A¢0�7���?�,¥?¢0����¶����$�¢ͣh���$�7£��ß��¢f�I�]¢?�7�P¥?���I¢0���m� ����¢f��A�.���7�0£*¢0�7���?�ÇæR���]�$��¢0���9�����$���Â���A¢0���7�����?�I¢f�7���?��f�"�7�?�S£*�AçM�*� �&�?���(¢0�������?�����´¢f���Yôo�����I¸?¹S¥0�,±pS7S¥S?õR±$ $1�����mý����3������þ������7þ��������«�¿ÿ�����&Uÿ�+ª!*� � � ÿ�+�����&Çÿ��

sùø�ùl=.���<þ4ÿ�����ýAþ4ÿ��$ÿ��.�e���2#%'�þvý�����������!.�"!.�7þMÿ��]sù"a÷-l:

�(���]�$�ú¢0�$�À�7�?�&�­�����]�?���]�Â�z�7���0¶(�����¼��������0¶(�]�I�·�0�&�.�´�$�A���]���]³R�7�I¢f�����¢?�$�S�����m�º¢0���ª£¡���&³�����m�M±Y�(��� �&�3�7�Í�R¢0�&�?���(�f�Å�����m���K�*�¾�����?½�¢0½S£�§¢&%�3�S�A£RÄo�µ�����]�?�$�]�÷¶��S�*���z�7���0¶Y� ����¢0�����z�A�?��³�¿�*�7���]�S��£��?�0�*�]¢<£Â�7§��7���]�·�·�0�Â�7�SùÏ�$���]�3�º���0¶(�]�m¥¶(�Y�]¢0���v�?�����S£*¢0���Y���I¢0���]�&�]�S�I� ����¢f���]¢0�����?��½2������0®?�m�º�?�K�.�´�������0®?�m�º¶(�����S���Ó�$���©��§Ð�7�$�]�P±��¾�¢0���S£h�*�]¢0�7���?�z�0�Y���S�*���$�m�7�S£��&����������¤¢ �*���?����³£h�����m�Î���óôg�,���I¸.¹�¥M�,±9S7SS¸0õÅ¢f���������&���m¢.�S�]�B�]¢0����A�v�]�Y����ô�UM����QVì?¥hUM���]í7Q.õM�v�?�¾�&�?��� �?�P�����9���&³�S£h�´�]¢f�7���?�����0�_¢&%�3�S�A£RÄo�·�����]�.���]� �v�?���¢?�$�S����������?���?�S�m±�����7�����k�7�$���.���m�(�7���$�&���m���S£��A�������S�]���$�����7���7£��

����� Ê J7HL¾°E Ê J7Hvð'�J���À°Ä���E(�*Hvð`À.ñ�±D@Í�Â�7�I¢0�$�m�¾����¢0�Ê¡¢<£������?���.�K���,�*� �m�7�A¢0½S£h�´�����m�B�$��¢0�_�$���]����¢0�$� £¡���&³���I¢0�7���?���(�$�B�����K�2�O¶(�]�I�d�0�Å¢0�S§&��¢0�$�7�*�A�S£´¢f���¢0³���S�����?¥����K��¢?�Í�?�S£�§Ó½2�]�]�Á�7�I¢f���m�M¥�¶����$���?���B¢0�S§�7�?���µ�0�Y�����S�0��¥�����¢f�k���U�7�����°£h���©���A¢0�7���?���·¢0��³�S£�§Ó�$���������3���¢f�P���S���A£h£��m�A�mÄ(ôo�,���A¸?¹S¥M�,±rS7S3¸0õR±ë £*�7�]¶����]�$�?¥K�������?���m�·����¢0���$���3�7�Ó¢f���?���&�]�S�I�����¢0�·���m�7�&�.�{¢&%�S�S�A£ Äg�¢0���z�¿�����h£*¢0�������]�.���]�Â�¢0���·�I¢0Ò.���������B�v�?���?�I¢f�3���m�Î����¢0� �������¢?�$�S����������7�P���?���·¢0Ò?�����*�7�I¢0Ò.�m�]¥¾½����P����¢0���$�S�´�Ï�*����?�Y¢��$�mè?�S�����]�&�]�S�Í�;�?�~���S���A£h£¡���?�]���A��ôo������Q?í<õR±¦ �]����¢f���¾�����&�&�3���¾���µ���?���A¢0�3�K�.½��×�m�A�����.���*�

�����ÆJ7C�Å)� Ê EmñIH²Á÷C�À Ê ��À.ñ�G*�mðLÀ��7G]ñhElG�G]± ¯?�.�&����]�?�S£��K½2�A£¡���]®?�K�$��¢0���¢.���S�����m�(�7���?�S£*�µ½��K�A�?��³���$���?���(æ¿�?± ��±�¥m¢<¶�¢0���~�0�������A����¢?�]�A�?�µ�S£¡�*�7���µ�]�3�I�Ë¥�;�]�A£,�S£��m¢?�7���$�B¢0���7���]�A�m���]¥S�?�]�(�����7�]��¢0�~�R¢<�h£����$�?¥�]�I�0±hç¾���B�?�A�S�]�_���Í��¢m®.�����������]± ���_�$�����AÉ������]�&��0�����S�*��®?���]¶B¥0¶(�  ����]G�À��hð FhG[ð G Ê ±,�������?�S£�§B¶�¢<§����C�E�J)�'� ÉKÒS���0¶È¶����]�����]�B¢·�¢?�$�S�������*�K���S����ÒS³�����P�?�K���?�¾�*�9���4ÄE9����¢0�K�¢?�$�S�����?±D@��0¶(�]®?�]�m¥¢?�]�A�?�I�.�����K���¾���S�*� ®.���]¶ ¥0�������?�S£�§ ¶�¢<§¾���¾Ò3���0¶¢0���?�����]�Í�3���¢f��½��A�����&�*�(�$�S����Ò.�����Pæ¿�?�~�´�Í�A�?��³���$���?���]¥���¢f���3§?¥��]�A�0±hç¾�´�~����½2�K����¢0���S���¢0��½2�]³������±��(�S�*�¾�*�K���7��¢O£¡£�§Á�]¢O£¡£��m�U�����5À7HL¾°E�C Ê ð4ñ�ò�GF�C�À°Ä*� E Ê ¢f����¶(�h£h£9�����O¶����z�7�]®?�]�I¢<£��7���&�m�©��������Á�.�*���A�����×���.���P�f�©�$���T�Í�K±¾Êo¤R�������m¢?�z�0�&¢0��³�?�S�����P�A�?�S�7���3��¢<£h£�§��0®?�]�Y�$�S�´�Í���f���S�¾���¾�*�¾���7��¢<£���&��¢<®?�K����� ���0£h�������A�?�3®.�]�3�7���?�º����¢0���]®.�]��§?�?������S����ÒÐ�ËÄKôo�,���A¸?¹S¥(�,±jS7S¦Q0õR±«�����7������Äo�µ���m�7���.���7����������&¢0���.���&�]�3�Í�v���?�ø�A�?�����$���?���7���m���ß�*�K�¿���&³�S£��?¥�½������2�O¶(�]�7�v�S£ M��(���Y¢<£����]����¢f�7��®?�Y�$�K������¤¢æR�?�_�×���©�¡£*¢0��½2�]��¢<®?���?�I¢O£Ð¢?���7�m�$�7�&�]�S�I�Aç�¶(�?�S£*�K½2��7�0£h�����¿�*�7� ¢f���K¶(���S�¾���?� ���I¢?�A�7�*�A���$�S�´��¢f�3¢<�����7��?�����]�¾�3���·¢0���]±(¤R�<Äo�(�?�S£�§·�R¢<���Y����¢f�(���T�S�m¢O£¡�����

R

Page 8: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

¶����$�&�¢?�$�S�����Y�����.���?�3�<¥?¶(��¢0½�¢0���S�?�&�$���ß�A�?��³�$�$���.���7���m����¢0�$�?���&�]�S���A¢0�����]�(����¢0���A�?���A�m�S�B�$����0£h�����×�´���P±�����7�����B½2�A£h���]®.�m�(����¢0� ������¤"¢»�7�]���7�������]¢0��½��

�����m�D���P�S�]�$�]���������¶Í���]�����]�&Ê¡���?�&�]�?���&�$�m¢<£h£�§�����S�]�A�7�I¢0���������?�&�]���S�����·�?�(��¢?�~£��m¢0���S�(������¢0��³�$�?�K�R¢?�7�S���?�,Ä�¢?�ß�´� �¢f�S�¡�v�m�7���m�Î���U��������¢0�&�S£���A�.�3®?�]�A��¢0�7���?�������0��®?�m�¾���óôg�,���I¸.¹3¥��,±rS7S°Q0õ¿±K¤R������?�S£*�Á¢<£*�7�º½��·���?���m���$��¢0�B�,���������D�7�A¢0���m�¾����S�S�m�Í���?��¢?���7���&���A�?�����$���?���7���m�$�����µ½��k¢©���7��®3³�*¢<£��.�¾���µ���]���7�����]�S� �´�$�7���?à����&�&�]�$�A£�§�½2�A£¡���]®?�m��$��¢0��¶(�k�S�·���?�¾���m�A�m����¢0�7�h£�§����]�m�º���Â�7�0£�®?� ���I���§��7���]�7���m�º½��A�v�?���U¶(� �]¢f�ú¢0����¶��]��è?���m���7���?���¢f½��?��� ���S����Ò?������¥�¢0���º���U��¢0���7�*�A�S£*¢0�m¥ �¢.���S������$���?���?�S�ßôg�,���I¸.¹3¥V�,±�S7S�Rmõ¿±����� J7C�Å)� Ê EmñIHLGDÁ�C�À Ê K�J¥CIðLÀ��¥G ò?ð G�J°Ä]ð��hð`HvðLE�G

¢f���B�0�(�����k���?���&éA�¢?�$�S�����m�K�]¢0�����]®?�]�B�S��+YëV¥¶Í���]���+Á�]¢f�B½��(¢0�S§Y�S���¢0�K���A¢<���_�7���$�B¢?�M��¢<®3³������¢&�7�]���7�K�f�Å�S���&�?�m¥V½��A�����Ï�A�$�m¢0�7��®?�?¥S�R¢<£h£h��������º£��0®?���?�Y�]�p�7�0§?�������7���I¢<¶�½2�]���7���m�]±¾�K�Y�����7�����¢O£´�������?���m��ôo�����I¸?¹S¥¾�,±gS7S3í0õ¿¥��7�����«�A�7���7�*�$�*�7�Â�¢f���ó�7�?�&�]�����µ�m�Á�.�*�7�?�S�*�7�m���v�?���Â�T�0�Ï�$���»¢0��³�.���&�]�3�9�;�$�?� �A�?���$�$���.���7���m���]±D�����7�����D¢0���?���m�¢f�3¢<�����7�B�7�?�µ�&�0���$���m�7�,+ Äo�K�7���$�Á¢?�9�����¢0½S�h£�³���7§K�����·¢0Ò?���©�´���I¢0Ò?�m�]¥<�]�p�7�O§B�����I¢<¶�½��]�$�7���m�_¢0����A�$�m¢0�P¥(½����������7��½��7�m�A�Â�f�Y���I�µ�0¶��ó�����.���?�3�<¥�]�A�0± ���Áôo�����I¸?¹S¥����,±�S¥S.-0³�S3¸?¹fõR±/9J?ò¥É0/XÀ¥K�E1� J��E�" G)À°Ä���E(�*Hvð`À.ñï�*�ó�¿�����h£*¢0�màU���

���I¢0���m�9����¢0�K�¢?�$�S�����m�&�]¢0�����?� �?�7���0����¢0����¢0�S§3³�$�S�����2¥3�]¢0�����]®?�]�(�S�B¢0�3§S���S�����B���]¶ ¥?�]¢0�&���]®?�]����������7�*�7�����]± �����7�����À���]�S£h���m�ν3§È�A�?�S�v�m���¿������$��¢0���¢?�$�S�����m���S� �I¢0Ò?�Í�S���¼½3§&�7���$���7�*�7�ßè.�S������f�;���]�,±�¦d���?���.���]�3�I� �f�1U�¢?�S§DUM�0®?�A£*¢?�A�?Äo���.½��×�m�A³�����.�Ó�]¢0����¢<§Â����¢f�BÊ¡���������7�������7�*�7�m�¾¢0�����S���k�$����?�&�K�A���m¢0�7��®?�¾�&�]�S�I¢<£G¢.�A���?��ôo�����7������Äo�7õM��¢0���<¥¢f���K���AÖ��m�A�����K�A���m�.�����?� �������·¢?���S�����?Ä�ôo�����I¸?¹S¥�,±�S3¸�ì]õR±������7������Äo�&¢f���7¶(�]�&�������S�*���*�·�¿�����h£*¢0��$�D�����P�.���P�����0��®?�m�µ���D������¢0���?���&�]�S�µ�;���.��A�.�����$���?���7���m����MöÊ¡�(���Ó¢f�������m�$�*¢0�7���?�«�0�&�7�?�&�]³�$�S�����«¢?�º�7�������7�*�¿�����z���mè.�S�����m�D¢?�ª�k���$�«�0�¢Êh�A���m¢0�7��®?�¾�&�]�S�I¢<£_¢?�A�mÄ.¶����]�����]�������B���������7�*�¿������]®.�]�3���.�7���0����¢0���m���;���.� ¢µ�¢0�,¥2¢�½��S�?ÒM¥�¢��¢0³�$�S�����B�?�¾¢0�3§S���S�����&�A£*�7�?±�Ä ôo�����I¸?¹S¥��,±�SS¸�ì]õR±�����7�����D¢<£*�7�D�A�?���¿�*�S�]�I� �����«J¥CúÅ)� Ê E<ñhH�Á�C�À Ê

�À?ñIHvð*ñ��3ðLH�ÉÁð4ñ�HL¾°EÁñIE�CK�À��¥G«G�É*G÷H�E Ê ±å�K���������¢f�&�k�7���.�?�m�7�I�]¥2���S�*�¾�?½��7�m�A�7���?�D�7�I¢f���m���$��¢0������*� ���&�2�3���¿��½S£��P�$�Ó�µ�Ð�S�A£������·½��]��¢<®.���.�&�0�Y�����

���]��®?�?���¾�7§��7���]�²�?�Ó¢·�.�*���A���]���]³R���I¢0�����¢?�$�S�����½��m�]¢0�����k�$���¾�;�?�$�&�]�(�*�Y�A�.�3�7���S���?���]±g@��0¶(�]®?�]�m¥�,���������U½��A£h���]®?�m�·����¢f�k�$���Ó¢?�A�7��®.���קU�0�ߢÎ�A�?��³�7���3���.���·�¢?�$�S�����D�]¢0�ǽ��óé]�.�*���A���]����Ô]�m��ëÎ���«¢�¢0�����]�K����¢f�������K���S���]�����.�3¢0���?�¾�]¢0�����?�¾���?�7�*�A��S���7�����������K¤¢�±Ñ�����¢<£h£�§?¥������]���Î�*�P�$��� J7C�Å)� Ê EmñIH�Á�C�À Ê ð*ñ2�

Á÷À¥C Ê J��hðLH�É�À�Á Ä"E�¾°J7K<ð`À¥CI±�¤¿�3���S���7��®?�A£�§?¥����&�7�]�]�·����B�*�����.�B���S���¿��½S£��P�����A�?�&�·���Á¶(������¢P���]�k�f����S£��m�¾����¢0�Y�S�m�$�A�7��½��&¶���¢f�Y¢����]�A�7�?�P¶(�?�S£*���S������S�]���]®?�]��§��¿������¢0�7���?�°���¢0�0����¢0½S£��?±«¤¿�ó®?�]�$§�¿���&�S£��D���]���·�]¥����?�&�����]�.�S£��ν��A£h���]®?���������v�0£�³£��O¶������IMDÊo¤ �B�m¢?�$���¢0�ó��¢.��¢Á�S�A ��S�����D�7�]�&�f����S£��m���0�Y�A�?���S���A��½S§Ó¶Í�S�´�$�����·���]�?�S£*¢0���m�Î�S�*�£h�¡�v�?¥M����¶(�?�S£*��½�� ���½2�]�����]�¾����¢0��¢��¢?�$�S�����?±â~���K�����]���k¢f���B�����7���$�P���S£��m�]¥,�7�µ�&�]�D�]¢0�����?�½�� �¢?�$�S�����m�˱�Ä_ôg�,���I¸.¹3¥V�,±�S3¸7N0õ¿±ÅÑ����I���m¥������7��������?���m�µ����¢0�&�$���]���P�����?�S�&½2�T¢Î�A�?�S�;���×���.�»½2�]³�7¶��]�]�ºÊo���S£��m�(�f�Å�A�?���S���A�mÄ�¢0���ªÊ £*¢<¶Y�~�0�_½��]��¢<®S³���?�mÄ�±�â~§Á�����µ�v�?���&�]� ���Â�&�m¢f���k¢.�A�7���?��� ����¢0��?���Ó�]¢f�����]�7�v�?���÷¢0���U½2�Ó¢<¶�¢0���·�0�Bæv£h��Ò?�?¥¾Êo¤ �§?�?�ó�7�]��¢º���m�U£h���?�S�m¥������?�,ÄhçB¢0���U½S§Á�$���·£´¢f��³���]�����K�&�m¢f���~£*¢m¶¾�(�0�_��¢0�$�����K����¢0��¢0���S£�§����&¢�¢0�,Äo�~½2�Ð�S§ºæ×�7���$�Ï¢.��Êg¤v�_§?�.�Â�����$�O¶z¢���¢0����¢0��S���P¥����·¶(�h£h£ß�S���$Ò"ÄhçA± ËÍ�0¶È��� �´�©���?���]®?�*�S�]�S�����¢0�&¢P�A�.�&�S£��]���Ï���]�k�f��£*¢<¶Y� �0��½��]��¢<®.���?�Â�S����?���AÉS�*�7�m±�ÃD�K�]¢0�· ����º�7�?�&�¾�0�_�����m���K½3§����$��³�]�3���¡ "�·�.½��7�]��®O¢f�7���?�Á½����������]�$�¶(�h£h£����?�&�A�?�&�¢��7���&�º¶����]�ó¶(�P�]¢0��½2�Ó�A�?�S "�S�]�S�¶(����¢<®?��7�m¢0�I�$���m� �]���?���?�&¢0���9�����]����¢f�������K�7���$�k�$�S£��m�˱�Y���.�����]�K���0���S�B�,���������º�¢0Ò?�m���*�¾����¢0�Í���K�¢<§���?�Y¢<£�¶�¢<§Ð�~½2�B���S���¿��½S£��B���&���$�m�.�´�A�Í�����¾�;���$�����½��]��¢<®.���.�K�0��¢Â�.�*���A�$�]���]³R�7�I¢0�$�k�·¢?���S������½S§��?½�³�7�]��®.�����¾���A��¢?�A�7���?���]±�¤R� � ¢.�A�m¥0�����*���7�K�A�?�S "�S�]�S�¢0½��.���k¢��A�]���I¢O���Î�����?�?�I¢f�ø����¢0�K���Â�7�]�K���U�?������Á¨�¢0���$���m�7���]���A�?�&�������]�º����¢0�·����Ê¡�S�A��ô ���m�7õ¢0�S§?�?��������£��m¢0�$�U�;���.� ô ���I�7õ(���]�S£h���m���7�SùÏ�$���]�S�¢0½��.���K�����B�����.�?�I¢0�&�µ�B���&½2�¢0½S£������·�����m�.�*�A�¢0�S§K���]�S£h���m�d�������S���7���m� ®O¢<£����m�]Ä�ôg�,���I¸.¹3¥<�,±*S3¸7O0õR±

���'3 4©�h�rü7�j����65 �877�j���j����,���������«�S�]®?�.���m���7�?�&�U�7��¢?�A�D�����$�����*�S�m¢ó�f�EIò)�.�J7HvðLÀ?ñ4ÀeÁ Ê J���¾Sð*ñIE�CÉK���UÊ�¬��?�µ�����7�����Ϩ�¢0³���S�����]��§«¢0���Ǥ¿�3���A£h£h���?�]���A�?ÄBôg�,���I¸.¹0õR±Ã@Í�D¢<£*�7��.�*���A�����7�m�Í�����Í�´�$�7���K�����S�*�(�m¢0�7£h���]��¶(�?��ÒªÊo¤R�S���A£�³£h���.�]�3�K¨�¢?���S�����]��§MÄ ôo�,���Q?í<õR±

-

Page 9: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

�K�]�A�?�I�.���������·�,���7������¥V���P���$§?�����·�����������I¢0���¢f�ó¢?�S�S£��Â�S���¢0���������M¥(¶(�P�7���?�S£*�Ç�A�?���¿�*�S�]��$�����]�·�*���7���m��Mº�����·���S���7�*¢<£9���I¢0���·�0�K�������������M¥�$���Ó�m�S���]¢f�7���?�Ç������¢.�&½2�]�]�À�7��½��7�m�A������¥�¢0����.�����]�_�AÉ����]�����]���A�Í������¢?� ½��]�]�&�7��½o�×�m�A����� æR����¢f��]¢f�����?��½��Y�S�m�$�A�7��½��m�·¢?� �m�S���]¢0�7���?�MçI±��(���]�µ¶���©���.�3���$��§Â�$�&�&���S�A£d¢&�$�S�h£*�MÄo�¾��������¢0���ÁéA�m�S³���]¢f���mëª���������?½��A¢<���Á�����·�&���S�A£��0�Y������¢?�S�S£��½��A¢<���,±·¯0�����A�ºÊo�����m�����¢0½S£�§������&���S�h£*�S³v½��I¢<���U�*����?�&�]���S������£h��Ò?�D¢����?���]³v½2�3�.Ò ¢?�©�?���P½���§�������v���?�¼�����B�7�I¢f�7���?���]�I�]à.�I¢0�����]�~£h�����7£��K�&�m�$��¢0�S�*�7�¢f���z£��?�I�º�0�&½S£*¢0��ÒÈ�7���]�]�I�]Ä ôo�����I¸?¹S¥B�,±©S3¸¥Q0õR¥�S�]®.�A£��.�S�����«¢°�����?�?�I¢f� ����¢0�P�¿�����S£*¢0���m�ª�����*�½2�?����������½2�&�m¢?�¿���]�:9?± å ���A�?���I�7�?¥��������m�S���]¢0³�����.�·�´�¾¢0���?�$���]�(�*���7���?±������7�����Â���$�?���3���m���7�?�&��µ�]�����Ð��� �f�"�m�S���]¢0�7���?�©�;�?� �������$�S�¡£*�S³v�¢.���S�����m�æ7�7������¢?��¢­���]¶�¢0�I�I­m�����S�*�7���&�]�S��½�¢?�7�m��¢0��³���$�3¢?�$�Mç_���Uôo�,���A¸?¹�¥S���,±hSS¸7Q0³�S°Q?¹fõ"¢0����ôo������Q?íS¥���,±�ìpRm³ N7O0õ¿±�����7������Äo�U�.�S���S���?���U�.�È£��m¢0���S�����È�¢?�$�S�����m�

¢f���D�I¢0�$���]�·���S���]���m���7������¥B�m�����m�$�*¢<£h£�§å�A�?���¿�*�S�]��³��������� ¶����?��� �����m�7� �&�?��� ����¢0�Ó¸.¹&§?�m¢f�I��¢0�?�2±ÃÎ�P¶(�h£h£ß���.�Ï�.���?���m�$�����S��� �.�*���A���$�¿���?�����0�K�S�*��*�S�m¢?�9�?�������Â�7�2�m�$�h "�]�B�.�K���������m¢<£h��Ôm¢0½S�h£¡�4�קÎ�0��S�*�·�����.���3��¢O£´�˱ÀÃÎ�P¶(�?�S£*�°£¡��Ò?�Î���Á���.���P�?����$�S�����º�����?���?�9M ¤R�Î�&�3�7�K�S£*¢?�A�m� ¶����]�U���Â�.�*�7³�A���$�7�m���m�S���]¢0�����.�&�0�,�¢?�$�S�����m�]¥?�����]�$�(�*��¢¾���?��³�*�]¢0½S£��B�$��¢0���?�Í���P�,���7������Äg�����ק.£��?±;@��B�7�]�]�·���$�½2�A£h���]®.������¢0� ������¶�¢<§K���Y�����]�A�m�������©�S�]®.�A£��.�S�����¢·���$�?�?�I¢0�²����¢0�K�S£*¢<§��K������¤¢�¶(�A£h£��´�9�����?½�¢0³½S£�§µ�;�f£¡£��0¶(�����������¾�3���¢f�Â�&���S�A£_¢?���$£��3���A£�§�¢?��2�3���¿��½S£��?±&�K�K¶�¢?�Í�&�]�S�7���?���m�T���°¯?�m�A�7���?�4N�±�ì.¥���·�S�3�m� ���?�K������¢0�3§D�A�?�������I¢<���S�I�¾�?�D���0¶å�$��S�m�×���.�������Y¤"¢Y³v�S£*¢<§?�����·�¢?�$�S�����?¥�½����(�������R¢?�A��$��¢0�Å�S�m�$�A�7��½��m� £��m¢0�$�S����� �¢?�$�S�����m�����·�7��½��7�I¢0��³���´¢O£ß�S�]�I¢<�h£B�7�]�]�Â�µ���Á�7���?�.�m�7�&����¢0� ¾°E·¶��.�S£´����$�A�;�]�Y��������¢0�P¢0�������3¢.���,±¤¿�¢0�S§&�]¢?�7�?¥?�����7�����B½��A£h���]®?�m�¾Ê4ð Á ¶���¢0�$���$��§3³

���������º�����Ð�S���A�P¢f�����3���A£h£h���?�]�S�Â�¢.���S�����?¥�¢0���¢f���jÁ�À���� À7í�ð*ñ¦ÅDHL¾°E²¾.� Ê J?ñ Ê Àmò¥E1�rJpG;�1� ÀpG�E1� ɲJpGí;E<�J?ñ�ľôo������Q?í�¥Í�,±Bì�S�¥Í�]�&����¢?�¿�*�º¢?���S�m�Sõk¢=����mþ4ÿ��*��+������[+��vý � � � ÿ���f�g���.�"� � þ ��ÿ���+�ý"�h����' � ýAþ��

� � � ÿ���+>�$þ��;>�?*@BA*CD?FE�?�G�?: (�ý'r��f��7þ�=����©����+vý²�×ý��+4ÿ�&*�7þ�+���*�Yý!�!0ý+4ÿ����\�"��&_+�� �����+g���.�"�g'r�?�~ÿ�����������7ý�&��i���*�ÿ��l��ýIþ����"�4ÿoý��?�"��f��$þ4ÿoý��*+h<Aÿ��*&�+Mý�p+�� ����*+�����f� ��+1^��: �*:�=���+Lt� � � � ÿ�+��*��&i�`�����+�=p�7ý�� k �������mþ���+�=7+�� �"�����[������+���ÿ�f��� � #?�"��"�����<ýIþ4ÿ��L#�dj�"��&]���*�×þ�� � #9ÿ��[!l� ÿ���+[���p��;'r���>�e#%�(ý�&�����"��#IH ÿ����.�"��������+�+�Y°���*�7þ��;�>�e# � �g, ���mþ §¨l=.!*!7:pa÷§�J�tLa÷§-�0L:

�?�S�Ð�Tæ×¢0���µ�R¢<���]ç�¢0�������3¢?�$��¶(�?�S£*��½2�B���&¢<£h£��0¶�����B�·¢?���S����� ��� £��m¢f���D�7���7�(£h��Ò?�B�S���¢0���˱

���'K ���jü7�������MLDü7�����N7¦�7� �1���,���������2Äo�&��¢f���]�Pôo�����I¸?¹<õY�A�.�3�I¢O�����µ�7�?�&��®?�]�$§½��0£*���A�?�µ�&�]�3�A���.�&�����¾�����3�7�2�m�A�I�~�0�_�¢?�$�S��������3���A£h£h���?�]���A�?±Y¨º�3�����0�_�$���m�7�Y���$�?½�¢0½S£�§Ï���]�]�&�m�£h��Ò.�P���$���]���A�· "�A�7���?� ¢f�B�����·�7���&�?±«ëd®?�]�D���0¶B¥�7�?�&�¾�0�,���~¶(�?�S£*�Â�A�?���×�´�S�]�Í�����m�7�Í� ¢0�$³4�;�]�I�$���m�M±�(�S�*�D�7�m�A�7���?�È¢<���Â�º���Ç�����0®?�*�S��¢»�$¢0�&�S£��Á�f��,���������2Äo�(�����m�.�*�A�7���?���¾����¢f��¶(�Í�;�.�����µ���S���]���m����³������±¤¿���*�P¢U¶(�A£h£�³vÒ3���0¶��­� ¢.�A������¢0�P�����7�����»½2�]³

£h���]®.�m�&�A�?�&�������]�A�K���º½����]¢0��¢0½S£��Â�f���2�]�7�v�?���&³�����&�¢0�S§Pé$���3���A£h£h���?�]�S�Ië��I¢?��ÒÐ�]±�@��K¢<£*�7�����S����Ò������¢0�������]§�¶(�h£h£"½2�ߢf½S£��Í���B�S�k�7�¾����¢&éA�S���¢0��ë¶�¢m§?±

�(���­���m¢?�S�]�������7�ó¢?�]�A�]���U���»¢.��¢�R¢?�A�¾����¢0�Y�.���0���I¢<£��A�?�&�����$�]�I�Y�]¢f�P½���A�?�����������A���m�M¥�¢0���µ�����S�]�m����¢<®?�ͽ��]�]��A�?�����������A���m�M¥S¢?�]�A�?�I�.���������K��������������³�$���S£��m�K¶(�K��¢<®?�B�S�m���A�7��½2�m�M¥_¢0���·����¢f������]§²�]¢0�ã���²�R¢?�A�ó�©���©�´�������È¢?�A³�7���?���T�0�Ï¢��S���¢0�å�A�.�&�������]��®?�]��§�$£��3�7�A£�§Uôo�,���A¸?¹S¥��,±�S°O�-fõR±

�K�Y�]¢f�Ó½2�&�7�]�]�º�;���.�ã����� �;�f£¡£��0¶(�����Pè.���?���?¥�,���������ǽ��A£h���]®?�m�º����¢0�������D�.�hùÏ�A�S£��7���m�ª���À�S�]³�¿���?�S�����È���S����Ò?�����È�¢.���S�����m�U¢0�������?�D����������³�&�?���S�I¢0½S£��?±

�K� ¤,��¢<®?���AÉ��S£*¢<�����m�M¥?�����(�����.½S£��]�ï�*��¢O���S£�§��?���·�0�Y���$�?�?�I¢0�µ��������±��ß�S³®0¢0���A�m� ���Á�]���f�����]�]�������ζ(�h£¡£���¢<®?�&�$�½2�K�¢?�S�K���S��¥?½����~���Y�7�]�]�·�����S£h��Ò?�A£�§����¢f���$���m�7�Y¶��¡£h£,���?�(½��K¢?�S�mè.��¢0���Í�;�.������ ���mè.�S���$�]�&�]�3�A�Kôo�����I¸?¹�¥S�,±�S3¸.¸0õR±

Ãz�S�h£��&����§.���������P�A�?�S®?�����A�&���������m¢.�S�]�K����¢0������~�*�S�m¢?�,���(�����.���3�7�m� ¢0�����f���������7�.���,����¢0� �]¢0�½�� ���m¢<£h��Ô]�m�·���������Í�;�?�$�m�7�]�m¢0½S£��K�v���������?¥������7������&�]�S�7���?�����7�?�&���A�?���A�$�]����¢?���S���]®?�]�µ�]�3�I� ���(�AÉ�³���m�A�I�©�v���?� �A�?�µ�������]�I�]±ó�����3�7������¢0�&¢0�$�����]³£*¢0���m�U�����¢?�$�S�����·£��m¢0���S�����D¶(�]���·�?���7£h�����m�U���¯?�m�A�7���?�3N�±�OV±«@��]�$�·�´��¢0���.�����]���AÉV¢0�µ�S£��?¥d���S�*��7���&�����]�$�I¢<���S�����Á���D¢0���$�?�¢0���m�Î�7�0�v�׶�¢0�$�&�]��³�0�����]�]�7�����hM

í

Page 10: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

ôo�(���(�¢?�$�S�����]õ��¢<§ ½������7�m�©���K���A£�����Â�¢fÒ?�����B���µ���I�~�0¶��������?�?�I¢f�&�&�m�]¥�?�D���­�����m�.�*�A�Á�����Ç��O,�m�A�D�0�P¢<£����]��³¢0�7���?���~���ª���A�(�0¶��P�7�������A�$�����?±P1PQP�(���m�7� ¢0��� ���3�$�¿��½S�¡£h���7�*�m� �f� ��������m¢0�·�v���������?¥¾�I¢0�����]���$��¢0�SRÍ���?�S�*¢0��S���m¢0�Â�9ôo�,���A¸?¹S¥��,±�S7S3ífõR±

�������3¢0�&���0�K�����m���©��¢?��½��]�]�z¢0�������P�A�]��³�$�]���f�Å�7�?�&�Í�0�_�����K�&�S�7��¶(�A£h£�³vÒ3���0¶��P¢?�$�S���]®?�]³�µ�]�3�I�Î���²�Y¤A±Â���Ð��¢<§?¥P�A�.�&�������]�ó���$�?�?�I¢0�·��S£*¢<§ ¢f�3¢<�����7��¶(�?�7£*�å�$��¢0�&�S���?���Ç¢0�����7�?�&�]³�����µ�m�,�]®?�]� ½��m¢0���$���]�P±�¯?�2�m�A�I¢?�A�S£*¢0��¢?�S®0¢0���A�m���¢<®?� �&�?���K�$�m�A�]�3�7£�§º½��]�]�D�¢.�S�K���D�A�?�&�������]������S�]�A�7�I¢0���.�����B¢0���9�?�]���]�I¢0�7���?�K�f�"�7���]�m�$�,± ��£�³�$���?���?�z����¶���¢0���AÉ����]�S�P�A�������]�S�7£�§«¢m®0¢<�h£*¢0½S£�������]�m�$�Á�������A�m���¿�����D�7§��7���]�Â� ¢0��� ���3�$�A£¡£h���?�]�S���*�¢��S�]½�¢f�I¢0½S£��º�´�$�7���?¥K�����]§­æv£h��Ò.�Á�����m�$�7³v�S£*¢m§.��������$�?�?�I¢0�·�Aç,��¢<®?�Y½2�m�A�?�&�¾��¢0���~�0�_�&���S�]���µ£¡�h�v�7M

ÃD�P�·¢m§����.��������¢0�·�¢?�$�S�����m�·¶(�h£¡£�]®?�]�S����¢<£h£�§ �A�?�&�2�]���z¶(�������&�]�¼���¢<£h£ß�����$�A£�§Ç���S���A£h£��m�A�$��¢<£K ��A£*���]±åâ~���¶��S�*���È¢0���U�����D½2�m�7���?���m�º���»���I¢0���¶(�����Mê«ë�®?�]�·���S�*���´�Í¢k�.�hùÏ�A�S£��Bè.���m�7³�7���?�,± ¨�¢0�3§ø�2�]�?�S£��ã���S����ÒÌ����¢0�¢Ç®?�]��§À¢0½������I¢?�A��¢?�A�7��®?���7§?¥9£¡��Ò?�Ç������S£*¢m§.�����Â�f�d�$���m���]¥�¶(�?�S£*�ª½��B½2�m�7�m±�¤¿��]¢0�»¢O£´���Á½2�Ó�·¢<���3�I¢O�����m�Ç����¢f�&���µ�´�½��m�7�µ���������0®?�*�S�P�$�����¢?�$�S�����º¶(����������·½��m�7�&�7�]���7�·�?���S¢0���K����¢f�B�&�?���]§�]¢0�D½���§?¥�¢f���������]�U���m¢?�$�����k�$������³�S�]�I�7�I¢f����¢0�����7���m¢fÒ«ë����0£h�*�7�,±P1PQP�Y�S¢<���,¥&¤Á�S�ï���?�DÒS���0¶ ¶���¢f�D������7���?�S�Ï¢0����¶��]�©�´�Ë¥�½����·¤&���S����Òó½2�?���¢0�������3¢.�����m�~�7���?�S£*�&½2�Y�$�7���m��ôo�����I¸?¹S¥�,±�S°Q?¹fõR±

� ¢0Ò?�(¢~£��3�.Òk¢0�_�A�.�&�������]� ���m�������f£��.�?§B¢0�,������$�������0�K�����Ó�A�]�S������§rMPÃz��¢0�µ¶�¢.�B���S���¢f�0����³¢f½S£�������ìmí?¸.¹�¥]���&�$�]���Â� �0�,�&�]�&�.��§B¢0���&�7�2�]�m�M¥�*� ���0¶U���m¢<£h���ק?± Ãz��¢0�_�����7�����K�����m�.�*�A���m�&¢f½��?����$���K¤¢k¥V���O¶(�]®?�]�<¥?�*�¾�7�7�h£h£Å¢&�$��¢<£h£��]���?�?±

¤�½��A£h���]®?�·����¢0�¾���Á¢0½2�?���Í ��;�7§P§.�m¢0�I�]Ä�7���&�?¥����U¶(�h£h£P½��ó�2�3���¿��½S£��«���­�����?³�?�I¢0�µ�&�k�A�?�µ�������]�I�Ͷ(�����D¢Â�7�$�?�I¢0�?�

�]¢0��¢.�$���7§ã�f�΢f½��?���Èìm¹ 9 ¥º���å�¢fÒ?������]� �S£*¢<§z�����º�������I¢0�7���?�z�3¢0�µ�T���¶(�A£h£k����¢f�P¢0�À¢<®?�]�I¢0�.�����3�$�]�����?�3¢f���?�¶(�h£h£,���?����¢<®?�(�&�?���(����¢f�TRO¹¾���]�A�A�]�3��$��¢0���A�&�0���·¢0Ò?�������������7���?�S�Í�´�S�]�S�7��³ "�]¢0�����.�T¢O�;���]�Í �®?� �����3�����m�¾�f��è?���m�7³�7���?�S������ôo�����I¸?¹�¥S�,±�S7S¦N0õR±

T U �,Û~} ��� �«Ù }÷Þ��,�(� ÞIÛ ÚWV �©} ��,Û ��� � w Ýk� Þ Ú\x w¡� �2�X w � �Y�Z%y �È� Ú Ü ��� �\[]Z~y �

ë�¢0��£¡���]�U���]�¢0�$ÒÐ�º�?�ï�����ó���K¥¾¶(�����È�$���Á�AÉ�³�A�]���7���?���0��ô�¬[@�Ã�R3ì0¥V¬[@�Ã_^²R.NV¥?ÃD�A�`Q7Q0õM��¢<®?��&�3�7��£�§º½��]�]���0������� ���S�h£��S�7�?���S�*�]¢<£����?���m±¾�(�S�*��*�ï��¢0�I�.£�§ �7���$���7�*�¿�����ø½��m�]¢0���7�²Ê�¬~�?�&�����7�����¨�¢?���S�����]��§D¢0���T¤R�S���A£h£¡���?�]���A�?Äd¶�¢.�Í���A�7�A£h�Y����½�³£h�´�����m� ��� ¢ ���S�h£��S�7�?���S§È�7�?������¢<£R¥�îÓð4ñ�ò áa` ±¨�¢0�3§P�.�*���A���$�¿���?���¾�?�P�$���B¤¢ï¶(�]���B����½S£h�*�7���m����À������Q?¹VÄo�¢f���ó�$���)RO¹�Äo�Ë¥(�&�3�7���0�������º���&³���?�$�I¢0�S�Y�A�?�S���7��½����7���?���(�?���A��¢0�3¢<���P¢?�]�A�.�&�&�?³��¢0���m�¼½S§ãîÓð4ñ�ò.± ¤¿�ã���S�*���7�m�A�7���?��¶(�z¶(�h£h£�I¢0Ò?�D¢Î£��S�?Ò»¢0���$���m�7�����S�¡£��3���?���S�*�]¢<£&��¢0���]�I�Ë¥£��m¢m®.�����ó�����Î�&�?���º���I¢?�A�7�*�]¢<£B¶(�?��Òz�S�m���A�7��½��m����÷ôh¬[@ÍÃÃRSìO¥º¬[@ÍÃ_^²R.NS¥·ÃD�A�`Q7Q0õ����å�.�����]�m¥�&�?���D¢0�����$�?���7�*¢0�����7�m�A�7���?���]±cb��m¢?�S�]�I�µ���3�$�]��³�m�7���m�Ç���z�m¢0�7£h���]�Ó�A�.�&�&�]�S�I�·�?�z�����D���²¢0����¢?�$�S�����&���S���A£h£¡���?�]���A�º����¢0�B¢0�$�&���?�B�.�*���A�����7�m����P���S�*�¾�7�m�A�7���?�Ó�]¢f�P�A�?���7�S£��kôg¨Ó¢<§�¸7N?¥�b(�m¢7Q?í0õ¿±^¾�A����� ¢Y�����S�]�I�7�.�,Äo�&�A�?�&�µ�]�3�I�©�?��������¤¢

¢0���&�7���&�·¢0�7��Ô]�m�º����¯?�m�A�7���?�4OV±�ì?±�¯?�m�A�7���?�bO�±�N�����m�7�]�S�I��¢0�Á¢0�����$�3¢?�$�Á�7�I¢0�������º����¢0�B�S�]®?�A£��?��³�����ó¢Á����³v��¢?���¿�����U�����?�?�I¢f�Ì�*�&���?�·�?�0�����U���½��º���3���×��½S£��º���z�����·�;�.���m�7�]�m¢0½S£����v���������?±Ç�(���¢0�S�������?�2�?�&�?�����S�*�7� ���������k���»�´�¾½������AÖ�§��.�*�7³�A�����7�m�Î���ǯ?�m�A�7���?� OV±�O�¥,�$�P½��·�I¢0Ò.�]�Á����£*¢0�$�]��?�,±º�Y�Î�����S���A�7��®?�·���3���]�$�����]�I¢0�7���?�U�0������������*�Y�S�m���A����½2�m�ª���ί?�m�A�7���?� OV±�S�±

û�d$9�����<ý��*���ò�����g�7ýf��7þ~ý�����*�©seù§�¨ßÿ�+�+�����þ���"&�+;e�$f �.�$þ����7þL��# ö ��fAÿ���'óý"�hg��Ëÿ��oý�+vý!���#«�"��&Mg�+�#����mý"�oý��#*i*='r��ê.��&¾ÿ����mý���vý]ý�ÿ��p�!*!mþvý!mþ4ÿ2������výg��e���#jlknm�o;�j!*�]ÿ�t�oý�+vý!���# k ý�mþ��p����:

ìm¹

Page 11: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

3�� � ��7)p��î�7�j�I� �p�{���7�I�7� �r�� qr�s�ut��jü)���#�p��þD�87����� ûv���h�r�j�Iü��

å ���Ç�0���������m¢0�7£h���]� �A�.�&�&�]�S�I���?�å�����7������Äo�¤"¢ú�]¢0�µ�K�v���?�W^¾�A������¢Y�����S�]�I�7�.�������S�´� ìmí7Q�Sî�ð*ñ2òB¢0�����´�$£��·ô ¢Y���hQpS.õR±�¤R�º���S�*����¢f���]�m¥M¢0�������?³�����´¢f���A£�§Ó������£��m� Ê¡�(����¤R�����I¢f�7���?�)¢ß¢f�&�?Ä�¥�¢Y����³�S�]�A�7�?�ã�2�0���3�I�°�?���ó�7�?�µ�z���&���?�$�I¢0�S�U�´�$�7���m��2�]���I¢<���S���������D�����7������Äo�µ���]�S£*¢?�A�]�&�]�S�&�v�?�&�����è.���m�7�7���?��é<¬�¢0�·�¢?�$�S�����m���$�S����Ò2ê[ëV±

¢¾�����S�]�I�7�?���S�]®?�A£��?�����A�]���A¢<���P�?½��7�m�A�7���?���(�$������7������Äo�ÍÊ�¬~�?�&�����7�����k¨�¢?�$�S�����]��§Â¢0���µ¤R�S���A£h£h��³�.�]���A�?Ä�ôg�,���I¸.¹mõ(½S§º�;���A���¿�����D�?�U�����·¤¢k± ¤¿� ¢�S���I�7���A£h£R¥?���~�]�&����¢?�¿��Ô]�m���7¶��Í���0���S�I��M_Ñ����I���m¥]���½2�A£h���]®.�m������¢0� �S£´¢<§.�����D�����&¤"¢�7���]�A�m���¿�v�S£h£�§Î�*�¢f��Emñ�ò9����¢0�Y�]¢0��½2�k¢?�$�S���]®?�m���$�����?���?�P�.�nO,�]��³�]�S���µ�m¢0���]¥0���&��¢f���7�*�A�S£*¢0�m¥S¶(�������?���~���3�����m���¿��������S���A£h£h���.�]���A�?±�¯?�m�A�?���.£�§?¥ ���&���0£*���K�$��¢0�Y�$�S����ÒS³�����µ�*�Y¢µ�?�]���]�I¢<£��A�?���A�]���ߢf�����S£*¢<§?����������� ¤¢�*�d½����?À?ñIE��AÉV¢f�&�S£��Y�0�M���������S�����3�d����¢0� ���S���A£h£¡��³�.�]�3���]�S�7���7���m�K�S��±gë�®.�*�S�]�3�7£�§?¥M½2�?���Ó�$£*¢<���Â�¾¢0����A�������´�]¢O£��0�������(®O¢<£h�*�.���7§k�f�������(¤¢ó¢?��¢Í�&�m¢?�7������f�_���S���A£h£¡���?�]���A�?±

¢¾�����S�]�I�7�?�U�¢0Ò.�m�B�S�*� ���f���S��½3§U¢0�Á�]�S���]��³�A¢<���S������¢0��¢<£��?�.§?±j@��B¢.�7ÒÐ�������Bè?���m���7���?�Áé<¬�¢0��$�Ð�$ÒÐ�k���©���A¢0���0ê[ë ¢f�����A�?�3�����S���m�µ���Á�S�m���A�7��½2��$���ÏéA���S�]³R�7���]���S�����·�3¢0�&�mëºô ¢¾���hQpS�¥��,±hN¥O7Q0õM���¢¾¶�¢<§K����¢0���*� �*�S�]�S�7�*�]¢<£"���K�$����¶�¢<§B�����7�����k�S�]³�$�A�7��½��m�U�S�*� ¤¢¼���zôo�����I¸?¹0õ¿± å ���A��¢0�3¢O���,¥ ������S¢0�&���*���S£*¢m§.�m�B½2�]�7¶��]�]�&¢Í�¢0�µæR�BçA¥m¢�¶(�?�·¢0�æ7â�ç�¢0����¢f�&���S���]�����?�S¢0���?�Íæ�¬�çI±��(���¾���S���]�����?�S¢0³�$�?�mÄo�(¢<��� �´�Í���&�.�*�7�7�����?�S�*�7�D½2�]�7¶��]�]�º�����K�¢0�¢f���������º¶��.�¢0��½S§Á�����º¶�¢m§U�S�*�­m���]�����S�·�*������]�����m�Î�?�,±�¬È�7�I¢<§Ð�Í����¢����S�?�Ì¢0��¢0���9�;���.��$���Ó�.�����]�Â�7¶(�Á¢0���z�]¢0�����.�Ï�7�]���?�·���m¢0��������$�3�]³R�7�$�]���S�����P�A�.���3���]�$��¢0���I�]±(�(���]���9�*�K¢&�7�¢<£h£�.���]�S�����Ç���­������¶�¢O£¡£B�$�����?���?�z¶��S�*�$�å¬�]¢0��S£*¢?�A�µ�S�´�÷­m���]�K�v�3�.�m±K�(��� ���S���]���$�?�3¢0���.�Y��¢?�¾�$��S�]�$�]���������B¶��S�*�$���?���K�0�_�$���K�?�����]�(�7¶�� �*�(�����¶(�?�·¢0�D½S§Ó�$���¶�¢<§º����¶Í�S�´�$�U�S�´�÷­m���]�&���S���*������]�����m�U�?�,±��¾��¢<£��?�?�.���¿£�§?¥������·���]¶��v�?��� �0��$���Bè?���m�7�����.�Áé<¬�¢0�·������Ò��~�������I¢0���0ê]ë�½��m�A�.�&�m��$���P�v�0£h£��0¶(�����hMzÊoÃz��¢0�·¶(�h£h£k��¢0���2�]�«¶����]�À¢�$�Ð�$Ò½2�<ÉÂ�*�¾�A�?���7�������A�$�m�·¶(�����Ó¢0���A£��m�A�����´� �]§?�¶Í�S�´�$�È�?�2�]�I¢0���m��¢?�A���S���º�����Á�.���]�S�����«���È�����¶�¢<£h£Ð���Y����¢f�M���_���A£��m¢?���m��¢(������ÒK¶��S�*�$�&�S�m���A�]��������2�?�̬YÄo�°���S�À¶����]���]®.�]�À¬ �����I�Ç�S�*�Ç�v�3�.�

�������?���.���kÄo�µ�¿�*�S�P�0�K�������?�2�]�S�����2¥�¢0�������S����A�?�&�m� ���º�I¢0Ò?�&�$���Â��¢0�$�B�0�Y� ���U���S�*���3¢f�&�0êP1PQP ÃÇ�h£h£Y�����·���3�$�]�����?�3¢f���?�k�S�m�$�*�S�º¶����?���0£�§�¢?��0�v���]�Ï¢.��¶Í���]�������Y�S¢0�&�Í�´���S£´¢<§?�m�µ½��]�7¶(�]�]�P¢�¢0�P¢0���º¢�¶(�?�¢0�Mê0ÄMô ¢Y���hQpS�¥����,±IN7O7Q0³ N7O¿RmõR±

¢¾�����S�]�I�7�?� ½��A£h���]®?�m� ����¢0�å�]®.�]�÷�h�À�����$Ò½��<É��m�·�S£´¢<§����������S�]³R�7���]���S�������3¢f�&�Ó�7���]�A�m�$�7³�;�S£h£�§?¥(�����]����¶(�?�S£*�U�7�7�h£h£Y½������Î���m¢?�7�?�U����¢?�A³�A�]���Y�$��¢0�(�����]§Ï¢f���¾�������I¢0�7������±������B�?�S£�§��A�?��³�$£����¿���?�z����¢0��¶(�Ï�]¢0���·¢0Ò?�·�v���?�Ì���S�*��¶(�?�S£*�½��&�$��¢0�B¢·������Òº½��<ÉT�]¢0��½2�&�7���?�?�m�ª���Á�7���$�Á¢¶�¢m§U����¢0�©�����]¢0�����]�S£*¢?�A�D¢��S���¢0�ǽ��A�����U��������&���S�]³R�7���]���S�������3¢0�µ�?±��ß�]�A�?�A�.���������¡¢¾����³�S�]�I�7�?�,¥M�$�S�´���*�¾½��m�]¢0�����ÂÊg��¢0���¾�0�ŶÍ��¢0�Y�$�S�����S��S���*�����0¶������]§Á�S�º���mÄ�ô ¢¾���hQpS�¥��,±;N7O�-0õR±��K�¶(�&¶(�h£h£��AÉ���¢0�������2�?�Î���ǯ?�m�A�7���?��S2±�ì?¥,�$�S�´�ß�*��¿�����h£*¢0�����©Ë��m��âd£��Ð�$Ò"Äg�_¢0�$�?���&�]�S�,�v�?�rFhG�É���¾°À)�D�À�Å.ð�G Ê ¢0�3¢<�����7��½2�]��¢<®?���?�7�*�7�Ìôoâd£��.-�ì]õ¿±

¢¾�����S�]�I�7�?�ø�7�I¢0�$�m������¢0�z���S����Ò.�������*�z���?��7�?�&�]�$�S����������¢f���]¢0�&½2�ß�S�m�$�*�S�m�·���2�?�½S§i�7���7��?�����AÉ�¢0�&�S£��?±�@Í�ó�S�]�&�?�������I¢0���m�ª�S�*�P½2�A£h���A�����¢0�&¢��A�?�&�������]�<Äo�B�7���]�A�m�$� ���������¤"¢��*�����?��7�SùÏ�$���]�S�Ó�$�m¢?�7�?�«�$�ó�]¢<£h£B���Ó¢°���S����Ò?�����z�¢0³���S�����D½S§ó¢0���?�$���]�Ï¢0��¢O£��.�?§�Mº¤R�·¢0�0�����D¢D®0¢?�A³����� �$£��m¢0���]�K��¢<£��m�7�·¢0�P���$§?�����&���·�7�A£h£Å¢��������S³���A�m±�Ñ����I�7�<¥0���Y¢?�S®?�]������Ô]�m�d������®0¢?�A�����ã�$£��m¢f���]�w í�ð G�¾Sx�y)yó¢?�º½��A����� é]¢O£¡£�³v�������2�3�7�më�±÷�����]�,¥���ó�S�]�&�?���7�$�I¢0���m�ª���O¶ ���D�]¢0�È�7����Ò­���ȽS���A��0�B�S���7�m±ó�(�����A���7���?�µ�]�¢?�7Ò���¶���¢0���A£*�7�º������¢?�$�S�����Ï�]¢0���S��±µ�ß�7�$�?�S�*�7���m�M¥ �����Â��¢<£��m�7�·¢0���¢<§Ð�µ����¢0�·®O¢.�A����� �$£��m¢f���]�I�P¢0�$���v�?�Ï������Ò.��������Á�S���7�B¢0���ί?¶(�*�7�bQ?¹?¹·�S�3�m�9�����m�$�*�7�A£�§D����¢0�m±�(�����A���7���?�µ�]�Å¢0����¶��]�A�]¥�éA¤M�����?���?�S������¶�¢?��¢<£h£�³���������S�7�?±z¾�S�m�7�,Ä �������7���$Ò&���·½S���A���f�G��¢f���]�(�?��7���I¢<¶ã�.�Â�����2ê÷¤&�����.���?�3�·�7����Ò.���������z½S���A��0�B�S���7�¶�¢?�µ¢0�{E*�pJ Ê F{� EÂ�f�߶���¢f�B�����S�3�m�˱oë�±�(���Y��¢O£��m���¢0�&��¢<§Ð�(éA¤¿� �´��¢f�k�AÉ�¢0�&�S£����f��¶���¢0����Â�S�3�m�˱�û��¢f�K���Â�S�S�m�K�*�&������ÒD���U�S���m�A�m�&�f��S���7�m±oëªô ¢Y���hQpS�¥��,±INpS�ì]õR±�(���U��¢<£��m�7�¢0�­�*����¢<®.�����z���$�?��½S£��D�¢0Ò.�����

�S�*����¢<£���½S§k�]¢O£¡£h�����·¯?¶(�*�7�ªQ?¹.¹Y¢<£h£�³v�������2�3�7�K¢0���½��A�����P����¢f½S£������·�7���0¶«�&�?��� ����¢0�º�?���B�AÉ�¢0�&³�S£��Â�0��¶���¢f�¾�����S�3�m�˱Â�K�]�A�?�I�.���������¡¢¾�����S�]��³�7�?�,¥������7�����K�*�(¢<£*�7�B��¢<®.�����������¾��¢0�&�����$�?½S£��]�½��m�]¢0�����������Â�$�]��� éA���S����Ò?�����3ëª�*�����7�m�Î���º���]³�;�]�¾���·�&�?��� ����¢0�º�?���k�]¢0��¢f½S�¡£h���7§"ào�×�����ߢ?����������]���Æé]¢<£h£�³v�������2�3�7�më ���&�S£h���m���$��¢0�������¾®O¢.�A�����

ì?ì

Page 12: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

�$£��m¢0���]� ��¢?�G�;�����A�����.���,�?�$���]�,����¢0� �×���7� �7����Ò.��������º½S���I�(�0���S���7�m±j@Í�B�A�?���$£����S�m��M

¤R� �������]��� �����(�7���m¢0�À�S���¡£h£��?����£´¢.�7���m�|0�?��� @Í�]����§�¢?��¢È�.���?�?�]���0���I¢<�h£�³¶�¢m§����������A£*�]¥V½���������¢0���.�*�S�,Ä �������0®?��������·¢?���S�����(��¢?� �������$£��m�]à0��� �����0®?�m�����¢0�&�������$£��m�µ¶(�]�������?�·���]�m�S�m���v�?��.���?�0�����Æ�I¢O�¡£�¶�¢<§ø���������A£*�ãô ¢¾���hQpS�¥�,±hN?¸pS.õR±

|f�?���«¢�±�¯?���]®.�]���7�?�,¥.���Â�S�*�¾ìmí¦R.Q9��¢0���]�¾Ê å ��$���K¤R�����I¢0�����.��¢ß¢f�&�?ÄMôh¯?���pR.Q<õM�I¢<�*�7�m�¾�7�?�&�K¢0��³�.���&�]�3�A��¢0�3¢<�����7�g¢¾�����S�]�I�7�?�,± å �����0�M�����m�7�~�*��$���P�?½��7�m�A�7���?�Ç����¢0�T¢¾�����S�]�I�7�?�Ƕ�¢.���AÉÐ�2�m�A��³������¥ ��¢0�&�A£�§«�$��� �$£*¢<��� ����¢f�P½��A�����À¢f½S£����$��S£*¢<§P�$���k¤"¢È�*�¾���?�g�7���7�\À.ñhEK�AÉ�¢0�&�S£��?à_¢µ�¢0³�$�S�����P����¢f���*���?�S�Ð�Ç¢0��������¤¢²�*�&�]¢0��¢0½S£��º�0�®0¢0�7���?�����$�S�����S�]± ¢Y�����S�]�I���?�ú�S�S�m�����?���0��®?�¢Ç�.�����m�A�D���m�7�2�?���7�U���»�������ï�?½��7�m�A�7���?���]± @���µ�]�3�7���?����¢Î���]�S£�§»�]¢f�»½2�º�;�?�$�k�S£*¢0�$�m�ó¢<£��?����$���D£h�����m�D�f�µ�����O¶������z����¢f�P�]®?�]�å�A�?��½S���S�����¢O£¡£D�����S�7�À�$�S�����S�»�������ø¢¼�¢?�$�S�����å�]¢f� �S��f��®.�m������¢µ��¢0���$�O¶z�I¢f���?�K�0��¢0½S�h£¡���7���m�µô ¢Y���hQpS�¥�,±*NpS°O0õR± ¯?�$�]®?�]���7�?�B�S�?��½��A�,¶����]�$���]�_�7���$�k¢(���]³�S£�§&¶(�?�S£*��½2�Y¢?�S�mè.��¢0���Bô�¯?���pR.QS¥?�,±2ì�O7N0õR±�ë�®?�]��h�����K�S�3�m�¾���?�Í�AÉÐ��¢0�����Y�]®?�]�$§3���S�����·����¢0�(�*�¾���]³£*¢0�$�m�����B�S���¢0�����S����Ò.������¥�����½2�A£¡���]®?�m�������(£h�*�7��f�_���S�����3�~����¢0��¢��A�?�&�������]�(����¢f���S£*¢<§����$���K¤¢�]¢f�Á�S��¶��.�S£´�T½���è?�S�����µ���&�����m���¿��®?�?±T¯?���]®?�]��³���?�«�7�I¢0���m�µ����¢0�5¢Y�����S�]�A�7�?�Ç�*�µ���.���?�7�����ó����������m�$�h "�K����¢f�I¢?�A���]���0�,�����ͤ¢«¢0��������¢0�~���������?³�2�3�7�m���S�A�v�m�A�7��®?��¢0���?���&�]�S�I�]±

3���� �ª���4�_� �{�~}�7�� �h��7����i�N7¦�7���9�b��´�$��¢0�I� ¦������7�h£h£R¥º���ã�S�*�«ìmí¦RSì«î�ð*ñ2òó��¢0�2�]�¢O£´���Y�.�*���A�����7�m���7�.�&� �*���7���m���A�?���A�]���S�����K������¤"¢k±¦d�����7�h£h£��A�7���7�*�$��Ô]�m�k���?�&� �*�S�m¢?�¾���Á�����7������Äo�¾��¢0³�2�]�&Êo�·¢<���S£�§D¢?� ¢·���S�h£��S�7�?�����]�m¥ ½����k¢O£´���Ó¢?�K¢�2�]�I�7�?�Ƕ�������¢?�·�S�?���Ó¢U�A�]���I¢O���«¢0�µ�?���3�µ�0��A�.�&�������]�������?�.�I¢0�&��������Ä�ôg¦�����R3ì0¥.�,±7N?í?¹0õR±�@��½2�A£h���]®.�m������¢f���$���K�3¢0�&�Í�*�~���3���]�$�m�7�7������¥�½�����¢?�¢��S���m�A�Í�0�V�$�$���]���A�� "�A�7���?�,±;@��d ������M��� ���S���·¢0�?³����¢0½S£��·����¢0�B¢º�A�?�&�������]�K�S£*¢<§?�����������&¤"¢å¶(�h£h£½2�B½��S�h£������º�����K�v�?���m�7�]�m¢f½S£��9�;���$�����?±

å ®.�]�I¢<£h£R¥B¦��������¡£h£B½2�A£¡���]®?�m�º������¤"¢Æ����½��D¢�A�.�&�������]���¢0�,Äo���S���m¢f�P±�@����]®.�]�������?���*�7�m�

���·Êo�m¢0�~�S�´�(�A�?�µ�������]�~£¡��½��I¢f��§"Ä.�h��¢0�3§.�?������¢?�(¢���?�7���?�&�.�&���������7�����$���S£��m���.�k¶Í�S�´�$��¢K�¢?�$�S���������¢0���]¢0���S£*¢<§B�����(�3¢f�&�~�´� �$�K½��(½��S�h£��Kôo¦d����R3ì0¥�,±TN?í7O0õ á$á ± @��À���I¢0���m�°����¢0�U�h� �A�?�&�����$�]�I�]¥�7�?�&�È��¢<§?¥�½��]��¢<®?�­£h��Ò.�È�����ú�A�.�&�������]�I�°���¶(�?��Ò��M�0�����$���]���A�� "�A�7���?�,¥0���~¶��.�S£´�¾�.�I¢0�S�,�����]������?���?�S�m± â������¿�����A��¢O£¡£��A�?�&�����$�]�,�?���������I���]¢0�½��&�AÉ��S£*¢<�����m�Á¢.�Y¢µ���m�7�S£��K�0��¢&�����.�?�I¢0�ã¶Í�7����³���]�B½S§K�S���¢0��� áB ¥0�A�?�&�������]�I��¢0�������.�M£h��Ò.�A£�§ ����S£*¢m§Î�����&¤¢ã�7���]�A�m���×�;�S£h£�§Á¶����$�D�����Â�A�����$�]�3�7£�§���¢0�0����¢0½S£��������?�.�I¢0�&�����������m�$���S�*è?���m�˱Ï���S�´�Ë¥���(½��A£h���]®?�m�]¥.�*� ½��m�]¢0���7�(�����(½2�]��¢m®.���?���0�����S����ÒS³�����Á½2�A�����S���*�����?�&�S�]���]�$�����S�´���7�*�Ó¢f�����]¢0�����?�½�� �AÉÐ�S£*¢<�����m�º���P�����$�A£�§��µ�m����¢0�S�*�7���´�9���]���Â�˱¦d�����7�h£h£T½2�A£h���]®.�m�z����¢0�������ï�3¢0�µ�ó�*�­Ê �7���7�

¢�½�¢0����£��¼�0��¶(���I�z½��]�7¶(�]�]�Æ�$���åè?���m�7�����.���]�¢0���º�����B���$�?�?�I¢0�µ�&�]��M~�����&�A�?�&�������]�Í�*�¾���?��³�m���7�]�S�7�*¢<£RÄ�ôo¦����lR3ì0¥Â�,±]N?í�ìËõR±ä��£������.���?��������;�.���&�]�D��¢0�$�Ó�f�Â�����ó�$£*¢<��� �·¢m§­½��ó�$�m¢?�7�?��³¢0½S£��Y�$�k¢0�&�AÉ����]�S�m¥?�S�*�d£*¢0�����]��¢f���?���&�]�S��¢0½2�?��������Y�A�?�µ�������]��½��A�����B���.��³v�m���7�]�S�7�*¢<£��*�����?��®?�]�$§�7�?�����M± ���ï�A£¡��������¢0�$�«�����«�A�?�&�������]�Î�v���?������ó�S�*�A�����$�?¥Â¦����$�7�h£¡£������?�2�3�7�m�óé[�������A£�§È�&�]³����¢f�S�´�]¢O£´ëÈ¢O£��$�]����¢0�7��®?�m��M��¢?�$�S�����m�Î�¢?�S���f�£��]®?�]�I�ó¢f���å¶Í���]�A£´�Ç����¢f� �]¢0�ã�S�¼�����«��¢0�&��I¢?�7ÒM±ï¤R�µ�*�·�����$£��m¢f�P¶��S§����S�*���7���?�S£*�«�A�?���S�¢?��¢0�P¢f���?���&�]�S�Y¢0�3¢O�������������K¤¢ï½��m�]¢0�����k�]®.��³�S�]�3��£�§?¥(�$���P�¢0�$�]�7�*¢<£��?�Â�7���$���A���������?��¶��S�*�$������U¤¢Y³v�S£*¢<§.������éA�����?�?�A¢0�ÂëU¶(�?��Ò��µ�*�������$�A£��]³®O¢0�S�m±²¦������7�h£h£©¢O£´���ó�7�I¢0���m�˥ߢf�3�7�*�$����¢0�7�����Ç������?½��7�m�A�7���?�U����¢0�K�����&�S���¢0�Î�������U�����?�3��¢<£*�7�½���¢��S���?�S£�§Á�A�?�µ�S£��AÉ��A�0£h£��m�A�����.���0�Y�7�����Î�&�]³����¢f�S�´�]¢O£������Ð�A�m�$�7�m�]¥0����¢0���h�"���S�*� ¶(�]���~�������]¢?�7�?¥����¶��.�S£´� �&�m¢0�ãÊg�3���¢f� ½2�A�����3�ó�S�ï���?�U���� ¢.�A�P���S����Òz�I¢0�����]�º����¢0�«�$��¢0�P�A�?�&�������]�A�P�S����S����Ò"ÄMôo¦d����R3ì0¥?�,±¦N?í7N0õ¿¥m½������S�S�m�����?��¢0�$���]�&������i�7���7�7�h�v§Â���S�*�ͽ��0£*�º�$£´¢O���º±¤¿�å�S�*�D�7���?�$�D��¢0���]�ÇÊo¤¿�cz¾�A�;�]���A�Ç�0�Ï������³

������Äzôh¯3¢0�TR.O<õR¥�¢¾�]��O,���]§÷¯3¢f�&���7�?� ¢f���I¢?�$ÒÐ�¦��������¡£h£RÄo�&¢f���?���&�]�S�I�K½������AÖ�§?±UÑ����I�7�B�f�ߢ<£h£R¥����½��A£h���]®?�m���µ�3�7���0�Y�����ª£h���©���A¢0�7���?���µ���]���I¢O���S��������D�����º���m¢<£h��Ôm¢0�7���?�Ç�0�ߤ"¢Y³v�S£*¢<§?�����ó�A�?�µ�������]�I�¦��������¡£h£�£h�*�7�I�ó¢f���«���I¢?�A���´�]¢O£Ó�.�¡ù��A�S£������m�ö����¢0��¢<§&½��¾�0®?�]�I�A�?�µ����������� æR�����m�7���·¢0½S£�§&���?���7�ûvû ö ������������.�"�9������!.�"!p�×þGÿ�+�',þ4ÿ��������¾ÿ��²seù�Jls�:ûLV(� f����ÿ��7�����r!mþvý�Aþ ��©Y +�ý����!*����+r��þ��r��]ÿ�&���& � #j���7þLt

� �7ÿ��Kþ �"��&<ý��u�������g������+�:

ì�N

Page 13: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

�.�*�7�A¢0�3�Ëç��v���������?±~¯?�m�A�?���.£�§?¥?�����7�A¢0���m������¢0�������*��.�S£�§���¢0�$���I¢<£�����¢0�B�A�?�&�����$�]�K½��]��¢<®?���?�9�*�B�S�]³�$�]�������S�*�7�7�*��¢0��������¢f���3���·¢0�P½2�]��¢m®.���?�Í�´�Í���?����&�m¢?�7§����µ�AÉÐ�S£*¢<���,±Y�����B���m¢?���?���(�v�?���$�S�´�¾¢0����×���µ�S£��7M(�A�?�&�����$�]�I�(¢0���K�S�m�¿���?���m��½S§&�S���¢0���]à�$���]§P��¢<®?�B�µ�m����¢0�S�*�7�·�K����¢0�¾�AÉ��S£¡�*�$���7£�§�¢<£h£��0¶���������7�����S§K�$���A��� ½��]��¢<®.���?�mà0�S���¢0��� ¢0������������µ�?���À�A�?�µ�S£��Aɲ����$�]���Â�Ç�0�D½��?�$�ã���S���]����¢<£���I¢0���m��¢0���©���3���×��½S£��¾���������I�~����¢0�·¢0�3§&�A�?�S���]�&³�2�?�I¢0�$§»�A�?�&�����$�]�Dôh¯3¢0�TR.OS¥¾�,±�¸?í7OfõR±�¯3¢0�&��³���?�À¢<£*�7�z�����7�m�A�I��¦��������¡£h£RÄo���.�S���S���?�È�$��¢0�P������A�.���7�mè?���]���A�K�f�"�����K�$£*¢<��� �$��¢0���S���¢0�&�$�S����ÒS³�����µ�*�Y¢0�º�AÉÐ�$���]�&�A£�§P�A�?�&�S£��AÉ,¥�§?�]�¾�A�?�&�������]��³£h��Ò?�?¥M�&�m�$��¢0�S�*�]¢<£��������A�m���(�*�¾����¢f���&�]�Ó�S�·���?��$�S����ÒM±j@Í�K���0£*�����$��¢0�(���S����Ò?������¥�½S§��S�A ��S���$�?�,¥�*�¾�7�?�&�]�$�S�����µ�3���¢f��½��A�����3�K�S��±

3��'3 q �1�7�jü7�����9�{�9ü)�j�j�s�p� ����� �7�j��ª�

¤¿�Á¢P�����?���K��¢0�2�]�k�$��¢0�B¢0�����m¢f���m�����ÇîÓð4ñ�ò ���ì<í¦R.OUôo¨ª�h£úRpO0õR¥(¦_±�@B±�¨ª�h£h£*¢0���I¢<�*�7�m�&���?�&�·���&³�2�?���I¢f�3� �*���7���m�µ¶��S�*���Ƕ(�h£h£9�7���0¶ã���°����£*¢0���]�¶(�?�$ÒÐ�]± @Í�D ��A�7�Ó�.�*���A�������m�D�7�?�&�ή?�*�A�m�D¢0���®.���������m�ª�0�k������¤"¢ ¢0���«�7�A¢0���m�µ����¢0�·�����*�µ����³�$�A£��]®0¢0�S�¶����]�$���]�&�?�&���0¶������P�A�?�&�����$�]�I���?��$���À�S���¢0�²½��A�����3�Ç���S®?�0£�®?�m� ���ø�����ï�3¢0�&�¢f���ÀéA�����?�.�I¢0�&�&�m��ëV± �����]�,¥&�������S�������S���A�m��$���Tè.���m�7�7���?�­�0�k¶����]�$���]��������¤¢ �´��¢U�����.�3����]���7���������U�&�m¢?�7�����������T���S���A£h£h���?�]���A���0�B�¢0³�$�S�����m�]±å¨ª�h£h£´¢f�����?���m�µ����¢0�·�����P�3¢f�&���v�?�I�A�m����9���Áé]¢0�S�������.���?�&�.�����S��Ô]�më��¢?�$�S�����m� ½3§D¢?�7³�A����½S����� �����]�À�S���¢0��¢<���Â��¢0��� �A�S£��$���I¢<£�½�¢?�$Ò3³�.���?�������]±È¨ª�h£¡£*¢0��¢?���7�]�$�I�&�$��¢0�Â�$���Ó¤"¢Æ�&�m¢0³�������m�Ç���?�ó¶����]�$���]�»�·¢?���S�����m�Ç��¢<®?�z���S���A£h£¡��³�.�]���A�?¥3½����~¶����]�����]�~�����]§���¢m®.�i¾.� Ê J.ñK���S���A£h£¡��³�.�]���A�?±�@�� ½��A£h���]®?�m�K����¢f��¶(�B�7���?�S£*�º½��B�.���]��³�©�����S�m�º�]���?���.�Ó�$�¢<£h£��O¶ï�m¢?�$�P½2�A�����2¥M½�� ���ߢ¨�¢0�$�7�*¢0�K�?��¢��¢.���S�����?¥0�����AÉ��S��½S�������3�$�A£¡£h���?�]���A�Êg½3§ �&�m¢0�����f�"½��]��¢<®.���?�(¶��S�*�����*�~¶(�A£h£�³R¢.��¢0�����m��v�?��¢?���S���]®.�����D���I� �0¶����7���m�$�h "��¢<���Â�]Ä(ôo¨ª�h£�R.O�¥�,±~¸?í¦RmõR±UÃD��¶��¡£h£K���]���������$�D���S�*���*��������£*¢0���]��.�,¥��m�7���m�$�*¢<£h£�§����ί?�m�A�7���?�¡S�±o¸�±

3;�'K �_�j� �_� �p�9�7�hü)�jü7�o����� �.�����7�t�7�u������ý

¤R�D�S�*�Í���&�2�?���I¢0�S�K��¢0�2�]��Êo�Y�º�Y��¢O£�§��¿�*�K�f��������,�����������,�m���mÄ?ôo¨º�S��R.Q<õR¥�|?¢0�&�m��¨º�S�?�_¢0���$�]�&���I������]�&����¢?�¿��Ô]�º�����Ï�×���.�S�¡ "�]¢f���A�P�0�Y�$���·���©���A¢0³�7���?���3¢0�µ�?±D�K�&�]¢0��½��P���]�]�U�;���.� �$�����7���7£��?¥�����P�$�]��� é]�,�������������m�7�I뺶�¢?�&¢<£����m¢?�S§U½��A��������7�m�­�������A�v�]�P���������Τ¢Ì½3§ïìmí¦R.Q�±ã¨º�S�?�mÄo��¢<���À¢?�$�7�]���7���?�Ç�*�·����¢0��Êo�$���Ó�����7�����»���m�7�·�*�¢��¿���?�S�h "�]¢0�S�K���m�7�Í�;�?�¾�A�?�&�������]�K�����.���?�3���¡�~����*�(���S���]�������]���m�Ï�����S���A�7��®?�A£�§?±�Ä�ôo¨º�3�oR.QS¥3�,±IN?¸7Q0õR±¨º�S�?���.�*��¢0�?���]�m�~¶(�����µ�����(�*�S�m¢ ����¢0���$���Y���

�*��¢0�&�?�2�]�I¢0�7���?��¢O£��S�A ��S���7���?���f�,���3���A£h£h���?�]���A� á ��±b�¢0�����]�<¥_���µ�����?���S�7�m�]¥M�����7���?�S£*�D½2�Â�$�]�3¢0�I�S�m�¢?�(¢B�7�.���I�A�Y�f�,�����S���A�7��®?�K�]®?�*�S�]���A�9�;�?�~�����¾�3§S³���?�$���m�¿�*������¢0���¢?�$�S�����m�&�]¢0�U���S����Ò»ôg¨P�S��R.QËõR±¨º�?���]�0®?�]�m¥�¨º�3�?�U�S�3�m�����.�Á¢0�?���]��¶����$�È������$£*¢<��� ����¢0�&�]®?�]�°�h�B�����Ó��� �´�µ���?��¢0���?�2�]��³¢0�7���?��¢<£Â�S�A ��S���7���?�,¥ ���D�7���?�S£*�È¢0�ª£��m¢.�7��½��ó¢���m�A�m����¢0�$§T�A�.���.�������.�D�v�?�K�?�I¢f�3�7�����P�A�?�µ�������]�I����3���A£h£h���?�]���A�?±·�ß�]�A�.�I�.�����P���·�S���P¥,�����]�$�©�A�.�S£´�½��·�?�����]�K�]®.�*�S�]���A��½�¢?�7�m���?�Î�����Â�A�?�&�����$�]�mÄo�½��]��¢<®.���.�B����¢0�Í£��m¢?���¾���µ���S�;�]���]���A�m��¢0½2�?���¾������A�?�&�������]�<Äo� ���S����Ò?�����Á¢0½S�h£h���7���m�]±)@��0¶(�]®?�]�m¥����½��A£h���]®?�m�º����¢0�·�����P�$�m�7�Â���$�O®.�*�S�m�P¢U�7�SùÏ�$���]�S��A�?���.���7���?�­�;�?�µ���3�$�A£¡£h���?�]���A�]³v�?�A¢0�3�������­���ó�A�?�&³�������]�I�]±�â~���B�S�*��®.���]¶å�*� ���?��é]¢0½��7�0£������mëVà����¢?�]�A�]���I� ����¢0�9�����*�B�2�3���¿��½S£����������]®.�*�7�Ï¢º�2�3�¿��³�7��®?�(���S�v�]���]���A�Y¢0½2�?����¢Y�A�.�&�������]�mÄo� �2�3���7�m�$�¿���?��0�_�����.���?�3�(½�¢?���m�·�?�Ï¢����9¥?�h���?�����]�(�]®.�´�S�]���A��*�Y¢?�]è.�S�����m�P¢O�;���]�$¶�¢f�I���]±¨º�S�?��£h�*�7�I���7¶(�»¢f���?���&�]�S�I�º����¢0���7�������?�$�

����������¢?�B¢º�?�S�Ð�Ó�;�?�$�¢0�K�v�?���A�0£h£��m�A�������T����³�S���A�7��®?���]®.�´�S�]���A�?± Ê¡Ñ����I�7�m¥K�$���Á�,���������«���m�7����]���©���A���.���$�m�A���?�������.�����m�A�P���m���7�����Á�0�K®.���$����³¢<£h£�§T¢O£¡£��0�������&¢?�A����®.���7���m�¾�?����¶(�?�S£*�Ó�A�.���3�K¢?��]®?�*�S�]���A�µ�;�.�����S����Ò?����� P1P1P ¯?�m�A�?���.£�§?¥,�$���k������³�����©���m�7�(�]���A�?���I¢f�?�m���7�]®.�]���Y�$�m�7�7������±�Ä�ôo¨º�S��R.QS¥���,±�N?¸�ì˳ N?¸7N0õR± â~§Â�����Í£*¢0�����]�<¥Ð¨º�S�?���µ�m¢0���~��������m�7�mÄg�,���mè.�S�����]�&�]�S�I��¢0���~���?�����S�Y�m¢.�7§K���¾�&�]�]�m±Ñ��?� �����7�I¢f���A�P�A�?�&���]�$�]���A�·���ó¢��¿�����0£����A�?�?�S��³�7��®?�K¢?�A�7��®?���7§?¥?��� �¢0���$�]�����O¶ó�A�.�&�S£��AÉG¥S¶(�?�S£*����?�Y�7�Sù��A�?±ûL£ $�+~ý�!*!0ý�+���&T�vý&�Íÿ����2�$þ�=�'1�mý � � � ÿ���f��+?���Ëÿ�+��vý � �

�vþ����=¿�"��&D�e��+vý?���p��;���Ëÿ�+�ÿ�+j� fAÿoþ�������ý"�����*�~ÿ���ÿ�� �"�4ÿoý��÷�"�g��,��Íÿ���J�/"0L:

ì�O

Page 14: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

¨º�S�?���������A�]�m����½S§k�A�?���×�´�S�]�������&�7�.�&�(�0�"������.½��×�m�A�����.�������Ç����� �Í�K±?@Í�Á�f��®.�m�����]�S£h���m�D�$��$���m�7�Y�.½��×�m�A�����.����¢0���·�7���0¶Y���$��¢0�������]§·¢0�����A��³�$���]�B�����$�A£��]®0¢0�S�&�?�&�]¢0��½����$�A�;�����m�ζ����]��������Í�ï�*�&�A�?���¿�*�S�]���m�U�$�P½��P¢º¶�¢<§P�0�¾�3¢0�����]�7�������¢f�I¢K½�¢?���m�&�?�·¶��S�*�$�¶(�¾�¢<§B�����S���A�7��®?�A£�§·����³�v�]���A�?���$£����¿���?����¢0½2�?��� �¢?�$�S�����(�����.���?�3�<± å ����.½��×�m�A�����.�k�$��¢0��¨º�3�?�<¥<���µ�?�����?�S���S���?�Ï�����]�A�m���7³�v�S£h£�§?¥,���]�S£h���m�¾�*�¾�������?½��7�m�A�7���?���A�?���A�]���S����������³�$�]����¢<£K�?���]�I¢f�7���?�,± �����Ó®.���]¶Æ����¢f�&���S�v�?���¢0³�����.�¢0½��.�����$���(���3���]�$��¢<£����S�v�?���¢0�����.�&�������A�m���7³�����¾�0��¢��7§��7���]�z�*�2���&�2�?���I¢0�S�M���B�.�I¢0�S�7�����(���,����³�$�A£¡£h���?�]���A�µ�*�K���?�¾�����A�?�&�&�.� ôgâ�£��.-Vì?¥�¢Y���hQpS�¥¯3�$��í�-0õ¿± ¨º�S�?�P¶�¢0�����º¢0�3¢<�����7�������U���S���¿��½S£���A�.�S�;���¿���?��½2�]�7¶��]�]���$�����׶(��®O¢f�7�*¢0�3�A�B�f�Y���S�*��A�.���A�]���7���?�,± �����]���º�´�º¢0�Ç���&���?�$�I¢0�S�Ï�.�nO,�]��³�]���A�K½2�]�7¶��]�]�·�����K�$£*¢<���ã����¢0�~�]®?�*�S�]���A�k¢f½��?����$���B���S���]����¢<£(�?���]�A¢0�7���?���0��¢��A�.�&�������]� Ê ð Åp¾°HJ)�2H�E*C�¢ �×���7���¡ ��m�Ï�����S���A�7��®?� ���S�v�]���]���A� ����¢0��������A�.�&�������]���]¢0�B���S����ÒM¥3¢0���9�������$£*¢<���È����¢0���7������]®.�*�S�]���A�&ð�GKñhE��E�GG÷J7CÉiH�À Ê JpÇpE��7�����·¢0�&���S�v�]��³�]���A�?±z¨º�3�.�k½2�A£h���]®.�m�������·�v�?���&�]�·¢0���U���?���m��$��¢0�_�$�S�´���*�~�A�]���I¢<���S£�§����?�Å¢K�A�������´�$�*�7������¢f�Å�]¢0�½2�¢?���S���m�$�7�m�º���Â�$���©�Í�K±M¤v���A�]���I¢<����Ò?�������9�0����S�v�?���¢f�7���?�Ó¢0½2�?���������9���3���]�$��¢<£_�?�2�]�I¢0�7���?�º�0�¢Í�¢?�$�S�����(����¢0� ¶�¢.�,½2�A£¡���]®?�m�©���Y�2�3���7�m�$�����S���A£�³£h���?�]���A�Y¢O�;���]� ½��A�������,���7�������,�m�7�$�m�K�*��¢?�]è.�S�����m�¢O�;���]�$¶�¢f�I���]¥(�����]�«¶(�������?�S�D�7���7�����]®.�*�7�D�?����S�m�$�*�¿���?�,±(¤ �������¾£*¢0�����]�K¢<£����]����¢f�7��®?�K¶(�]���K�������?¥�$���]�k�$�����.½��×�m�A�����.�Â�A�?�S£*��½��(���7�m�µ¢0�3¢<�����7��������$�m�7�m±�â~���m¥,¢?�]�A�?�A�.�����·����¨º�3�?�<¥��A�7���7�*�]�Í� ¢O�¡£��$������O¶U����¢0���$�S�´���*�d��������¢0��� �����]§k¢f���(���?�,£h��Ò?�A£�§�$�k�]®.�]�ß�7���]�A�]�m�M±�K�µ¶�¢.�Â�.�*���A�������m�»¢f½��0®?�P¶����$�S���z�����D�A�?��³

�$�AÉÐ���f�[¢¾�����S�]�I�7�?�,Äo����¢0���]��ô ¢Y���hQ�SOõ¿¥������B����·¢m§·½��·�A�?���¿�*�S�]���m�ª����¢?�S�mè?��¢f����½��m�]¢0���7�©���Í�*��.�S£�§)À?ñIEB�]®0¢<£���¢0�7���?�U�0��½��]��¢<®.���.�m±�¨P�S�?�B¢0��³��¶��]�A�&���S�*�ªÒ?�����z�0���?½��7�m�A�7���?�«¢<£*�7�U���À¢Î£h��½�³�]�A¢<£M£¡���?�S�m¥.���Ó¢ �¢0�����]���¿�����h£*¢0�¾���B�S�*�¾�.�*���A���7³�×���.�Á�?����£¡�����m��¢0½2�0®?�?± å ���A��¢0�3¢O���U���·�¢0Ò?�m�¢ �.�*�7�7�����A�7���?�·½��]�7¶(�]�]�Â�7¶(�ß�$£*¢<���Â�lM��?�����2�3�¿����³�����D�$��¢0��½��]��¢<®?���?�A¢<£Y�]®.�´�S�]���A�º¶��S�*���z�]¢0�����?�½2�Ï�.�����m�A��£�§U�?½��I¢O�����m�T���Á�$���Â��� Ê ð Åp¾°HiJ)�2H�E*C¢P�×���7���¡ ��m�°�����S���A�7��®?�����S�v�]���]���A������¢0�¢U�A�?�&³�����$�]�ß�]¢0�����S����ÒM¥"¢f���P�$���B�?�����]�K�7�I¢f�7�����Â����¢f����������]®.�´�S�]���A� ð�G�ñhE��E�GG÷J7CÉ�H�À Ê J�Ç.E����S�*���S�m�$��³�×���.�,±�¨º�S�?��½��A£h���]®?�m�¾����¢f�������K�v�?���µ�]���*�Í�������?±

Ñ������$���]�K���m�7�7������¥M���Â�$¢m§��]¥2¶(�?�S£*�P½2�&®O¢O£���¢f½S£��¢0���ó�A�.�S£´�Ç�]®?�]�Ç�¢0Ò?�����·�$��¢0���?�P�.���&���S�v�]��³�]���A�?±Y�(���¾���&�2�?���I¢f�3�¾���0���S���*�]¥2���S�*�¾�S�3�m�Í���?������]¢0��¢?�$���I¢0���º���������¼���ó¢0�S§D¶�¢m§?±D���������m�7��A�?�S£*��½��&¢0�$�I¢?�$Ò?�m�·�?�P�$���m�7�������]���*�7�m�¾�?�S£�§��h������º£*¢0�����]���$£*¢<��� ¶��]�$�P�������?±ï¨º�3�?�µ½��A£h���]®?�m������D�A�7���7�*�]�&��¢<®?�º���?�m¥�¢0���Ç¢0���º���?�&�?�0�����U���½��D¢0½S£������U�����0®?�����S�*�]±À���S�´�µ�*�·½2�m�]¢0���7�����½��A£h���]®?�m�U����¢0�Î�����U�;�.���¢0�������0®.�´�S�m�ï½S§ï��������m�7�·�]��¢0½S£��m�·�AÉV¢f�����S�����z¢D®.�]��§U£*¢0���?���7�]�Â�f�¢?�A�7��®.�������m�º����¢f�¶(�?�S£*�z�A�?���S�P¢?�&�]®.�*�S�]���A�Á�f����S����Ò?������±(�(���]���]½S§?¥?���¾���A�v�����m���$�����?½��7�m�A�7���?���¢0½��.���������k�$�A�?��� �0�_����� ���m�7�m±¨º�S�?�Y�A�?���$£����S�m�K½S§Ó���I¢0�7�����·����¢0�Y¢<£������.���?�

���������U��¢?� �A�]���I¢<���&�7���?�$�I�A�?�������3�~æR�?± ��±�¥Ë����½2�]³�����P�0�~£¡������£��µ®O¢<£��������D�?�S�*�.�����P�$�m�7�m¢0�I�$�MçI¥2���¾�*�¢0� ���&���?�$�I¢0�S���&�m¢?�7�����d�;�.�Å�A�?�µ�������]�������?���?�S�¶����]�­���ª�*�·�����S���A�7��®?�A£�§«���S���]�������]�$�m�M±¨º�?���]³�0®?�]�m¥2�����&�7�I¢0����¢0�A�Ó�A�������´�$�*�7�·�K�0�������&���­�R¢<�h£�����7���0¶À����¢f�����¾�*�K�S�A "�$���]�3�9�¡���7���$�T¢f�����3�$�]��³�����]�I¢0�����.���*�(�¢?�S�?±�����]�S£�§D����¨º�3�?�B�A�.�&�m�¾�v���?��z¾�?���f£´¢.�BÑ(±

¯?�I¢<£�Ò?�]��ôh¯?�A¢¦R�-<õR±;@��(�����A�v�]�I� ���B�]¢O£¡£"¨º�S�?�mÄo�"����³���]�������]�A¢0�7���?�¢0�µ�AÉÐ�S£*¢0��¢0�$�?��§B�.�����I¢0�����]�~����¢0�¢0�·�����S���A�7��®?�B�.���?±(¯?�I¢<£�Ò?�]�(���?���m�~����¢f��¨º�S�?�mÄo�½��A£h���A� �(¢0½2�?��� �����(�&�]�3�A¢<£h���7§ �0���?�����]� �3���·¢0���]¥¢?��¶(�A£h£Ï¢?���A�?�&�����$�]�I�]¥&¢0������¢f�����0�Ï¢0�È�AÉ�³�S£*¢0��¢0���?�$§&�����]�?��§?±;@Í�Y�]�µ����¢?�¿��Ô]�m�~����¢0��¨º�S�?��S�3�m� ���?�g�7���7�7�h�v§D����¢0�K�S�*� �����]�?�$§P�0���AÉ��S£´¢O����³�����Á¢P�A�?�µ�������]�mÄo� �7���]�A�m����¢0�������Â���¼½S§����7³�����Ó�$���Â�A�?���A�]���B�f���$�S����Ò.�����º�´�9����� Ä"E�G�H �����]³�?��§&�$��¢0���]¢0�µ½��B�A�?���7�$�����A���m�·¢0½��?���~�����K��¢0�&������]���?�&�]���?�,±�K�,¢0��¢<£����]����¢0�7��®?�~�AÉÐ�S£*¢0��¢f�7���?�K�v�?�,�����(�A�?�&³

�������]�mÄo�9½��]��¢<®.���.�m¥�¯?�I¢O£�Ò.�]�K�����?���S�7�m�K¢·�������A£�§�&�m�$��¢0�S�*�7�7�*�������]�?�$§P����¢0�¾�S�3�m�¾���?�B¢f�����m¢<£����¢0�S§P�&�]�S�I¢<£Å�A�.���A�]���I�]±i@(�*�9�����]�?��§��I¢fÒ?�m�(���S����A�?���¿�*�S�]�I¢0�����.�Ï�7���$� � ¢.�A���?�I� ¢?� �������A�?�&�����$�]�mÄo����3§��¿�*�]¢<£"�7�$�����A�������?¥<���I� �����.�?�I¢0�È¢0���¾���I� ���S§��7³�*�]¢<£"�]�S®?�����.���&�]�3�<±Å¨º�?�$�]�O®.�]�m¥m���ͽ��A£h���]®?�m�~���S�*������]�?��§ ���K½��(�����A�v�]�I¢0½S£��K�A�?�&��¢0�$�m�B�$�ߨº�S�?�mÄo�]±¯?�I¢<£�Ò?�]�U½��A£h���]®?�m�U�AÉ��S£´¢f��¢0���?��§ï�����]�?�����m�T����¢0����3®?�f£�®.� �A�?���A�]���A���0�&���S����Ò.�����«�]¢0�ï¢0���S£�§«������]�?�S£��?¥�½�����½��m�]¢f���7���0�Ï�7�.�&���v������¢0�&�]�S�I¢<£�.�nOG�]�$�]���A�m�(½��]�7¶(�]�]�Ï�A�.�&�������]�I�(¢0���µ�3���·¢0���]¥�����]§ó�·¢m§U���?�·½��������º½��m�7�·�����]�?�7���m�µ�v�?�&�AÉ�³�S£*¢<���S�������A�?�&�������]�ͽ��]��¢<®?���?�<±

ì�S

Page 15: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

¤¿�z�S�´��¢f���7¶(�]�Â���ǯ?�I¢<£�Ò?�]��ôo¨º�S��R�-<õR¥�¨º�3�.�½�¢.�¿�*�]¢<£h£�§D��¢<§��(����¢0�¾����� �AÉ3�*�7���]���A�µ�0��¢<£����]����¢0³����®.�Â�AÉ��S£*¢0��¢0�7���?���&�S�S�m� ���?���&�m¢0�U����¢0� �����]§¶(�?�S£*�ª���m�A�m����¢0�7�h£�§�½����A�?�&�2�]�7�����?�I�]±~¤R���´�Í��������$��¢0��¢0�·�AÉ��S£´¢f��¢0�7���?�·�v�?��¢��A�?�&�����$�]�mÄo��¢.�A�7��®?��³�����m�(�]¢0�µ½��K�0��®?�]��¢0���.�nO,�]���]�3�~£��]®?�A£*��M����S§��¿�*�]�]¥�A£��m�A���$�?�S�*���$���A�A�S���$��§?¥������?�.�I¢0�Â�]¥ ¢0½��7���A¢?�A�k¢0��³�$�?�¢0�I¢V¥]�]�I�0±�¨º�3�?� ���?���m������¢0� �����m�7�(�AÉ��S£*¢0��¢0³�����.����¶(�?�S£*�µ½��K�.�nOG�]�$�]�3�m¥S½����(���?�~���m�A�m����¢0�7�h£�§����®0¢<£*�]±z¤R�z�������]¢?�7���0�k¢Î�A�?�&�������]���.�*�7�S£*¢m§S³�����º���3�$�A£¡£h���?�]�S�&½��]��¢<®.���?�B½S§�½��A�����Á�7���]�A�m���×�;�S£���U�����&¤"¢k¥_¢f�Á�AÉ��S£*¢0��¢0���?�$§Ó�$���]�?��§º���3®?�f£�®.������$�S����Ò.�����P�A�?�S£*���]®?�]�º½��������A�v�]�����m��½2�m�]¢0���7������*���×���µ�S£��]�K¢0���·�m¢?�×���]�Í���������S�]�I�7�I¢0���M±~¨P�S�?�mÄg��A�.���$£����×���.�P�*��M

¤R����]�]�Â�ã��¢f�����I¢<£ú¢f��� �����?½�¢0½S£�§�&�3�7�¾�����S�]�I�7�A¢0����¢0½S£��&���P�A�?���$��������AÉÐ�S£*¢0��¢f�7���?�&���·���]���Â�d�0�_¢K�����]�.��§B�0��������M±�¤ ���?���B��¢?�Í����� ��¢0�7���]���A�?¥M������AÉÐ�S£*¢0��¢f�7���?�D�A�?�S£*�Ó¢O£´���½2�B�0��®?�]�D¢0�£��O¶(�]�~£��]®?�A£*���f�Å�S�m���A�7�����7���?�,¥2�?± ��±�¥f����³®?�0£�®.�������2�]����¢0�����$���?����¢0�����d�0�_�A�?�&³�������]�������7�$�����A�7���?���Ç�?�ó�©�¡£h£h���?���z�0�����¢f���?�m�·���È�$���A�A�S���U�7�I¢0���m��ôg¨P�S��R�-.¥�,±hO7N¦R<õR±

� ÙMÚ � Ú Ü �¼ÝB� Û������ � ����}È��;�k�ßÞI�X w � � ��Z%y �ä� Ú Ü ��� ��IZ%y �

Ãz�S�h£��K�����?���?�S���AÉ����]�����µ�]�3�I�(¢0�$�Y�7�7�h£h£_¢0���?�����M¥�����]¢0� ½��Y���]�]�k�$��¢0�,£*¢0�$�h-?¹�Äg�_¢0��� �����(í?¹�Äo� ¢<£*�7��v�m¢0�����$�B¢����]���S�]���A§�����£��m¢<®?� �����B�A�?���v�?���I¢f½S£��¢f���Â�$��¢<���k�f�Y���S�h£��S�7�?���S§?±D¤R���$�S�´���7�m�A�����.��¶��¶��¡£h£��A�0®?�]�(�?�S£�§P�7�?�&�K�0�������K¶(�?��Ò��(����¢f����¢<®?�¢.���S���m���7�m���$�����Í�K±?�(�S�*� �*���·¢<���S£�§µ½��m�]¢0���7�Í�0��$���ß�7���]�]��¢0½�������¢f���A�K�0�_�A�?�&�&�]�S�I�~�?�&�����Í�*�7³�����?±Å�����Y�7��½��7�]���0�M������¶(�?��ÒB�S�.���Y�S���7�����B�����-.¹�Äo��¢0�����$���Yí?¹�Äo������¢0�~¶(���$���3�7�Í���K�����m�7�]�S������$�S�´�K���m�A�7���?�D¶(�h£h£������0®?�*�S�¢·�.�]���]�I¢<£��O®.�]��®?���]¶�f�_�����K�¢<���P¢0�$�?���&�]�S�I�(¢0���&�$���K���m¢?�S�]�(�*���.��³�$�m�A���m���������A�v�]���]���A�m�9�v�?�¾�;���$�����]�K�AÉÐ�S£h�*�]¢0�7���?�,±�������7�$³v���m¢?�¾�*��z¾�?���f£´¢.�;@��0�R�7�I¢.�S���]�mÄo� Êh�,���7��������m�7��Mµ�ø¬���O,�]�]���?�����P¬��.�3®?�]�A��¢0�7���?�,Ä(ô�@Í�0�N-7N]õ¶Í�S�´�$�ï�*�ª�;�S£h£Â�0�&®0¢<£���¢0½S£��»¢0���­�]�3�$�]���I¢<���S�����

�����¿���?�3�A�]± ���R���)ËY¢f�I¢<§3¢0��¢0�å�7�$���.���m�U�$���U����³���]�S�7���?��¢<£k�7�I¢f���A�T¢f���z������¤¢ ô�˾¢0�Ií7QËõR± ÑV�?�¢À�.�*���A���$�¿���?���0�Ï�$�����v�I¢0�&�������.½S£��]� ���¼���]³£*¢0�7���?�²���å�����È���K¥��$���À���m¢.�S�]���*�Ç���A�;�]�$���m����Àô�¬����3ípS<õR± å �����]�P�$�A�;�]���]���A�m�º����¢f�P�]¢0�À½2��AÉÐ�S£��?�$�m�«¢0���Dô�@¾¢<£'-¦R3¥�b�¢0��-¿R3¥�Ñ��.�(-�-S¥�¢K��-�-S¥âd���1-)-�¥��Í£���í?¹2¥zK¢<®Ðí?¹.¥�¦�¢f�Ií?¹?¥Í¬�£*¢?í7NS¥(¯�¬(í7O�¥|?¢?�]í7O.¢�¥K¨Ó¢f�Ií?¸?¥ ¬�¨�í?¸S¥KÑ��A�*í7QV¥ @¾¢<§Ðí)-mõ¿±Æ��3����½2�]���f�G¢0�����´�$£��m�d�?�&�����Y�Í�U��¢m®.�Y¢0�����m¢f���m����È���?���S£*¢0�D���$���]���A���¢0�S¢0ÔA�����m�]¥K���S��±ø¯?�.�&��0�k�$���m�7�Ó¢0�$� ô ¢Y�S�'-7OS¥hz¾�]¶¾í7NS¥�¦ £*¢?í?¸S¥(Ñ�£��Sí7Q�¥ÃÁ¢<£*í¦Rmõ¿±�(���Ì��� ���A�]���̽��]�3¢0�ä���m¢0������� ��� ¢0�

������½��]�f�����S�����È�0�·������-?¹�Äo�˱Ì��£������?���.�È�����é]�A�?�����$���?�������m���«¢0���.���&�]�3�AëÈ¢0���ã�$��� é]¢f�3�7��³½��]��¢<®.���.�7�*�7�Ó¢0�$�?���&�]�S�IëD¶(�]����®?�f�´�A�m�ö½��A�v�?���?¥�����]§���¢?�º���?�K½��]�]�Î���m¢<£h£�§Ó�������]���7£h������±k�����]�,¥��� �$���Æ�m¢0�7£�§�-?¹VÄo�]¥È�7¶(� �7���$�?��� �A�?���S���]��³¢0���?���µ�]�3�I�¾¢0�3¢O�������K�����&���«¶(�]��� �v�?�����S£*¢0���m�½3§�|0�?����¯?�m¢0�7£��K¢0���_Ë��m��âd£��Ð�$ÒM¥3�$�m�7���m�A�7��®?�A£�§?±�(�����S�]½�¢f�����?��¯?�m¢f�7£��?Äo��é<¬��S�����m�7��b(�S�?�Âë��´�G������I�7�A£h�"�AÉ���¢0���¿��®?�(�]���?���?� ����½2�������(�7��½��7�m�A�_�0��¢¶����0£��B�$�]®?���]¶«��¢0�2�]���0��¢0�~£��m¢?�7�����S�*���×��Ô]�?±dÃD�¶(�h£h£��A�.���¿�*�S�]������½��7���AÖ�§�����¯?�m�A�����.�ªS�± NK¢0��� ��������3���]�$�m�7���m�Ç���m¢?�S�]�P�7���.�S£´�Ç��¢<®?�º��� �.�hùÏ�A�S£��7§ ����.�����«�&�?���º���S�v�?���¢0�����.�À¢0½��.���P�������*�������?±âd£����$Ò"Äo�º¢0�S�7��³v½��]��¢<®?���?���´���Ó¢0���A¢?��ÒU�0�������D���K¥�?�D�����µ�?�����]�B��¢f���M¥_¶�¢?�¾���.�B�.�´���������m�D�����$�¢0���µ���(�*���$���B¢<��� �f��¯?�m�A�7���?�TS2±�ì¾�����A£´¢f½��?�I¢f����?�P�S�*���*�S�m¢?�]±

¼�¢0�����.���_¢0�$���]�&���I�2��¢<®?��½��]�]���¢.�S�������&���S³�h�;§È���������Ì�$�»�.�]�Ó½2�]�����]�»é[���m�7�I��ë°�v�?���¢0³���S�����������.���?�3�<¥Y¢0���z�$���m�7� ¢f���D�.�´�$�A�����7�m�­���¯?�m�A�7���?��S�± S�±;b(�?½2�]���BÑ��$�]�����,Äo� Ê´¯?��½"�A�?�?�S���7���?�¢0���U�����«U2�������I�µ�0�Y�$���P�,���7�����Á���m�7�mÄ(ôoÑV���mí?¹<õ�*��¢0��¢<£�§SÔ]�m�·����¯?�m�A�7���?�TS�±o¸V±ÅÑ�����¢<£h£�§?¥2�����©éI£��m�$����S�h£��S�7�?���S�*�]¢<£*ëÂ���I¢0���A�(���0¶�¢0�I���������Y���Î�*�(�.�*�7³�A�����7�m�Ï���ί?�m�A�7���?�«S2±�Q�±

K;� � �T�h�����j� �9ü¥�N�p� �r���c�b���0�M� ��7�p¤R�UÊ¡¦~�7§Ð�$���0£��?�0�*�7�ø¢0���ºâ��]��¢<®.���?�7�*�7�PÄ ôoâd£��.-�ìAõR¥Ë��m�Îâ�£�����ÒD¢0�$�I¢?�$ÒÐ�Í�����Â���È¢.�K¢·½��]��¢<®?���?���´���¢0�������3¢.���º���&���S���A£h£h���.�]���A�?±B�Í£������?���?�����S�*�Í��¢0³���]�(¶�¢?� ¶��7�����$�]�����Pìmí�-�ì.¥?â�£�����Ò·�7�7�h£h£G�7�]�]�Â�d������0£*����������¢0�&�K�.�S���S���?���Ë¥"�7�]�&ôgâ�£��3í.¸0õR±âd£��Ð�$ÒP½2�A£h���]®.�m�B�$��¢0�Y�$���?�7���S�?�m�Í���������&���

ìm¸

Page 16: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

�]¢f�Ƚ��U�v�3�0£��m�ï½S§ Ê ð4ñ�ò�� E�GG��¢?�$�S�����m�D����¢f��$�A£�§U�?�ó�7�.�&�P�¿���&�S£��P�����´�$Ò��������?���]�A¢0���?±)@�����$�?���3���m��¢D�S§3�2�?�����]�7�*�]¢<£B�·¢?���S����������¢0�·¶(�h£h£��¢.���U�����À���9¥B½����Ç��¢?��¢ï®?�]��§��¿���&�S£��«����³�v�?���·¢0�7���?�«�������A�m���¿�����À�A�.�&���?���]�S�m± â�£�����ÒMÄo��·¢?���S�����z��¢?�U¢<£h£Ï�2�3���¿��½S£��È�A�?�3®.�]�I��¢0�7���?���T�0����?�&�·�0��®?�]�D£��]���?�$�����m�A�?�I�S�m�T���U���A���&�]�&�?�$§?±å �k�A�.���I�7�?¥~¶��º¶�¢0�3�������m���Ó�A�?�S®?�]�I��¢f�7���?���&�$�½2�P�7���$�Á����¢f�©¢f�K£��m¢?�7�&�.���Â��¢0�$�קº�*�·Êo�·¢0Ò?��������]���7�?Ä_ôgâ�£��3í.¸0õR±Y�����k�7�]�K�0�������7�����3�¾�A�?���7�7��������³�����Á�������ó�A�?�S®?�]�I�$¢0�7���?��� ����¢0�&�]¢0��½2�P�]¢0���7���m��.��������¢  �ÉÐ�m��¢f�&�?���S���f�Å�7���&�B¢f���¾ ��S�����k¢0����$�3�����]¢0��½2���]�3���&�]�A¢0���m�U¢0�����7���?�$�m�������?����S§S���?�����]���´�]¢O£��A�?�&�������]�m±K�(���©�7���S�?�B�7§S���m�Í���¢Î�7���7������¥(��¢<§ ½ ±��(���º�¢?�$�S������ ������·¢Á�A�?��³®.�]�I��¢0�7���?�ǽ��]�0�����S�����ó¶����$� ½ø¢0���°�קS���m�µ�?����$���B�7�m�A�?�����7�]�S���]���A�K�0�_�$�S�´�Í�7���7������¥��$¢m§ Â�±S¤ ��¥���AÉ��m¥(�����ò�×���S�.�Ó�7§S���m�©���ï±~¥������P���$�Ð�A�m���©�*��$�]���m¢0���m�ζ(�����4½¼���]�S£*¢?�A�m�νS§ ½~Âi±�±M�Í£¡£�������·¢?���S�������S�3�m�9�*�&�¿���&�S£��Áé$£��S�?ÒS��� ¢0���ζ��7�����]³�.���Ië�¥��A�]���A¢<���S£�§����.���S�����Á����¢f�©¢f�3§?�.����¶��.�S£´��]¢O£¡£��7�?���S�*�7�7�*�]¢0���m�Ï���S�;�?�$�¢0�7���?�º�����Ð�A�m�$�¿������±¯0�����A�����S�*�Í�¢?�$�S��������¢?�������K���S���A£h£¡���?�]���A�µ�0�

¢²�7��Ò?�]½2�mÉóôoâd£��3í?¸fõ��?�B¢ª���3¢?�7�$�]�kôoâd£��.-�ìËõR¥_¢0����×�����A�~����¶(�h£h£���¢?�������������K¥<�������$�m�7�_�����7� ½���¢0�����¢?�S�mè.��¢0���Î�&�m¢?�7�����º�0�B���S���A£h£h���.�]���A�?±ãâ�£�����Ò�����m�Í���S�*���A�?���$£����¿���?�����µ�����K�&�?���K�.�]���]�I¢<£_�?����$��¢0�&���S�*�©�´�µ½��m�]¢f���7�P�0�K�����º½��]��¢<®?���?���´���Ï¢0��³���$�3¢?�$���I¢0Ò?�]�µ���P�������S�m�¿���?�P�0�������B���9±

ËÍ�m�ïâ�£�����Òï�S�A ����m�����7§������0£��?�f�´��� ¢.��Êo������S���A���7�������$��¢0��¶����]�����]��½2�]��¢m®.���?���*�Å���S���A£h£h���?�]�3�½2�]��¢<®?���?�(�S�]���]�����~�?�������Y�$��¢0�I¢?�A�$�]�_�0�M�����(����³�$�]����¢<£����S�v�?���¢f�7���?�Â���$�Ð�A�m���×����������¢f���������S���A�m����mÄÍôoâd£���-�ì?¥~�,±�¸0õR±��K�]�A�?�I�.�������������S�*�·�S�A ��S��³�����.�,¥,�7¶(�Ï�7§��7���]�·�K�]¢0�Á�.�*�7�S£*¢<§Ó�$���Â��¢0�&�&¢?�A³�$��¢<£d¢f���P�2�?���]�S�7�*¢<£�½��]��¢<®.���?�m¥,��¢<®?� �����&��¢0�&�½2�]��¢<®?���?�I¢O£_�����?�2�]���7���m�]¥M�]¢0��¢?�$���7���m�K¢0���P�.�*�7�2�?³�×�������.���]¥,¢0����§.�]�m¥��$���]���k�A�?�S£*��½2�&¢Â�.�nO,�]���]���A����ï�����A�������S�v�?���¢0�����.�«�������A�m���¿�����z�����?�&���7��������¾�$�Â�?�A¢0�3�¾�?��� �v�S£¡£~���3���A£h£h���?�]���A�·¶��S�h£��·���0£*�S³�����·����¢0�(�����K�?�$���]�(�*�Y�S�]®?�f�´�ª�0��¢0�3§?±� �$£*¢?���×�´�]¢O£Î¢f���?���&�]�S�ó¢0�3¢<�����7������§Ð�$���0£��?³

�f�´��� �*�������ï¨Ó¢f���7�*¢0�ã¢0���?���µ�]�3��M ¯?�����2�3�7��$��¢0�������]���Î�´�Ó£¡�h�v�ó�?�Ȩ�¢0�I�]± @Í���¢0���D¢0���¨�¢0�$�7�*¢0�����&�]�]�<¥k�S�]®?�A£��?�å¢f�À�����S�]�I���I¢0���.������f�Â�m¢?�$�À�?�$���]�m¥B�]���S¢0�?�Î���È�µ�]�3�I¢O£©¢0���È�A���]³¢f�7��®?� ¢.�A�7��®?���7���m�����.�?�]�����]�D¢0���ï�7�z�?�,±Æ�¾���

�����]�,¥0�����*���.�´�$�A�O®.�]���m� ����¢0�_¨�¢0�����´¢f���,��¢<®?�(�¿���?³�S�h "�]¢0�3��£�§²�.��O,�]���]�S�U���S�;�.���¢0�7���?� �����Ð�A�m�$�¿������&�m�$��¢0�S�*�7�Â� ����¢0�U�����3�7�µ�0���S���¢0���]±ªÃD�?�S£*�¶(�?¥3�$���]�,¥Ð�S�]�S§·����¢0���$���m�7�B�A���m¢0�����$�m����¢<®?������³���A£h£h���.�]���A�]�×���7�K½2�m�]¢0���7�&�$���]§Ó¢0����®?�]�$§Ó�.�nO,�]��³�]�3�¾�v���?�²���Aêó�(�S�*�¾¶(�?�S£*�º½��?¥_¢.�Yâd£��Ð�$Ò�£h��Ò?�m����&�]¢<£h£M���<¥3�����$�©é]�$��¢0��®.���S�´���Âë�±j@Í�K���0£*���~����¢0����7§������0£��?�f�´��� �S�3�m�©���?� ���S®?�0£�®?���$�S�´�©Ò?�������f�����¢f��®?���S�*�7�P±Ì�Í�;�$�]�Ó¢<£h£R¥B����§Ð�$���0£��?�0�*�7� �S�S�m����?�P�7�I¢f���P����¢f�Â�����º�R¢?�A�·����¢0�P¢U�7§Ð�����]� ��¢?�¢��A�?�&�S£��]���A£�§ �.�nO,�]���]�S� ���S�v�?���·¢0�7���?�U�����Ð�A�m�$�7³�����D�&�m�$��¢0�S�*�7�÷�A�?�&��¢0���m�Î���º�3���¢f�D½��A�����3�ñhE���ElG�G�J7CAð'� É(�&�m¢f��������¢f�����Í£*¢?��Ò��~���S���A£h£¡���?�]���A�?±���$�I¢?�$Ò?�����z�����U®O¢<£h�*�.���קÈ�f�Â��������� ���¿�����

���7§������0£��?�f�´��� �S�3�m�µ���?���7�]�]� �$�Á½2�Óâd£��Ð�$Ò"Äg��¢<�������S���]���m�7�<±3@��ª�*�&�&�.���P�A�?���A�]�����m�°¶(�����¢0���?�S������¢0�3¢<�����7�µ½��]��¢<®?���?���´��� ���¿�����Á���������¢?��¢ �v���]¢<£_���f���S�m±�K�¾¶�¢?���µ�]�3�7���?���m�΢0½��0®?�?¥,âd£��Ð�$Ò�½��A£h���]®?�m�]¥

½��m�]¢0�������0�������(����¢0�A¢?�A���]�7�*�7�7�*�]� �2�m�A�S£¡�*¢0�(���Í������S�m�¿���?���0�,�����Y�Í�K¥3�7�.�&���?�]�S�S�����A£�§·���S���A£h£h���.�]�3��¢?�$�S�����m�&�]¢0�U½��P�$£*¢?���¿�h ��m��¢?�9£*¢?�$Ò?�����º���3�$�A£�³£h���.�]���A�P¢0����®.�´�A�·®?�]�I�$¢�±\@Í�]�����*� ¶���¢0�Bâd£�����Ò�7���?�?�m���I�2���B�?�A�S�]�_���(�A£h��������¢0���Y�S�]�2�]���S�]���A���?��3���·¢0�»�.�*���A�7��������¢0�$�?��§����0¶(�]�I��MºÊoÃÎ�Ï�7���.�S£´��7���m�$�h�v§?¥2���Ó¢�ñIÀ?ñ��a�1�¦E�G�Hvð`À?ñ2�eÄ"E�Å*Å?ð4ñ°ÅͶ�¢m§µ¶���¢0����·�´�µ�v�?�¢U�7�mè.���]���A���0�B���m�7�2�?���7�m�·���D®.�]��½�¢<£�7�7�����S£h�G�$�B½��B¢9�7§3�S�*�]¢<£M�����Ð�S���A�(�0� �?�����?�(¢0��³�?�����]�Y���ק.£��K�0� ���S���A£h���?�]���A�?Ä�ôoâd£��.-�ì?¥S�,±,ì<¹�¥S�]�&³����¢?�¿�*�K¢?���S�m�SõR±¾�(���]�,¥,âd£��Ð�$ÒÓ�7���.�?�m�7�I�(¶(� ���]³®?�*�7���?���Í���3�$�A£¡£h���?�]���A�]³v�?�A¢0�3�������º�&�m�$��¢0�S�*�7�Æ¢?��;�f£¡£��0¶Y��M

¤¿�3���A£h£h���?�]���A�øæR�.�»�µ�?���È¢?�]�A���I¢0���A£�§?¥�A�?�S®?�]�I�$¢0�7���?��¢<£K���S���A£h£¡���?�]���A�0çº�*��������.�*�7�2�3�¿���7���?�å�$�»���$�Ð�S���A�ó¢z�7�]���¿��½S£���7�mè.���]���A���0�K®?�]��½�¢<£Y�$�m�7���?�����m�&���U¢�7�mè.���]���A�U�0�k®?�]�$½�¢<£9���7���k�S£h�R¥K¶���¢f��³�]®?�]�Í�����]§��¢<§&½��·ôoâd£��.-�ì?¥S�,± ì?ì]õR±

ËÍ�0¶B¥��$�����&�Ð�.�h ��m�z���ã�S�S�m�µ���?�Â�S�]���]����?�¢0�S§?�?���?Äg���A�?�������B���&¶����$�Â�?�S���kè.���m�7�7���?���Ë¥�¿�����A�z�����ó�7§��7���]�ä�����7�D��¢<®?�ó¢ïò?ð G F�ÀpG[ðLHvðLÀ?ñ���·�]�����k�7�]���¿��½S£��&���m�����?���7�m�¾�$�Ï¢0�S§S���S����������¢0������·���3�$�]�����?�3¢f���?� Ê ð Åp¾°H��$¢m§?¥~���?�©�7���7��������������S�����3�K�$��¢0�K���p­O�7���Pò¥À�E�GB��¢<§?± ���K���S�*�K�2�0���3�<¥âd£����$Òö�S�]�µ�?���7���I¢f���m������¢0�·�������&���.�h ��m�«���

ì�Q

Page 17: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

�*�����.�k�.���m¢0�7£�§�¢QO,�m�A���m�D½S§D�����P���I¢0����¢0�I�U¢0��³�.���&�]�3�A�&¢0�3¢<�����7�µ½��]��¢<®?���?���´��� á æ ±z�(����£h�����7£���S�A�v�m�A�I�9�0�������µ�&�Ð�.�h ��m�����È¢.�K¢�½��]��¢<®.���?�I¢<£�A�.���A�]���7���?���0�(���3���A£h£h���?�]���A�D�]¢0�U½��·�����?���m�A���m�¢f�3¢<�����7�(�����m�7�B¢0�$�?���&�]�S�I�~¶(�����P¢0���?�����]�Í�&�Ð�S³�h "�]¢0�����.�,±��(���K���A�v�?�����S£*¢0�7���?�����S®?�0£�®?�m�(�$���Y���]³�S£*¢?�A�]�µ�]�3�(�0�_�$���Y���]�$� é]�.�*�7�2�3�¿���7���?��ë�½S§Óé]�]¢0³��¢.�$���7§�ë�±«�(�����.��O,�]���]���A�º�*�µ����¢0�¢U�]¢0��¢?�$���7§�$���P���]�m�����.�&���m�7�S£��µ���z¢D�.�*�7���S�¿���7���?�z�����3¥���S£��m�����A�]�$�I¢<���Ç���S���]����¢O£9�A�?���.���7���?����¢f���P�&�]�<±ËÍ�0¶B¥3¢O£¡£,¢0���?���µ�]�3�I�~¢0�3¢<�����7�(½2�]��¢m®.���?�7�*�7�ã¢0���¢<®?�f�´�S�m��á ç ¶����$�«HL¾°EKñhEÀ��Q������À.ñ��E�F�HvðLÀ?ñ_À�ÁYð4ñ��H�EQ�'�hð Å7E<ñ��E�M

¤R�S���A£h£h���.�]���A�æ¿�?�z�&�?���å¢?�]�A���A¢0���A£�§?¥�A�?�S®?�]�I��¢0�����.��¢<£K���3���A£h£h���?�]���A�0ç��*�º������]¢0��¢?�$���7§����P�������S���A�P¢P���]���¿��½S£����7�]³è?���]���A�K�f�Å®?�]�$½�¢<£"���m�����?���7�m�Í����¢&�7�]³è?���]���A���0��®?�]��½�¢O£Å�7�7�����S£h� ¥M¶Í��¢0���]®?�]������]§·�¢<§Â½2�&ôoâd£���-�ì?¥��,±,ìQ-0õR±

�Í£������?���?�Pâd£�����Ò��7�]�]�Â�(�$�k½2��Êo���A£��S�����Â�?���<Ä�$���ó���̽S§À�¢fÒ?�����z����£��m���Î�����?�������ï¢0�3����³½2�]��¢<®?���?�7�*�7� �?½��7�m�A�7���?���]¥M���S�*�Í�*�K��¢f�I�.£�§Ó¢��7����³�����´�×�������A�?���7�mè.���]���A�P¶Í���]�ó�����P�S�A ��S���7���?�Ç�0����S���A£h£h���.�]���A�&�*�¾�&���.�h ��m�����S�����7�?�&�]���S����������¢f��*�·���?�·���m¢<£h£�§ó½2�]��¢<®?���?�7�*�7��¢0�S§��&�?���?±ïâ�£�����Ò���]�]�Â�·���U½��D¢<¶�¢f���P�0�B�$�S�´�µ�v�?�����D��¢<§��&������A�.���A�m���¿���?�&�¢.�S���$�K���7§Ð�$���0£��?�0�*�7�¼½3§ �&�0®?������v���?� ½��]��¢<®.���?�I¢<£k�.�*�7�2�3�¿���7���?���º����½��]��¢<®.���?�I¢<£�]¢f��¢?�$���7���m��¶��¡£h£,���?�~½��¾�]���?���?�·���k��¢<®?�(½2�]��¢m®S³���?���´���ãôoâd£���-�ì?¥0�,±Sì1-0õR±�@(�*�������I¢0���]�.§��*���7���$�]�I����³�����ǽ��]��¢<®?���?���´��� ���U���I�Ï£¡�������I�º¢0���«�7���0¶(������$��¢0�m¥S�]®?�]�·�h��¶(�Y��¢<®?�K�����K�µ�3�7�(�?�]���]�I¢<£��;�?�$��f�_���m¥2�����B½2�]��¢<®?���?�7�*�7���´���A�?���A�]�������.�Ó�f�_���S���A£h£¡��³�.�]���A�K�*�~�R¢<£*�7�?±

@Í�0¶B¥~�?�����¢<§D¶(�?���S�]�m¥~¶(�h£h£ß���P�S�D�$��¢0�]êâd£�����ÒÂ�S�m�$�A�7��½��m��¢9�¢?�$�S�����¾����¢0�(�]¢0�&�������S���A�¢����]���¿��½S£����7�mè.���]���A�D�0��®?�]��½�¢<£K���m�7�2�?���7�m���$�®.�]��½�¢<£"�7�7�����S£h�G¢0���©�*� ���S���A£h£¡���?�]�S�Y¢?�]�A�.�I�.�����k�$�ûLè �9�*�h���mþ����I�[�����4ÿoý����& � #;no�oý�� <j�$þ��h���*��Zr�Ëÿ�+��mý"���jt

� ��"� �¥=�!p�×þL�������9����výAþ�=.��*&�!.�$þ �e��#��4ÿ��[�"��& � þ ��ÿ���t�ÿ��lt`f��"��$þ�����g������+�:v�9��� ��ÿ�����&_&]ÿ�+����*+�+4ÿoý��ºý�����*��+���ÿ�+ � ��#Iý��&���*�j+��7ý!.�~ý�r���]ÿ�+;'MýAþ�<?��*&Kÿ�+��mý���7þ��*�Rÿ2�e���vý �����;���lt&*�7þ�+�� ��*&]ÿ���� ý�9'9�p�����ý"���oý'9+�:g�9���~ÿ������7þ���+�����&kþ���"&��7þÿ�+~þ���� �7þvþ���&]�vý], no�oý�-�s�=h!*!7:rss t sce01�"��&]���*��þ���� �7þ���������+!<þvýfAÿ�&���&²�����7þ��:ûLé W����g,�n��oý�-ls�=.!¥:°s-�0L:

���������]�?³R�Í���A�?���A�]���7���?�&�0�����S���A£h£h���.�]���A�?±�@��0¶�³�]®?�]�m¥S¢?�]�A�?�I�.���������K�S���P¥S�����(���S�v�?���¢0�����.�&�����?³�A�m���¿�����·�0�_�����¾�¢?�$�S�����k�$£��m¢0�7£�§��S�]�&�?���7���A¢0���m�����¢0� �����*�~�S�]®?�0�*���0�2���S���A£h£h���?�]���A�?±(ÃD�(��¢<®?�(½�¢0³�¿�*�]¢<£h£�§P�AÉ��S£´¢O�����m�ª���0¶»�$�S�´���¢?�$�S�����K¶(�?�$ÒÐ�d��������¾���3�$���Ð�S���A�$�?��§·��¢0�I¢0�?�A¢0�����~�0�_���S�*���7�m�A�����.�,±âd£��Ð�$ÒÈ�]¢<£h£´�΢»�����7�����«�0�Ï���]�3���]���A�m�T¶����3�7�

�&�]��½��]�I�·�]¢0��½2�P�7§3�2�m�U½3§ó¢º�S���¢0�Ç�קS�S�*�7��?���¢<�v���]�B¢0���.�����]�¾���D�?���&���?��� �?�¾£��m���]¥ ¢¡H�É1�F¿J°Ä�� E��7���7�������0�_�7�]�S���]���A�m�]±(�(���ß���]���0�_�7§S��¢0½S£���7���7�����3�º�0�&�7�]�S���]���A�m�ª�´���$£��m¢0�7£�§z ��S�����?± �(����7��½��7�]�¾�0�����S�*�Y�7�]�¾�A�?���¿�*�7�7�����·�0�Å�$���3�7�k�����7�����3�¶��S�*���ó�]¢f�Á��¢0�$���I¢<£h£�§D½��·���S���]�������]���m�U¢?� �A�?��³®?�]�I��¢f�7���?���d���·¶��S�*�$�Ï¢0�d£��m¢?�7�(�?���¾��¢0���7§"Äg���A�?��³���7��½����7���?���*�K�7�]���×��½S£����*�K¢<£*�7��¢© ��S���$�Â�7�]�m±�b(�]³�]¢<£h£"����¢f��¶���¢?�$�7���&�(¶(����¢<®?��¢¾���?��³Rè.���m�7�7���?��³½��]�?�f�����«�S�A ��S�����?�È�f�ºéË�7�]���¿��½S£��më�±Æ�(���U�¢0³���S�����¾��¢?���$�������]���0�,�7�]���¿��½S£��B�7���7�����3� ���m�A�.�I�S�m��?���I¢0�2�?±�RÍ���?���]���A�.���3���]�������U�����P�7�$�7����� ½ ¥¢<£h£B���Ó�S�S�m�·�*�º�S�*��Òz�?���Î�0�&�����D�7���7�����3�ª����¢0�½��]�0���U¶(������½å¢0���º�7§S���&�?���¾�����&�7�m�A�?���Î�7�]��³���]���A�?¥M��¢<§«Â�¥��0�j½ ±3¤ �������K���S���]�����.�3¢0���?�~�7§3�2�m����&�������7���7�����T±����AÉ��m¥0�����(�¢?�$�S������¶(�h£h£����]���m¢f������Y��¢f�&�(�����Ð�A�m�$���S�m���A�7��½��m�·¢0½��0®?�(¶(�����D½°���]³�S£*¢?�A�m�U¶(�����4½~Âi±ó¢0���D�7���?�Çôoâd£���-�ì?¥,�,±�N?¹0õR±�(�S�*�(�¢?�$�S�����K¶(�h£h£G��¢<®?�¾�����K�]¢0��¢?�$���7§&��� �]������7�]���¿��½S£���®?�]��½�¢<£��.���������B���P¢f�3§�®?�]��½�¢O£����������<¥¢0��� �����]���A�v�?���~¶��.�S£´��è.��¢<£h�h�;§�¢?�M���S���A£h£h���.�]�3�(¢?�A³�A�?�I�.�����·���������K���]�?³R���«�A�.���A�]���7���?�P�0� ���3�$�A£¡£h��³�?�]���A�?±ãâ~���������D�¢.���S�����?¥Í���z� ¢.�A��Êo��¢?�µ��������3���A£h£h���?�]���A���0�_¢K���S¢?�7���]�mÄSôoâd£��.-�ì?¥.�,±�N�ì]õR± �(�S�*��*�����7���¢0���¡£�§&�S���(���¾�����~� ¢?�A���$��¢0�Å¢O£¡£������~���3�$�A£�³£h���.�]���A�������AÉÐ�S��½S���I��½2�A£��.���3�����º�����&�����?�.�I¢0�&³�&�]�I�]¥M���.�Y���·�������¢?�$�S����� ���A�7�A£h��±Bâd£�����Ò��A�?��³�$£����S�m�&����¢f�B���S�*���]¢0��¢?�$���7§��*� ���?�B�]���?���.�D�v�?����3���A£h£h���?�]���A�P¢0���º�7�Â�$���k���ö���3���A£h£h���?�]���A���A�?��³�A�]���7���?���¾¢0���K���A�v�����m�M±¤¿�ß�]¢0��½2�k¢0�$�?���m������¢f�m¥S½3§Pâd£��Ð�$ÒMÄo���$�m¢?�7�?��³

������¥�J.ñhÉ(���S���A£h£h���.�]�3�K�¢.���S�����B�AÉ��S��½S���I���$���¾����³���A£h£h���.�]���A���0�B���I�·�����.�?�I¢0�&�µ�]�I�]±Èâd£����$Òö�$¢m§�����U�*���¢0Ò.�����»���ï�7�����È�$£*¢<���P±÷� �¢?�$�S���������¢0� ��¢?�M�&�.�����7�.���S�´���7�*�]¢0���m� �&�m�$��¢0�S�*�7�Â�G£¡��Ò?�£��m¢0���S������¥Á¢f���ã�����.½S£��]� �7�0£�®?������¶(�?�S£*�M¥����âd£����$Ò"¥µ½������S���A£h£h���.�]�3�m± ¤R�¼�����U£*¢0�����]�U�]¢?�7�?¥�����È�AÉ��S��½S�����m� ���3���A£h£h���?�]���A��½��A£��?���3�­���¼������¢?�$�S�����D���I�7�A£h�Óôgâ�£��.-Vì?¥¾�,±?N?¸0õ¿±ã�(���Á�7�m¢0�A����¢?�$�S�����»�f�Óâ�£�����Ò��]¢0���?�S£�§È���m�7�2�?���¼¶(�����

ìpR

Page 18: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

¶Í��¢0���*�¢O£��$�m¢?�S§������&���°���A�&�&�]�µ�?��§U½3§���������$�?�?�I¢0�µ�&�]�I� á ð ± âd£����$ÒÆ¢0���?���m�z�$��¢0�ÈÊo��������]�.³R�,���7�����À���m�7���A�?���A�]���7���?�È�0�����3�$�A£¡£h���?�]���A��S�S�m�����?�U¢<£h£��0¶ �������«�.�*�7�7�����?�S�*�7�ã½2�]�7¶��]�]�½2�]��¢<®?���?�·����¢0�&�$�AÖ��m�A�I�¢T�¢?�$�S�����?Äg�«À7í�ñÎ����³�$�A£¡£h���?�]���A�È¢0���Ƚ2�]��¢<®?���?������¢f�Á���AÖ��m�A�A�3À?ñ�� ÉHL¾¦EÁð4ñhH�EQ�'�hð Å7Emñ���E¡À�Á�HL¾°E Ê J���¾Sð*ñIE�" GªFrC�ÀÅ7C�J Ê �Ê E*CG]±�Ä�ôoâd£��.-�ì0¥D�,±«N.¸�¥��]�&����¢?�¿�*�­�?�7���0����¢<£�õR±���S�´�¾Ò.�������0��¢0�$�?���&�]�S����¢?�¾½��]�]�D�A�?���×�´�S�]�$�m�½S§��,���7�����Î���úôg�,���I¸.¹3¥~�,±�S3¸?¹0õR¥~¢?�&�S�m���A�7��½2�m�½������AÖ�§·���ί?�m�A�7���?� N�± N�±�¾���?�����]� �?½��7�m�A�7���?���*�B¢.�Í�;�0£h£��0¶Y��MBâd£�����Òº�*�

�µ�]���A£�§Á�7���?�?�m���7�����T¢º���]¶ã�S�A ��S�����?���0�Í���S���A£�³£h���?�]���A�º½3§��7�7�����S£*¢0�7�������A�]���I¢<���U���3�$�]����¢<£ß�A�?��³�.���7���?���˱ãâ�£�����Ò«�S�A�v�]�����������Î���]¶Æ�S�A ��S�������.����]�$�?¥&¶��S�*�$�È�*�D���$�m�7�������3�×���$�?��§È�0�·���I�D�AÉS�*�7³�$�]���A�����(���]�$�A�;�?�$�?¥�âd£����$Ò��*�(�����.�����m�A�7£�§D¢?�S������³�������¾����¢0��¢<£h£������*���S�0�����¾�*���7���?�?�m�7�������¾����¢0��¶��¢.�S�?���B���]¶ã�A�7�����]�7�*¢ª�v�?�K���S���A£h£¡���?�]���A�D¢0���U�.�*�7³�2�3�7�¾�0�"�$���Y½2�]��¢m®.���?�7�*�7�7�*�¾�?���m�Íôoâd£��.-�ì?¥.�,±°N¦Rmõ¿±âd£�����Ò¢O£´���k�A�?���¿�*�S�]�I�~������é]����¢f��®?���S�*�7�Âë�¢0��³

�.���&�]�3�<±�� ��§Ð�7�$�]� ¶(�����z���S�v�?���¢f�7���?�«�����?³�A�m�$�¿�����&���S£h��Ò.�k�.���I�~�¢<§&���?�(½���é$���3���A£h£h���?�]�S�Ië���&�.���Å�A�7�����]���´¢Và?½����������]�,¥Ií;E������?�S�����?�Å�A�.���3�¢.�Pé]�7�������S���A£h£h���.�]�3�IëÎ���Ç�����A���Ï�A�7�����]���´¢V±ïÊo�Y���¶Í�����*�&���U��¢<§Á����¢f�����3���A£h£h���?�]���A�Î�´�·¢0�S§Á½2�]��³�$�]�Á����¢f� ���������3���A£h£h���?�]���A�0êOÄ�ôoâd£��.-�ì.¥Â�,±]N¦Rmõ¿±âd£�����Òó�S�]�S���m���$���P����¢0��®.���S�*�7� ¢0�$���7��½������m���$��S���P± @Í�D½2�A£¡���]®?�m�ÎÊ*ô �S�´��õK�¢?�$�S�����T£´¢.��Ò��������Ò.�����·�0��éA�7�*�$�����m����ë �0�M���S�;�?�$�¢0�7���?�·�������A�m���¿������$�mè?�S�*�¿�������v�?�Í���3���A£h£h���?�]���A�?Ä(ôoâd£��.-�ì?¥2�,±�N)-0õR±i@���S�S�m�7�,Ä � �v�]�A£������·���]�m�U���º�A£´¢f½��?�I¢f���Â�.�D¶���¢0����?�����0�P�7§Ð�����]�Â����¢<®?�������ó¢f½��0®?�]�&�]�S�7���?���m����´�$�����m���µ½��A£h���]®?�����Ç����¢0��Êo�.���P�]¢0�����A�v�����P����������7�����Á���m�7�&�A�?���A�]���7���?��½S§Á�A�?���S���]���AÉ�¢0�&�S£��¶����$���?���,��¢<®?�����¾������¢<§Y®.�]��§Y�����$�B¢0½��.���,¶���¢0����S���A£h£h���.�]���A�&���m¢<£h£�§·�*�]Ä,ôoâd£��.-�ì?¥V�,±hN�-0õR±���K�����3����¶Í���k¢?�7Ò ¶���¢0��âd£����$Òk¶(�?�S£*���$�S����Ò

�h�����U���������m�È�.���D����¢0�D�S���¢0���T�����Ð�A�m�$������³�v�?���·¢0�7���?�º���D�����&¶�¢<§�����¢0�Bâd£��Ð�$ÒMÄo�K�¢.���S������S�S�m�]¥�âd£�����Ò����m�����?�����¾¢?�d�;�f£¡£��0¶Y��M

ûLñ ZMý��+4ÿ�&*�×þ�=*�mý'r��f��7þ����*�r��ý���oý'Gÿ����j+4ÿ����p��4ÿoý�768� ����ft�7þ�#�ý������ÿ��T�©'9�Ëÿ�����=9�*!0ý��_f��7þ � ���,ÿ��*!��*�I�b�����©����t���]ÿ��*�\�vþ �"��+L��ýAþ��g��&«�²+��������������¡ Îÿ����°ÿ����výM �¢°��*&!<þvý�������&*��&i�"���7ýAþ�&]ÿ��*���#]^����Ëÿ�+9��� � ��� ÿ�<�������&i�výg��£A�¤>¥?*>�kn¦*m÷d�='Mý��l��&¾ÿ��9�7ý��*�����+Gÿ������ ��� ÿ�������� � �����*+���ý"�h���]ÿ�+� ÿ����L���g�vþ4ÿ���<�ý�h�<ý��lt`&������7þ��~ÿ��]ÿ�+���§

¤ �������B¶(�?�I�DéI���S���A£h£h���?�]���A�më·�*�� �����£�§¢0���$���?���m� ���Æ�S���¢0� ���S�;�.���¢0�7���?��������A�m���¿������¥�¢?���7���?�.�m�7���m� ¢0½2�O®.�?¥�����]�U��§D���S�¿���7���?�D�*���A�?�&�©���$���m�D�$������îE Ê F"ðLCAð'�J��M�1� J?ð Ê ����¢0�Ç�3���·¢0����S�v�?���¢0�����.�ó�������A�m���¿�����U�*�·���?��£h��Ò?�����¢f���0�P��§å�¢?�$�S�����?± â~���U���U�*�¢����]�7�v�m�A�7£�§ �A�.���?�]�S�*¢<£T�$£*¢<���P¥��?�������¢f� �´�(�7�����2�?�����m�©½3§�½��.���Â�A�?�&�µ�?��7�]�����©¢f����½S§��]�&�S���7�*�]¢<£����m�7�m¢0�A���ª����A�?�.�S������®.�K���7§Ð�$���0£��?�?§ºôoâd£���-�ì?¥S�,±�N?í�¥�]�&����¢.�¿�*���?�����f����¢O£�õ¿±

¤¿�B�]¢0��½��&¢0���?���m�º����¢f�ßâd£��Ð�$ÒMÄo�¾�¢?�$�S�������*��������m¢<£h��Ôm¢0½S£��K½��m�]¢0�������f�"�A�?��½S����¢f���?�7�*¢<£��AÉ��S£��?³�¿���?�,±~ÃD�Y¶��¡£h£����?�(�?� ���3���µ�����ß�S�]�A¢<�h£´�Í�0�_�$�S�´�Ëàâd£����$Ò"Äo�º���m�����?���7���$�ó���S�*�º�?½��7�m�A�7���?�È�]¢0�À½2��;�.�����·���Áôoâd£��.-�ì.¥3���,±rO?¹0³ O�S?õR±b~�*�$��¢0�I���7�.�,¥S���P�S�*���$�]�S£�§��$�©âd£�����ÒDôDb��´�*-¥N0õR¥

�7�I¢0�$�m������¢0�&���·�*�·�S�?��½��7�v�S£ß¶Í���]�����]�Ââd£��Ð�$Ò"Äg��¢?�$�S����� �]¢0�Õ���m¢<£h£�§Ì�������I¢0���ã�S���¢0� �A�?��³®?�]�I��¢f�7���?��¢<£ó¢0½S�h£¡���7���m�]± @Í���¢0���ï�]¢0� æ×¢0����S��çÂ�����S�]�A�7�I¢0���ï�7�]�S���]���A�m�º����¢0�P�$���]§»���]®.�]����m¢0�I�I­m���$���]���m��½2�A�;�?�$�Y¢0�����������S���A�K�7�]�3�$�]���A�m�����¢0�~�����]§&���]®?�]�(���m¢0�I�I­<�������]���m�µ½��A�v�?���?±��(���]§�]¢0�È�S�»�$�S�´�ª���È�7�����È¢�¶�¢<§z����¢0�º�����]§«�]¢0�¢?��¢0���K�������0®?�A£��×���$��¢0�7���?���B¢f���P�·¢<���3�I¢O���Î������A�?���]���]���A�K�0���.�´�$�A�?���I�7�?±����S�´��®?���]¶z�*�~���A£*��½S§¬����?�Â��Ò3§K¶����¾½��A£h���]®?�m�d����¢0�,�����~½��I¢<���v�J?ñ2ñhÀ7HÄE5J�C�E�F�E�CH�À?ð`C�E5À�ÁPC�ElG F�À?ñ�G�E�GB¢0���Î�����7�&�A�?��³�I¢<���D¢&���$�?�?�I¢0� ����¢0�Y�]¢0��½��S�h£*�D¢0�<�3ñ��¡ð Ê ð`H�EAò�7�]� �0�"�7�]�S���]���A�m� �?��� �0�V¢� ��S�����~£h�´�����0��¶(�?�I��� áô ±¤v�B�����_F�À7H�EmñIHvð`J)�'� É·�������]�I¢f½S£��p­<�����S�]�I�7�I¢0����¢f½S£��¢0�����7�]���¿��½S£��Ó���]�3���]���A�m� ����¢f�©¢ª�3���·¢0����������]¢0�P���$�Ð�S���A� ���Ó¢©£h�¡�v�]�7���&� �*�����S£h���������m�M¥������]����0¶ �]¢f�ó¢����m¢0�Ì�0�¾�3���¢f���B�S¢0�����]�����S�*�9����³�;�.���¢0�7���?�È¢0���ï�]�S���]�º���P���¼�����Á�µ�]�&�?��§«�f��������¢?�$�S���������ó ��S�����U¢0�&�?���S�Â�f�B�7���&�0ê ¤¿��*���.�hùÏ�A�S£������K���¢f�0�����Bâ�£�����ÒMÄo�~�¢?�$�S�����K�¢0��³¢0�0�����ó�$���Ó�·¢0�3§°���3�����´�]¢.�$���m�º�0���3���·¢0�«�A�?��³®?�]�I��¢f�7���?�À�7���$�ú¢.�P¢?��¢0���������Ç���ó�$�?�S�*�D�7�S�h�;�A�¢0�����A�?�S���AÉÐ�$��¢<£ª�$��¢0���?�m�˱ b~�*����¢f�I���7�?�ã½2�]³£h���]®.�m�ºÊ �h�ß�����·£h�*�7��³R���m¢0�I�$���]�Ï��¢f�7�*�¿ ��m�&�$�������]�?³�,���������z�,�m���m¥����������m���·�´�·�$�3�U¶(�m¢0Ò"ÄKô¨b~�*�*-7N�¥�,±rS°N7O0õ¿±YÑ��.�ßâd£��Ð�$ÒMÄo�¾���m�7�2�?���7�&�����7���$�D¢0���?��³�&�]�S�I���7�]�·ôoâd£���-�ì0¥����,±hO?¸0³ O¥Q0õR±û õ W����=���ýAþ2ÿ���+�� �"�����©, Zr�<ý©J§�0L:

ì1-

Page 19: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

âd£�����Ò·�����7����¢<®?���$�m¢<£h��Ô]�m�����?�&�K�.�¡ù��A�S£������m����º�]�3���&�]�A¢0�7�����&�����B�7�$�7�����3��¢?�(¶(�A£h£R±[@Í�¾£*¢0���]����S�������S���A�m�]¥µ��� ôgâ�£��3í.¸0õR¥&�$���ó�¾���3��â~��½�½S£��m��·¢?���S����� áa� ±�¤R� ���S�*�,®?�]�A�¿���?�,¥0�����������?�.�I¢0�&�&�]�A��$�S����Ò��0�#�*�¥G÷H�À.ñhEK���m�����?���7�µ���Â�$���Â�7���7�����3�K¢f��m¢.�����7���]�,±����k�·¢<���3�I¢O�����A�?���]���]���A�K¢0���µ�¢0Ò?��$�����I¢?�7ÒD�m¢.�¿���]�&���º�;�f£¡£��0¶B¥~�����]§U�¢<§Á�����S�3�7��$� �¿�����S£*¢0���D¢U�S�A ��S���$�D���]�I���?�,¥(�v�?�µ�������I¢0���A�âd£�����ÒMÄo���0¶��ïæR�µ�3�7�·�����?½�¢0½S£�§z�3§S���.�����]�7�*�]¢<£vç�¾���S�Bâ���½�½S£��m�]±·�(���]§��¢<§P�]®?�]�Î���m�7���7�*�A�K������×���$��¢0�7���?�·½3§��&���S�A£h�����·â���½�½S£��m�]ÄS���m�����?���7�m�d����$���P�]¢?�7�P�$��¢0�&�7�����*�µ½����?���?�S� ���S���U���������A£��]³�7§S�������S�?�̽S§Á���]���7���I¢f���?�Â���]�����]¶Ìôoâd£��3í?¸0õ¿±¯?�¾�m¢?�$�����m�7���.���7�~�´� �$����Ò.����� �0�"���m�����?���7�(����¢f��¾���S�©â~��½�½S£��m��¶(�?�S£*�Î�0��®?�����P�$���®?�]�$½�¢<£�����³�����A�]±Óâd£�����Ò���¢<§Ð�9����¢0� �����Â�·¢?���S������¶(�h£h£ß�S�¢.� ¶��A£h£"¢?�d�Y���S��â~��½�½S£��m�����]�A�7�A£h�,���¢K���K¥0½�������(�*�(�.½3®.���?���¿£�§����?�~���3���A£h£h���?�]�S�K½��m�]¢0���7�K�f�Å������$�m¢?�7�?�����S�m�$�A�7��½��m��¢0½��0®?�?±

UG�]�Y���ͽ��7���AÖ�§��?�&�0®?�]�Y���?�&�K�0��âd£����$Ò"Äo�¾¢0��³�.���&�]�3�A��¢0���µ�����¾½��]��¢<®?���?���´���å���������K���°½��]³�v�?���º¶(�P�������A�]�m�M±åÑ��.�Â�?�������S������¥¾¢?�·â�£�����Ò¢O£´���Â�&�]�S�7���?���]¥M�$���B���S���A£h£h���.�]���A�Ï�A�?���A�]����濽��]³�]¢f���7���0�Ï�7�.�&�D�������]���]�S�U�����?���]�$�7���m�º���D��¢?�Aç�S�S�m�����?�º�v�S£h£�§å�A�.�S�;�?�$� �$�»�$�����?�]���]�I¢<£h��Ôm¢0³�����.���&�0�B½2�]��¢<®?���?�7�*�7���.�Ï¢0�S�7��³v½��]��¢<®.���?�7�*�7�P¢0��³�.���&�]�3�A��½�¢?���m�P�.�Ó�.�����]�Y�µ�]�3�I¢O£d�7�A¢0���m�¾�7�����¢.�P��¢O���ãôgâ�£��.-Vì?¥B���,±�ì�Of³�ì�Q0õR±Ì�(���]���U�*�D¢0��³�.�����]�ߢ.�7���m�A� �0�����3���A£h£h���?�]���A������¢0�B�]¢f�ª�7���7�7�h�v§�v�?�(�����K½2�]��¢m®.���?�7�*�7�Y¢f�������3¢?�$�Â�f�Å�����K���K±�â~�]³��¢<®.���?�7�*�7�ã�¢<§·½��B�A�?���×�´�S�]�$�m�Ó¢f�P¢0�3���´è.��¢0���m��.�ó���7�������7��®?�å¢0�����$�3¢?�$������?�]���]�A¢<£R¥�½����ó����S�S�m�����.�Ó�7�]�]� ����¢0�Ó¢<¶�ÒS¶�¢0�I�Ç�������7�Î����������S���A£h£h���.�]���A�]³v�?�I¢0�S�7������±Á���S�´�9�*� ���7���¢0�7�h£�§U½��]³�]¢f���7�ªí;E¾�?�I¢f�3�~���3�$�A£¡£h���?�]���A�·����¢0��¶�¢<§rMR��2�?����]�A������¢·�3���·¢0��½��A�����P¶(�&¢0�����?�·¢0�7�*�]¢<£h£�§Ó¢?�7³�����&�ó����¢f�Ó���p­0�7���Ç�´�T���3�$�A£¡£h���?�]�S�m±äÃD�°�;�]�A£�v���]�K���&¢0�����$�3¢?�$�P¢B�2�]�I�7�?��æ¿�I¢0�����]�(����¢0�,¥2��¢<§?¥¢Ç�S�?���?��¢U£*¢0�&�«�2�3�7�]ç·���»¢.�7Òó�����ζ����]���]³¢f½��?���I�U�f�P�����z���3�7���fùÏ�A�z¶(�������?������¢<®?������·¢0�3§å�S�.��½��I�ó¢0½2�?���U�S��� ­m���]�ó�����S�]�I���I¢0���S³�����z���]± ¤v�Â�$���Á��� �*�4HL¾¦J7Hk�A�$���S� ¢0���­����³���?���S�*�7�7�*�]¢0���m�M¥·�����]�¼¶��?¥&¢.���3���·¢0���D�©���.�3��A�.���¿�*�S�]�ó���]®.�*�¿����� �.���U���S���A£h£h���?�]���A�]³v�?�I¢0�S�7������µ�m����¢0�S�*�7�·�Y¢?�Ͷ(�A£h£ ±����S�´�K�A�.���7�7���������m�¾¢ £h�����û�$ $������DnI� ��� ����+ª�!*!p�e�$þ�+D�(ý�[����� �$þ4ÿ���#= �"+\$������

nI�7þ����.�l=<ÿ��], no�oý÷-ls�0°�vý]ý*:

�0�G�S�A�v�]���A�(�v�?� ���������iM0¤v�M½��]��¢<®.���.�I¢<£��]®.�´�S�]���A��*��¢?�]�A�]���I¢0½S£��Í�;�.���?�I¢f�3�7����� ���3�$�A£¡£h���?�]���A� ���B�S��³�¢0���]¥M�$�S�´� �7���?�S£*��½2�&�����&�]¢?�7� �v�?�K�¢?�$�S�����m�¢?� ¶(�A£¡£R±ºÃD�·��¢m®.�Â�.�*���A�����7�m�°���S�*�k¢O£��$�m¢?�S§����¯?�m�A�7���?��N�±�N�±b(�m�]¢O£¡£,����¢f��âd£��Ð�$Ò½2�A£h���]®.�m�(�3���·¢0���(�]¢0�½2�

�0®?�]�7£�§Ï�$��¢0��®.���S�´���7�*�B�.��£h��½��]�A¢<£_���º�?�I¢0�S�7����� ����³���A£h£h���.�]���A�D���D�¢.���S�����m�]±{@Í�0¶��]®.�]�m¥ ���&�*�µ����³�$£��m¢0�&���0¶����Ï�$£*¢?���×�¡ ��m�µ�?�]�S�S�����A£�§U���S���A£h£h���.�]�3��¢?�$�S�����m��¢0���U�������.£��m���·�¢?�$�S�����m�]±ó¤ �ß�$���]����*�P¢U¶�¢<§��0�k�S�m�$�*�.�����z�?�z����¢f�&�*���7���?¥ ¢0�_+�³�,�m���K���Â�S�]���]���©�����µ¶����]�����]�K¢&�¢.���S����� �*�¾���]³¢<£h£�§D���S���A£h£¡���?�]�S�m¥��$���]�D¶��S§Ó¶(�?�S£*�ζ(�&½����.�*�7³�A�����¿�����������Â����¶(�����Á¢<£h£~���A�Bè.�S���$Ò3§Á¢f���º���&³���]�7�v�m�A�(¶�¢m§��Aê&¤¿�Ï¢?���.���7���?�,¥2¢<£������?���?�&���K�S�S�m����?�������������������3���¢f�)�×���S�.�m�µ���ï������½��]�f����³�S������¥S£*¢0���]�~�?�Ïâd£�����ÒÂ���]�]�Â�~���B��¢<®?�Y�A�.�&�S£��]���� ¢O���$�D����������Ê4ð Ê J�Å.ð*ñIJ7Hvð`À.ñ)J?ñ�òª�*�3ò�Å¥E Ê EmñIH��f�¢�®?�]�$§�£*¢0���?�·¢0���D�$£��]®?�]�����m¢0�ø¶(�?��Ò.�������v�?�B¢£��?�����7���&��¶(�����D¢&®.�]��§·£*¢0���?� �?�I¢0�S�ߢf���P¢©£��.��0���µ�m����¢0�S�*�]¢<£����A£��,Ä�ôoâd£��.-�ì.¥��,±9N?¹V¥��]�&����¢.�¿�*��?�7���0����¢<£�õR±ÃÇ�����ï�����ó�A�������]�S�����m�7�m¢0�I�$�ï�?�ú�A�.�?�S���7���?�

¢0���ö£¡�����?�S�*�7���´�]�U¢0�º��¢0���M¥K���D�7�]�]�Â�ª���S£h��Ò.�A£�§����¢0�(¢k�×���µ�S£��B¢f�������3¢?�$��£h��Ò?�ßâd£�����ÒMÄo�(�]¢0���7���A³�A�]�m�U�����&���S�A£h�����U�������S���¢0���������M±U¤v�¾�?�����¢<§?¥Y�]���.���?�«�?�Ç£*¢0���?��¢0�.�Á¢0���«�A�?�.�S�������.�z�*��.�*���A�0®?�]���m�·�7�B����¢f��âd£��Ð�$Ò"Äg�Yé]�7�]���×��½S£��më&�����7�����3��0�©���]�3���]���A�m��¢f���P�]�S���&�]�I¢0�$�m�ó�$���]�»¶(�º�¢<§�S�m�$�*�S�&����¢0���$���B���]�?³R���ï�A�?���A�]���7���?���0� ���3�$�A£�³£h���.�]���A�·�´�ß� ¢O£´���?±kâ~���B�$���]�Á¢0�3¢<���,¥M¶����]�Î����¢0���¢<§Ó�A�?�&�m�Ë¥���¢<®.�����P¢O£¡£��$���%FIG÷É���¾¦À�� À�Å?ð G�Hvð'������³�;�.���¢0�7���?��¶(�&���]�m�M¥�¶��µ�����?½�¢0½S£�§�¶(�?�S£*�����?�½��9���S���]���m�����m�·���P�$���B���«¢0�S§Â�µ�?���?±�(�������m¢.�S�]���*�¾�]���A�?���I¢f�?�m�º���Ï�A�.�3���]�µ�S£´¢f���

�?�����0¶Wb(�?½2�]����Ñ����]���$�,Äo�&¢0�$�?���&�]�S�I�]¥�¶��S�*�$�¶(�h£h£ö½2�ã�����m�7�]�S���m� ��� ¯?�m�A�����.� S�±g¸�¥ó¢QO,�m�A�âd£����$Ò"Äo���$£*¢<���Â�]±ÌÃÎ�Á½2�A£¡���]®?�Ç����¢0��Ñ����]���$�,Äo��S�]�&�?���7�$�I¢0�7���?�«�f�k�����º�����7�]��¢0�I¢f½S�¡£h���7§«�0��������A�?�?�S���7��®?�&¢0�����7��½M�A�?�?�S���7��®?� £��]®?�A£*�¾���������B�S��³�¢0�z�������Ç��¢?�·�.���$�m�A�P�A�?���7�mè.���]���A�m���?�Ç��������m¢<£h��Ôm¢0½S�h£h���7§��0��âd£����$Ò"Äo���¢?�$�S�����?±¤¿�ö¢f�3§��]¢?�7�?¥�âd£��Ð�$ÒMÄo�·��¢0���]�µ�*���¿���?�S�h "�]¢0�S�

½��m�]¢0�����������S�]�µ�?���7���I¢f���m� ������¶(�m¢0ÒS���m��� �0�M�����½��]��¢<®.���.�I¢<£�¢0�������3¢?�$�¾���B�������Í�K±m�(�������T�¢<§½��&¢0½�¢0���S�.���m�P�.���k��¢<§?¥�½2�m�]¢0���7���&�?�$�K���S�;�.��³�¢0�7���?�º�?�P���0¶ï�����B�©�����º¶(�?��Ò��(�¢<§·½�� �?½�³

ìmí

Page 20: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

�A¢<�����m�k¢f���B¶(�(�¢<§¾��¢m®.���.�B�?������¢0����� ½2�]�����]��µ�m¢0���&�$� �S�]���m�A��¢0���?�$���]�Â�]�S�7���7§"Äo�µ�A�?�?�S���7��®?��]¢f��¢?�$���7���m�]±�â~���(���Ð��¢<§?¥S¶(�Y�S�����?����¢<®?�¾��������$�K£��3�.Ò¢0���$��¢0���*�~�&�?���Í���S�;�.���¢0�7��®?�Í����¢0�·½��]³��¢<®.���?�m±

K���� �ª���)ûª��� �j���p� �;�9�¤¿�ã�����z½��]�f�����S�����ã�f�P�����S-?¹�Äg�]¥·¶(�����«|0�?���¯?�m¢f�7£��?Äo�ͬ��S�����m�7�K���S�?� ¢0�$�?���&�]�S�Yôh¯?�m¢�-.¹mõM������Í�«¶�¢?���A�.�S�;���.�3���m�ª¶(�����P§.�]�ߢ0���.�����]�Y�.½��×�m�A³�����.�,±��(����¢0��¢<£�§��¿�*�¾�0�Å�$���&¬��S�����m�7�����S�?��]¢0��m¢.�¿�h£�§��.�]���?�����0����¢0���º�¿�����A�©¢©�?���m¢0���S����½��]��f�ß�A�?�&�&�]�S�I� ��¢<®?�·½��]�]�ó�·¢?�S���?�U�����·�*���7���¢f���·�����k�S�]½�¢0�$�B�7�7�h£h£Å�I¢f�?�m�~�?�,±¤¿�À¢U�S���I�7���A£h£R¥K���]�����*��¶Í��¢0�Â�$����¬��S�����m�7�

�$�3�?� £��S�?Ò��(£h��Ò?�7M9¯?�������3�7������¢f�K¯?�m¢0�7£��?¥M¢&��¢0³����®.�Y�7���m¢fÒ?�]���0�Xëd���0£h�*�7�¶Í���B�S�3�m�d���?��Ò3���0¶ó¢¶(�?�A���0��¬��S�����m�7�?¥Ð�´�d£�����Ò?�m�µ���P¢ ���S�?�P±��(���]����*�º¢0�z�?���]�S�����Ç���«���������S�?� �������?���.�»¶Í�S�´�$�¶(�¾�¢<§Â�7�]���µ����¬��S�����m�7���7�]�3�$�]���A�m�(�?���S���m�A�m��f�B��¢0���]�m± å �©�A�.���I�7�����ǯ?�m¢0�7£��?¥¾�����m�7��£��S�?Ò£h��Ò?�D�µ�m¢0�S�����0£��m������è?�S���?�f£��m�Îôh¯?�m¢�-?¹<õR±�¤R�«������$�3�?�º¥�¯?�m¢0�7£��ó��¢.�Ó¢Èé<¬~�S�����m���ó�,���7�����À���m�7�¬~�7��½»â~�3�.ÒÐëÇô�UM�A�*í7N0õ¾���D�]¢0�»�A�.���7�S£������� ����¢f�Â�?���$�������$��¢0���A�?�$���m�7���.�������$�k�m¢.���º¬��S�����m�7���§3��½��f£G���K�$�m�A�A��®.�m�]±�Ãz��¢0�(���B�S�S�m�~�*�Y�×���µ�S£�§�·¢0�I�$�&�����(���������(¶(�����·�����3�7�(���·������½2�3�?ÒM¥.�;�f£�³£��0¶ ���?�&�&���S£��m� ¶��7�����$�]����� ëd���0£h�´���ó¢0���º �������?�&�U¬��S�����m�7���7§3��½2�0£9���mè?���]���A�U���U�?���������m±ÃÎ�P�A�?�����m�7�2�?���U¶(�����z¯?�m¢0��£��·���Ç���S�*���¢0�����]�¢f���È�S���ó���«�$���UÖ"¢m¶�£��m�$��£��S�?Ò3³v���¼�I¢0½S£��������¢.�]¥?¯?�m¢f�7£��]³4����³v�$���]³v���3�.�ú�7�]�]�·�,���(�����S�]�I���I¢0���¬~�S�����m���Â�2�]�7�;�m�A��£�§?±·â~���K���Â�S�3�m�9���?�m±µ¯?�m¢0�7£�����7�h£¡£&��¢?�º���°�´�S�m¢­¢0½��?����¶���¢f�P�����Ǭ��S�����m�7���§3��½��f£´��¶��K�7�]���µ���Ó¢f���&�����S�7�K����¢0�~���B�7�]������.���&�&�m¢0�,±ó���U�S���º¥Bé<¯3è?�S���?�f£��]³7¯3è.�S���?�0£��mëÎ�*��A�.�������K���Ï¢f���Pé<¯3è.���?�?�0£��]³7¯3è.���?�?�0£��më¾�*�~�?�0������.���Bô�@¾¢0�Ií�ì$õR±

ËÍ�0¶Æ�A�?���¿�*�S�]�P¢��A�?�&�����$�]�������?�?�I¢f� ����¢f���¢.���7�m�µ�����D�������Ȭ~�S�����m���?±å¦����.���?���]�S�I�µ�0��$���ö�Í�÷¶(�h£h£P�?�I¢f�3�Î��������¢0�U���S�*���A�?�&�������]��$�S����Ò��(¢0���M¥0�����7�?�&�¾�7�]���7�?¥?�����S�]�A�7�I¢0�����ͬ��S��³���m���©��§3��½��f£´�˱&¯?�m¢0��£��&�$��¢<£h£��]���?�m� ���S�*�¾½3§º½��]³�����D�$���P�A�?�&�������]�¢f���U§?�A£h£¡�����ó¢0��������¶(�?��£´��$��¢0�(���B�S�3�m�(���.�������S�]�I�7�I¢f����¢�¶(�?�I�µ�0��¬��S��³���m���?±�|0���S�0�����½S§������9���������A�Y¢0���ª�?���������I���0�

�����Á�7§��7���]�º¥K¯?�m¢0�7£��]³4����³v�����]³v���S�?� �*�·�����.�*�7�7����³�?�S�*�7��¢0½S£�� �;�$�?�¢���¢0����®.�k�7�2�m¢0Ò?�]�¾�0��¬~�S�����m���?±¤R��¢k���]���7�?¥����¾�*����¢.���¿�����&�����B���°���D¬~�S�����m���?¥¶(�������?��� �����S�]�I�7�I¢f���.�����K¢(¶(�?�I�¾�f�"¬��S�����m�7�?± ¤¿��7���?�S£*��½2�Â�$£��m¢0�K���0¶À����¢f�ß�A�?���×���$�����m�K¢Â�A��������³�$�*�7���0�"���������9¥?¢0�����������A�?�&�����A¢0�7���?��¢<£�®.���]¶�0���������M±�K�«¶�¢?�ö�&�]�3�����.���m�ƽ2�A�;�.���?¥�®O¢f�7���?���È¢?�7³

���m�A�I�©�0�������P¬~�S�����m����b(�3�.� ¢f���?���&�]�S�B��¢<®?�½��]�]�«¢0��¢<£�§SÔ]�m�U�����$£����.�����»��§3�S�I¢<Ér­O�7�]�¢f�3�7�*�]�]¥�A�?�����$���?���7���m�$�]¥B½2�?������¢0�7���m���f�µ��§Ð�7�$�]�Â�]¥¾�]�I�0±�(�������S���]���m�7���m�Î���m¢?�S�]�¾�*� ���A�v�]�����m���$�Dôh¯?�m¢�-?¹S¥¯?�m¢?í?¹�¥7@¾¢0�(-.í3¥0�¾����-¦R3¥�z¾§?�mí?¹S¥S¬��0£*í�ì0¥V¬��?��í7OS¥b(�]§�-7Q�¥ Ñ�����í�ì0¥È@Y¢f��í¦R3¥Æâ~����-�-S¥Æ¨�¢<£'-¦R3¥b(�?½�í?¹V¥%@?@¾¦�â(í7Nfõ©¢f���È���������A�v�]���]���A�m�Î�����?³®?�*�S�m�ª���P�����S�7�?±

K;�'3 ûª�9����7����#��p�������«�r����7���)�ª��Y���.�����]���.�hùÏ�A�S£���¢f����¶(�*�S�A£�§Â�.�*���A�����7�m�����$�?½�³£��]�²�������S�h£��3�7�?���S§��0���������ª�*�K�A�?�����$���?���7���m���˱Ãz�S�¡£��&¶(�&�S�·���?�K¶�¢0�3�Í���Ï�S�A£�®?�µ���3�µ�R¢0�(���3�$����S�*�]¥S¶(��¶��´���&���K�I¢0Ò.��¢9½��7���A�M£��S�?Ò&¢0�������Í���A£*¢0³�7���?���7�S����½��]�7¶(�]�]�Â�A�?���$�$���.���7���m���(¢0���������¾���K±z¾�?��¢O£´��¨ª�*���S���?Äo�©Ê¡�����7������Äo�K���m�7�ߢf���U¬��?��³

���$���?���P�����?���?�S�mÄKôo¨ª�*�]í7Q<õ¾�´�ª�?���D�0�B�$�������&³���?�$�I¢0�S�Y�A�?�&�&�]�S�I�~�¢?�S�K�.�P�����B���9±Ð¨ª�*�$�S����A�?�&�&�]�S�I���.�ó¢�®O¢0�����]�7§U�0���*���7���m�·�7�����$�?�����S³����� �$���À���K¥µ½���������$�S�´�Ç�7�m�A�7���?�²¶(�«¶(�h£h£�¢<���S£�§å�A�?���A�]�S���I¢0���U�?�ï�����ó�A�?���$£����¿���?���Î����S�I¢<¶Y��¢0½2�?���Y�A�?���$�$���.���7���m���]±Ñ����I�7�¾�0��¢<£h£R¥,¨��*�$�S���k���.���m���$��¢0�ß�����7�������.�´�

���?�Â�7�2�m�$�h�;§Ç¶����]�����]�Â�A�?���$�$���.���7���m���µ�*�����D½2�¢?���7���µ�m�­�¡�Ó¢Ç�¢.���S�����ó��¢.���7�m�º�����ó���K± å ��A�?���I�7�?¥S�,��������� �����?½�¢0½S£�§��.�´�©���?��½��A£h���]®?�¾����¢0��A�?�����$���?���7���m�$�»¢f���������?���?�S�ó¢0���z�������A£*¢0�$�m�M±b�¢0�����]�<¥Ð¨ª�*�$�S��� ���S����ÒÐ�~���K�&�m¢f����Êg�����m�7�¾�k§��7³���]�7���m�B¢f���D�A�?�S�v���¿���?���B�S�����?�K��¢<®?�����·½��µ���]³�7�0£�®?�m�z½2�A�;�.���D¶(�Á�]¢0�«¢?���S���m�$�Pè.���m�7�7���?�����f����3���A£h£h���?�]���A�?Ä(ôo¨ª�*�]í7QS¥��,±rO�ì]õ�æ7�7�]�k¢<£*�7��ôo�����I¸?¹S¥�,±gS7S�RmõK¢0���ö¯?�m�A�7���?�ÃN�±�NÐçI±À�(���]�$�T���]�]�Â�·���½��墼���A£*¢0�7���?�²½��]�7¶(�]�]�ø�A�?�����$���?���7���m���­¢0������S����Ò?������± ¯?�?�&�Á�A�������´�]�T½��A£h���]®?�ó����¢f�����3�$�A£�³£h���.�]���A�ó�]¢0�����?��½��Î�?�I¢0�S���m���$���]�3�7���7���m�ª����¢0�¢0�������.���A�?�����$���?���Íæ×���]�?¥?�v�?� �����7�I¢f���A�?¥"ô�¯?�m¢?í?¹<õvç¶��S�h£����.�����]�I�M��¢<®?��è.���m�7�7���?���m�9���������S���]�I�S�]���]��³�S�]���A�ó�0�P�A�?�����$���?���΢0���È�7��½"�A�.�����$���?���U�����?³

N?¹

Page 21: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

�A�m�$�7�m�Îæ×�7�]�?¥¾�v�?�º�����7�I¢0���A�?¥�ôoÑV���mí?¹<õk¢0����¯?�m�A³�����.�TS�±o¸SçI±�K�]�A�?�I�.�����z���z¨��*�$�S���?¥B����¢f�P�����Á�Í�ø�����?³

®.�*�S�m��¢?�]�A�m�������K�A�?�?�S���7��®?�(�������A�m���7�m��®?�*¢¾®?�]��½�¢O£�A�.�&�����S�´�]¢f�7���?�������]¢0��¢?�$���I¢0�$�m�Í����¢?�¾¢·���m�7�¾�0����S���A£h£h���.�]���A�?±%@�� �?½��7�]��®.�m���7¶(�&�.���µ�]���¿���?���¾���¶Í�S�´�$�P�$�S�´������¢?�S�mè.��¢?�A§��¢0�S�h�v�m�7�I�~���I�7�A£h��±������ ��I�7�·�*��Êg�����º����¢f½S�¡£h���7§«�0�������D���m�7���$�

½��������ö���S���z�����U�3¢0�&�Î�����?���?�S�������Ð�A�m�$�7�m�º�0�Ò.�������~¶��S�*���·�3���·¢0�����2�]�7�;�.���Ƚ������]¢0�����.��¢0��³���´�A�S£*¢0�$�?Äkôg¨��*�]í7QS¥K�,±©O7Q0õR±ø¨ª�*���S���U�0��®?�m�º�AÉг¢f�&�S£��m�(�0�Å�7�.�&�Y�.���]�I¢0�����.�����S���¢0���Í�]¢0�Â�2�]��³�v�?���ä¢<£��&�3�7�������A�?���$�$���.���¿£�§?± ÑV�?�������7�A¢0���A�?¥¢f�3§3ëd���0£h�´���À�7���m¢fÒ?�]�¶(�?�S£*�ǽ��U¢0½S£��Ó�$� ¢0��³��¶��]� �����Pè.���m�7�7���?�«é�@��0¶��S�D§?�?�D���$�?���?�����A��$���&�S£����I¢<£*� �0�������©���·¢0�0����¢0��§�ë����f£¡�*�7��¶(�?�A���Êg�S£´¢f�I���,Ä´¥�Ê¡�7���.���,Ä3¢0���ºÊg½����A£h£ Ä�ê[ë�¶(�����Áé[¤�¶��.�S£´����$�?���?�����A�K�����]�¢.�¾Êo�S£*¢0�I�$���]Ô?Ä�¥MÊ¡�����?�������]Ä�¢0���Êg½����A£h£�Ô?Ä´±oëPôg¨��*�]í7QS¥2�,±�O)-0õ,áa9?±�¤¿���*�¾�A�?���A�A��®O¢0½S£���$��¢0�������D�����.�?�I¢0�&�µ�]�I�·�0�Â���(³v��¢?�$�¿�����ó�����?³�.�I¢0�Â�d¶(�h£¡£,½2�¾�;�?�$�m¢0���&�m�·¢0�3¢<�����7�~���S�*�~��¢0���7�*�A³�S£*¢0��è.���m�7�7���?�,¥0½����M�����´�����S£h��Ò?�A£�§k�$��¢0�,�����]§B�]¢0��]���A���S��¢<£h£B¶��ÎÒ3���0¶Æ¢0½2�?���P�����.���?�����$�*¢0�7���?�æ¿�?�,�����]���?�&�]��¢Í�v���?�ï���?��³4£h�����?�S�*�7�7�*�¾�S�?�¢<�����]¥�v�?�º����¢0���¢0�$���]�]çÂ�¿���&�S£�§ï½��m�]¢0���7�ó���?�&�D���]³£*¢0�$�m���������A�m���7�m�Í�?���]�A¢0���k¢f�������k����½"�A�?�����$���?���£��]®?�A£R±Íæ×Ñ��.��¢��¿�����h£*¢0�Y¢0���.���&�]�3�<¥?�����¾���m¢?�S�]�~�*��$�A�;�]���$�m�·���PôoÑV���mí?¹<õ,¢0����¯?�m�A�7���?�5S�±o¸�±�ç�������7�m�A�?�����.���&�]���¿���?� ����¶��S�*����¨ª�´�$�S���(½��]³

£h���]®?�m�9�����&���«�$�½2�k�©�´���¢0�I�$���m��¢0�3¢<�����7�¾���I��A¢?�7Ò��*�¾�����µ�����]���?�&�]���?�D�f���¢?�$�S������Ê¡�7���2�]��³¢f���7�*�A�S£*¢?�A§"Ä´±«ËY¢f�&�A£�§?¥(Êo�����&�$�m�7�k�]¢0���]¢0�I�$��������I�d���]�������.���?�3�����$�Ð�A�m�����m��¶��S�*�$�&�������¢.���S�����¢f�?�]�3�¬�J?ñP¢0�����´�A�S£*¢0�$�?¥,½����B�7���?�S£*�����.�¾�¡�(���¾�*��$�B�¿���k�S£*¢0�$�ߢ¾�S���¢0�,Ä2ôo¨ª�´�]í¥Q�¥?�,±¥S°N0õR±��ß�d¶�¢.��µ�]�3�7���?���m��¢0½2�0®?�?¥m�S���¢0�������]���;�?�$�À�¢f�3§B¢?�A³����®.���7���m�D¶����$���?���D½��A�����ï�v�S£h£�§å¢<¶�¢0���U�0�Â���0¶�$���]§ �S�D�$���]�P±�¤R�U�R¢?�A�m¥d���&��¢?��½2�]�]�»�7���0¶���$��¢0�������D½2�]�����]��§?�?�z�?�]��¢0�P�7�?�&�]�$�S�����z�����£��m���·¢<¶�¢0���&�0�K�����������S�]�7£�§.�����������Ð�A�m�$�7�m��§?�?�½2�m�A�?�&�?±K�(�S���Y�S����������¢Â�Í�K¥MÊo����� ���S���]�����?�S¢0³�$�?�Y���]�m�T�?�S£�§Ó�7���A¢m§·���S�����7�?�&�&�7�2�m�$�´¢O£¡�*�7� ���¶Í�S�´�$�P½2�?���º�3���¢f�P¢0�����¢.���S�����k�]¢f���.�´��¢f���m��2�3���7�m�$��¢D�0��®?�]�z�AÉ����]�����´���?ÄBôo¨ª�*�]ípS�¥��,±Kìmí¥N0õR±�������¢?�$�S�����Y¶(�h£h£,�0��®?�(���I�7�A£h��¢<¶�¢<§K½2�m�]¢0���7�¾�0�

û�= �9�Ëÿ�+�¬��*��+��4ÿoý�i'9�+��&p�!*����&©��þvý� , ­¦�7ÿ2--"0`:

���I���7�����]�I¢f���7�*�A�S£*¢?�A§?±PÑ��.�B�&�?�$�¢0½��.���k�7���2�]��³¢0���7�*�A�S£*¢?�A§?¥ ���������m¢?�S�]�¾�*�9���A�;�]�$���m������ôo¨ª�*�]í7Q�¥�,±�S�ì]³�S¦O0õ,¢0���Dôo¨ª�*�]í?¹<õR±Ñ�����¢<£h£�§?¥B¨ª�*���S���U���?���m�·�����º���&���.���I¢0���A�D�f�

�7���$�´¢O£����3���A£h£h���?�]���A�?±��¾¤B�7���?�S£*�M¥~���P��¢<§Ð�]¥ ���$§���������A�?�$���?�I¢f���Â�]�µ�?�7���?��¢<£¾æ×¢<£*�7�Ó�]¢O£¡£��m��¢QO,�m�A³�7��®?�0çÅ¢.�7���m�A�I�d�0�_�A�?�&�����S�*�]¢0�7���?�¢f���������?���?�S����ó�������S�]®?�A£��?���m�°�&���S�A£´�˱ ¨ª�*�$�S���P¢O£´���D�����?³���3���m�]¥M£h��Ò?���7�?�&���0�(�����3�7�&¶(��¶(�h£h£��7�]�©���Î��������AÉÐ�¾�7�m�A�7���?�,¥2����¢0�(�AÉÐ�$�]���¿���?�����$�k�$���B���z�]¢0�½����¢?�S�9���Ó�.�I�S�]�Y�$��Ê¡¢?���S���m�$��§?�]�Í�&�?�����7��½�³�7£��º�;�?�$�Â���0�K���S���A£h£¡���?�]���A�?¥ �7�����«¢?�µ�����3���·����³®?�0£�®?�m�Î�����A�0£h£��m�A����®.�P�����?½S£��]� ���0£�®?�����D½S§D�A�?³�?���]�A¢0�7�����P¢0�?�]�S�I�]¥�¢f���·�������m¢?�$���]��³v�����S�h£����A£*¢0³�7���?���]Ä,ôg¨��*�]í7QV¥��,±�¸�ì]õ¿±ÃD�º¶(�h£h£9�A���·�����Ó�.�*���A���$�¿���?�«�0�k�A�?���$�$���.���7³

���m���¾�7���?���(½��.����½��m�]¢0�����K���(�*��¢ �I¢0�����]�ͽ����3¢?����?�S�*�0¥�½����D¢<£*�7�z½��m�]¢0�����Á�&�S�7�D�A�?�&�&�]�S���?�I��?�������P��� æ×�A�?�����$���?���¿£�§��?�·�7��½"�A�?���$�$���.���¿£�§�ç�����?�2�3�7�¢0�$�?���&�]�S�I�¾����¢0�B�]¢0�ν��µ���S���]�����$�]���m��;�$�?� ����¢0�»¢f���0£��?± ¬�¢f�¶(�ï���?�ó���A�v�?������³£*¢0�����������?�����]�·���������������.½S£��]�äæ]é�@��0¶ø�S�Á¤Ò3���0¶�����¢0��¢0�S§D�]�3�����7§D�.�����]�B����¢f�Á�&�·��¢?��¢�������2ê[ëSç²���z���]���Â�©�0�k�A�?�����$���?���7���m�$�ºæ[é�@Í�O¶�S��¤ÂÒS���0¶�$��¢0�Ï¢f�3§Ç�]�3�7���7§ó�.�����]������¢0�Ç�&��*�D�A�?�����$���?���Aê]ëSç�ê �����Á���m¢.�S�]�T�]¢f�À���A�v�]�����¯?�m�A�7���?� N�± NÈ¢0���²ôo�,���A¸?¹S¥����,±]S7S3¸0³�S¥S�Rmõ��v�?��,���������2Äo�K¢0���7¶(�]�¾���Â�$���©¢f���?���&�]�S�(�v���?�ø�A�?��³���$���?���7���m���Ç¢0���È���0¶ ���z�¢0Ò?�m�Î���7�ó�f�P������?�����]���©�������¾���$�?½S£��]�P±�¯0�����h£*¢0�7£�§?¥M�&�S�7�Yè.���m�7³�7���?���z¢0½��.�����¢?�$�S�����ï�����?���.�3�z�]¢0�ã½��­���]³�]®O¢<£���¢0�$�m�²¶(�����S��������È�A�?�S���AÉ��ó�0�D�¢?�$�S������A�?�����$���?���7���m�$�]±�ÃD�������$£����S�m���$���¢0��¢<£�§��¿�*�B�f�¨ª�´�$�S���?Äo�~��¢0���]�~���]����½2�m�]¢0���7�(�������$�?���3���m� ���]¶�*�S�m¢?�ª�;���.� �����Á®.���]¶����f���S���0�©�A�.�����$���?���7���m���¢0�����$�A£´¢f���m�������]�÷�AÉ��S£h�*�$����£�§z���Î�����P���K±�¤¿��³���]���m�7�$�m�����m¢?�S�]�I���]¢f�©�A�.���7�S£��YôDz¾�]��í7NS¥¦¢¾���hQ¦R3¥¨ª�´�]í�S�¥�¨ª�*�]í?¸0õM�v�?�(�&�?���K�.�P�A�?�����$���?���7���m���˱

K;�'K q®���7�hü¥�j�I�7�u���]þD�Iü��p� �9���i�8¯j�7�j�_�_��r��»�_�j�I� ü �����hü�7������.���9��

¤R�D�$�S�´�K���m�A�7���?�,¥M¶(�B¶(�h£h£��7���µ�¢0�7��Ô]�&�7�?�&��¢<£�³���]����¢0����®.�m�����·���������z����¢0�¾¶(�]���K�����?�2�3�7�m�ª����?�I�S�]���$�¢?���7�m�$�(�¢?�$�S�����K���3�$�A£¡£h���?�]���A�?±

N�ì

Page 22: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

°²±n°³±u´ µ·¶�¸)¹{¶�º»¶8¹¼º6½�¾8¿ÁÀªÀ;À¯?�$�]®O¢0�{@¾¢0����¢?�MÄo�µ�¢<���«�A�?�S���7��½����7���?�«�$�Á������Í�÷�S�]½�¢0���Ç��¢?��½��]�]�������Ç�����?�2�3��¢<£Â�f�Ï��������?�I¢O£ª�����7�����ã�,�m�7�­æ×�����ßçI¥B¶Í�S�´�$� �´�Ë¥�£h��Ò?��$���ß���9¥Ð¢f�·�����.�*�7�������.�S�´����¢0½S�h£����קº���m�7�(½������?����$��¢0�P���mè.�S�����m�Î�����Á�·¢?���S�����m���$�»�$�m�7���?���ï�$�¢O£¡£��0�P�?���T���������A�U�I¢0�����]�U����¢0� �×���7�U®?�]��½�¢O£�.���m�]±Të�®.�´�S�]�S�7£�§U�����Â�]¢0���.�*��¢0���·�¢?�$�S�����·�;�.��$���ß���Í�U�*�(¢K���?½2�?��¶����$�Ï�7�]�����?�7���&�?���.���]¢0��¢0³½S�h£h���7���m�&ô�@¾¢0�(-.í?¥h@¾¢0�Ií�ìAõR±

@¾¢0����¢.�MÄo�K�&�.�7��®O¢0�7���?�Î�v�?�B�����ªÊo���?½2�?�7�*������³�.�I¢?�S���0�M�����Y���°���K�����Y�Í���KÄ�ô @Y¢0�Aí�ì�õ2��¢?� ���I��$�3�?�A�M����¶���¢0� �����]¢<£h£´��Êo�����(�7§3��½2�0£Ð�.���?�����.��������$�?½S£��]�PÄ�±;@��~£h��Ò?�]���~�������¿������¢0�7���?�µ�0�G�7§S��½��0£*�½2�A�����T�S�A ����m�Î���U���]���Â�9�0���?�����]���7§3��½2�0£*�B�$�¢T�&�]����§S³v�?�?³v���.�����Î���«¢U¬~�S�����m���Ó�$��¬��S�����m�7��.�*�A�7���?��¢f��§Óô @Y¢0�Aí?¹]õR±;@Í�ß�$£*¢<���Â������¢0�~�;�.�������]����$�&½��B¢0�S§��7�]�¢0�S�7�*�]�(���º�����K�������Îæ×¢0���·�����]����������A£�§��*�Açß�7§S��½��0£*�9�k�����K½��TÅ7C�À��Sñ�ò7EAò?±ª@¾¢0��³��¢.�Ó�S�m�S���A�m�9����¢0�¾�&�m¢0�S�����3�9�0���7§S�k½2�0£*�B¢0�$�?¥¢f�&£��m¢?�7�·���z��¢0���<¥Y�S�]�7��®?�m�Ç�v���?� ���S���]�I¢.�A�7���?���¶����$�������B�?���A�¿�*�S�B¶(�?�7£*�M±

@¾¢0����¢.�Â�S�S�m�~���?���AÉ��S£h�´�$���7£�§�¢0���?�����$��¢0��������Í���*�(�$�3�&�7�2�m�$�¡ "�µæR���S£h��Ò?�ò¢Y�����S�]�I�7�.�·�;�?�~����³���I¢0���A�?¥��7�]�º¯?�m�A�7���?�3O�±´ì0çI±«@Í�P�A�?���A�m�S�m������¢f�£*¢0���.��¢0�?�������?�S�Â�]¢0�������$���������v�S£h£Y�AÉÐ���$�m���¿��®?��2�0¶��]�º�0�k�.���P½��]��¢<®.���?�m¥B¢0�ª£��m¢?�7�P¶Í���]�À������A�.���A�]�����*��¢?���¿���?�S����� ���������]±�Ãz��¢0� ���Y�S�?��½��I��*��¶����]�����]��£*¢0���?��¢0�?�d�*��¢0�&Ê �����S�]�2�]���S�]�3�~�&�Ð�S³�S£��?Ä~ô�@Y¢f�(-?í<õR±%@��*�K���S�¿���7���?�D�*� �7���&�&�m�º��������$���¾�;�0£h£��0¶(�����hM

¯?���]�A�m���¿�v�S£h£�§²��¢?���×�����¼�����z���A£��]�7§3�2�®?�]�I�¿���?�È�f�Â�����ó�����7�����À�,�m���T¢O£��.����¢<§ø½����]���?���?�Õ��� �A�.�3®.�����A�ã�������¢0�~�����Y�]¢0���.�*��¢0���¾��¢?�(¢K�©�����~�7���7�¢?�µ¶��7�������]�z�A�?�����m�7�2�?���S�]���A�D¶(�����z¢���]®?�]��³R�7�]�]�Ç���]����¢<£K¶(�?�S£*�M¥(½����&�v�S£h£���?½2�?�7�*���]¢0��¢?�$���7���m�·�]®?�]�U�h�B�?�S£�§U£*¢0³���]�S���?���m�Í���?�Y�.�����m�A�7£�§P�AÉ��S��½S�����m�º�?����m�7���m�Ï���Ó�$���k���­�¢<§P�7�7�h£h£Å½2�����m�A³�m����¢0�$§Á�����?�]���]�A¢0��������¢0�·�7���]�A�m���¿�v�S££h�����.�S�´���7�*�P�2�]�7�v�?���¢0���A�·���Ç�����& ��A�7��S£*¢?�A�?±_ô @Y¢0�Aí�ìm¥��,±oS°Q0õR±

@¾¢0����¢.��¢<£*�7�Â�S�A�v�]�������S�*�����Í�»¢f�3¢<�����7�������¬~�S�����m���B���S�?�ã¢0���?���µ�]�3�(¶��S�*�$�,¥S���P�?���(�?�S����³���?�,¥��*� �����]¢<£h£��m�Î�;�?�<±Â�(���·�&�?�7��®0¢0�7���?�D�0�������

�����ö�*�Yè.�S�����&�$£��m¢f�mà�@¾¢0����¢.�MÄo�Y¢.���7�]���7���?���Ë¥�¢<£�³�����?���?�¼���?�U�����S�]½�¢0�I¢0½S£��?¥P¢0�$�ó�����S�]�I�7�A¢0���S³¢0½S£��?±å�¾�«¢0�������0®O¢O£Y�v���?� ¯?�m¢0�7£��D¶(�?�S£*�Ç���?��¢0Ò?�¾����¢0�~�������&�f�Å¢B�.�nO,�]���]���A�?¥�½�����@¾¢0����¢?��7�]�]�Â�Í�������S����Ò·�����*�����µ���?���A¢0�3�<±_¤¿�Ó¢0�S§��]¢?�7�?¥½3§��S�0�����B�7��¥0���(�]��¢0½S£��m���.�����]�I�����ß�A�������´�$��Ô]�¾�S�*�¶(�?��Ò·�?��¯?�m¢0�7£��m¢0��¢?�]�A�?���S�I�Kô�@¾¢0��í7OS¥�â~�7�*ípS?õ¿±

U,¢f����§Ã@¾¢0���7�]�m¥ß���È�S�*���$�]�S£�§ï��� @Y¢0�$��¢?�MÄo�Ê å �����]�Ââ~���.���m�]¥ å �$���]�©¨ª�������]Ä�ô @Y¢0�Aí�ìAõR¥��A�7����³�*�$��Ô]�m�]@¾¢0����¢?��¢0���ί?�m¢0��£��·¢0����¢<���Â�K�����7���0¶����¢0�KÊ @Y¢0�$��¢?�MÄo�~�����?�2�3�7�m���$�?½��?���´�¾�����.�I¢?�S�B�f������Y���°���K�����Y�Í���Î�*�����S¶�¢f���I¢0�S���m�MÄ�ô�@¾¢0��í7OS¥�,±DN7OpS?õ¿± �,�ï����¢0�U�]���M¥·���ö¢f��¢<£�§3Ô]�m�)@¾¢0��³��¢?�MÄo� ���S���S���7��®?�?¥Y�$�$���]�S�7�h "�P¢f�������S�h£��3�7�?���S�*�]¢<£���m¢?�7�.��� �;�.�&�����?�2�3�¿�����Á�$���������?�I¢?�S�P¢0���Ç¢0��³�?���m��¢0�3¢O�������������]�P±;@Y¢f���7�]�, ������d�����������Î���½����������m�A�m�$��¢0��§�½��m�]¢f���7�?¥?�������.���m�]¥<�h�,�������7�]��³�7�?�7���&�.���?�k�]¢f��¢?�$���7���m�&�����������¼���m���I�¾�v�?�&¢0���ñhE���ElG�G�J7Cɵ�;�?�·�����º£h�����?�S�*�7�7�*�Á�]¢f��¢?�$���7���m�·����¢0������Ó�Í�����m�7�I�k�;�?�<¥���¢<®.�����U�����ª£´¢f�����]�Â�7���.�S£´�½��òG©�BÂ��mðLEmñIH2�;�?�(�����9�;�.���&�]��¢0�S§3¶�¢<§Pô�@¾¢0��í7OS¥�,±hN7N¦R<õR±ÑV�?�Â�µ�?���P�.�ö��§3��½��f£ß�?�$�?�����.�����ó¢0���Ç�����

�����K¥��$���»�$�m¢?�S�]���*���$�A�;�]���$�m�å�$�Æ@Y¢0�$��¢?�MÄo��?�����]�·��¢0���]�A�Pô�@¾¢0�Ií¥N3¥�@Y¢0�AípS�¥[@¾¢0�Ií�-<õR±Ç�Í£´������3���]�$�m�7�7�������*�¡|?¢0�µ�m�\@ ±�Ñ��]��Ô]�]�<Äo�µÊ¡�(����������*�K���?�K�����&Ñ�����¢<£�ÃD�.�I�MÄ_ôgÑ��]�Ií7O<õR¥V���D¶��S�*�$�D���¢<���Â� ���Y�����O¶Î����¢0� ���������Í�D�]¢0�����?� �����0®?�*�S��¢�����S�0���v�?�K�¢?�$�S�����&�����?���.�3�K�¿�����A�Â�µ�?��������¢0��7§S�k½2�0£K�¢0�S�����S£*¢0�7���?�ÆJ?ñ2ò����?½2�?�7�*�P�]¢0��¢.�$���7§�7���?�S£*�º½��9���S®?�0£�®?�m�Ï�������3�$�A£¡£h���?�]���A�]³v�?�A¢0�3�������2±¤¿�Æ¢?���.���7���?�ø���������È�����K¥_@Y¢0�$��¢?�ø¢<£*�7�

�&�]�S�7���?���ã¢÷���Í��� æ×���?�I¢O£ö���?�I¢<£À�����7������,�m���]çB¶��S�*�$�ó���mè.�S�����m�����]�����?�µ�0£��m�A�S£´¢f�·�����.�*�7³�7�����?�S�*�7��¢0½S�h£h�*�7§?± @��0¶(�]®?�]�m¥Í���S�*���&�?�$�T�����7����³�?�]�S�®?�]�A�¿���?���0�K�����Ó���9¥�¢?�]�A�?�I�.�����U���4@¾¢0��³��¢?�M¥K¶(�h£h£&½��D�������m�A�m�$��¢0��§?± å ���A�U¶��ÎÒ3���0¶¢0½��.���&���0¶ã���D�¢fÒ?�Ï¢T���?½��.�&����¢0�&�]¢0�Ç��¢?��������D�����K¥d���Ó��¢<§��]¥(¶(�P¶(�h£h£ß��¢<®?���7�0£�®?�m�z¢<£h£�����&�����.½S£��]�·�K���]�$�I¢<���S�����P�����������S³v�&���S�A£h������±@��0¶(�]®?�]�m¥0���]���A¢<£"��¢0�I¢Í�����?�S��½������7�m�µ¢?�_�$£����m�¢0½��.���B���0¶å������¢.���K�����·�����ãô @Y¢0�Aí�ìAõR±ª@¾¢0��³��¢?��½2�A£h���]®.�m�ºÊ*ôo�����Í�(õ~�´�·¢?�������$�ó¢?�·¢D���$��³�]�3���´���k�]¢0�D¢?�7ÒM¥2�v�?�K�������]�&�S���7�*�]¢<£Y�7���?�$§��]����������]���?Ä�ô @Y¢0�Aí�-<õR¥�½��������P�S�3�m�©���?�&���S����ÒU����¢0�¶(�k��¢<®?� ���DéA�?�&����¢f���R¢0�Ië�±¾�(�������m¢?�S�]�Í�*�¾���]³�;�]�$���m�º���Óô @Y¢0�Aí�-<õ,�v�?�K¢Â�S�]�I¢O�¡£��m���AÉ��S£*¢0��¢0�7���?�

N7N

Page 23: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

�f�_¶��S§ª@Y¢f����¢?�µ½��A£h���]®?�m�¾�����K�����°�*�(�]���?���?�,±ÑV�?��¢f�Â�AÉ��A�A£h£��]�S�¾���S���I�&�2�]�I�7�?�P¢.�]�A�?���3�~�0�_������Í�©­O����� ­O�������������?��§?¥S¢0�&�?��� �?�����]���*�������m�]¥�$���K���m¢?�S�]�(�*�Í���A�;�]�$���m�·���PôoÑV�]�Ií?¸<õR±

°²±n°³±�à Àľ{¿�ÅM¸QÆ#DzÈr¿�¹�½¡Éa¸QÊ#È Ë8¿Ì¸Q¿�¹¼º²Í�Î#ÏÍ¥½�Ð�¶8¹¼º6½�¾8¿ÁÑÁÇ{Æ�¿ÌÒ�À�¿�Ó*½

¯?�$�7�����?�]�3� ®?�]�I�¿���?���9�0���$���Â���È¢0���·¢<£*�7���&�]��³�����.���m�ï½3§¼¯?�A£��&�]�Áâ~�7�����3�L�7�?�I�M¥����]�]¢?�¿���?��¢<£h£�§¶����$�S���z�����D�A�?�S���AÉ��Â�f�\@Y¢0�$��¢?�M±Àâ~�7�����3�L�7�?�I����������3�7�m� �$��¢0�,�����]���d�*��¢Y�7�mè.���]���A�(�0�����D®0¢0�7��³¢f�3�I�����µ�����A���m¢?�¿�������?�I�S�]�~�0�_�7���7�����?�]���A§?±�¤¿�&�S�*�é[û��¢f�&b(�?½2�?�I�µ¬�¢0��¢0���Ǭ�¢f�,Ä �kâ~�më�ôoâ~�7�*í7N<õ����¢<���Â���$�Ó�7���0¶�����¢0� �Y¤K¶(�h£h£Y�������S���A���¢0³�$�S�����m������¢f��¶(�h£¡£M��¢?��� �����m���Y�7�����.���?�]�_®.�]�I�¿���?���]¥½����Í�����B¢0�����]�µ�����$�k½��S�h£*�P¢f�P¢0���7�h "�]¢<£_�2�]�I�7�?�¶��¡£h£��7�7�h£h£,�R¢<�h£ ±â~�7�����3�ú�×�?�A�Î�´�©�?�����0�Y�����S�7��¶�����¶�¢0�3�A�B�$�

�$�]�¢<���«¶(�����S��� éA�$���Ó���S�h£��3�7�.���S�´�]¢O£©�$�]���I¢<����ë�±¤¿�«ôoâ~�7�*ípS?õ(�����S�]®?�A£��?���¢f�3¢<�����7�����������K¥gHL¾°EJ¥CúÅ)� Ê E<ñhHIÁ÷C�À Ê G�E�C�Emñ2ò?ð�FMð`H�ÉK¢0���º�S�A�;�]�����Í���S�*�¢f�3¢<�����7�Y�7�.�&�B�A�7���7�*�$�*�7�Â�]±�����»¢0���.���&�]�3�T�;���.� �7�]���]���.���S���7§?¥P¢?�������

��¢f�&�B�7���?�?�m���I�]¥,éA���A�v�����m��ë ���������ǽ3§�¢  ��S��������I¢0���B¢0���$�?�¢0���.��æ×Ñ~¯?�Bç(����¢0�Í�?�]���]�I¢0���m�Í�I¢0��³�S�.� ë����0£h�*�7�«�7�]�S���]���A�m�]±­¬�¢<£h£Y���S�*�·¢0�����?�·¢0³�$�?��Ô�±#z¾����������¢P���9¥�Ôó�¢<§_�7���7�B�?�]�¾£����$Ò3§¢f���º�;�S�0£������©���S���]���$�?�3¢0���.�m±&¯?�º���������v�?�K������Í�F�ië�®?�]�È�����ó�Í���÷�]¢0�Ƚ2�����A�;���$�m�å�¿������³£*¢0��£�§?±ï�ø���.½��?�&�·¢m§�½2�]��¢<®?�P�I¢f���S�?��£�§»¢0���½S§»�$��¢0���A�?¥����A�µ£¡�����?�S�*�7���´�ν��]��¢<®.���?�P�¢<§ó�A�?³¢O£��m�$�A��¶(�������������7�]���7�?�7���&�.���?�B½2�]��¢<®?���?�&�2�]��³�v�m�A�7£�§P�S���7������¢&�����K±â~�7�����3�ú�×�?�A�� ������(�$���ß���Í����®?�]�$§Â����¢f��®?����³

�*�7���´��¢0���º�A�?���¿�*�S�]�I�¾¢0�Ó¢O£��$�]����¢0�7��®?� ®?�]�I�¿���?�º�0����,���(�]¢<£h£*�_���Í����Õ<±Å���S�´�G£*¢0�����]�M���m���,���mè.�S���$�m�_¢Ö��0¶��$��¢0�����¢0�A���&½2�]�7¶��]�]�·�����¾½��I¢<�����~�0�,�S£*¢m§S³�]�A�B�ã¢0���UâÈ�A¢0�����]������¢0�Á¢º���]�����.�&�0£��m�A�S£*¢0��·¢0�I�$�»ôoâ~�7�*ípS2¥��,±�ìm¹pS.õR±Dâ~���©â~�7�����3�ú�×�?�A�U½��]³£h���]®?�m�9����¢0�K�����&�����Í� Õ �*�K¢0��Ê ���µ���I¢?�A�7�*�]¢0½S£���S���?�S���¢f���?Ä��¿�����A�Á¶(�D¶(�?�S£*�z���.�PÒS���O¶ø���0¶�$�P�A�?���S���A�K���S�*�K���m���m±k�����B���S���]���m�7�$�m�����m¢?�S�]������?�S£*�Ó�A�.���7�S£��kôoâ~�7�*ípS.õ,���Â�7�]�&â~�7�����3�L�7�?�I�ª�AÉг�S£*¢<���z�S�*�&�$�m¢?�7�?�S�����D¶����]�$�P���Ó¢f�����m¢<£*�µ½��?����$�B���S���S���7���?�D¢0�����A�?�&�����A¢0½S�h£¡���7§P�$���]�?��§?±â~�7�����3�ú�×�?�A�M¥Ï�S�]�$�]���������m�����À¢f���I¢?�$ÒÀ�]®.�]��§

®?�]�I�¿���?���0���$���k���K¥M¢<£*�7�DéA���A�v�����m��ëµ�����&^¾���.�A£�,�m���Kæ�^K�¾çI±��(���;^K�ö�*�(���?�Y¢.��¶(�A£h£_ÒS���0¶��P¢?������D����� �?�������º�?�����]��®?�]�I�×���.���·�0�B�����D�������¢0��¶(�·���3®?�m���7���3¢0���m�Î�������S�*�·�7�m�A�7���?�,± å ���A�¢0�3¢<���,¥~�����]���P¢0�$���������]���S£*¢<§?�]�I� ���S®?�0£�®?�m�M±���×���S�.�?¥0¶����Y�¿���I��½��]�S����� �7¶��ͽS�������¢0�$Ò?�m�®Ö#× w¢0���ÙØ&Úã�$�����������D�S¢0�&�?±ø�(���Á¢<���ä�0���������¢0���7�*�$����¢0�S�I�Î�*�D�$�À�?���m�$�D�����z�A�?���A�]���U����¢0��������7���S�?�K���S����Ò������º½3§µ£��3�.Ò?�����P¢0�(�������]¢0�I���æR¶(����� �S�´�A�$�����m�,�.�B�����]��ç2����¢0�M�����9�7���S�?�(�S���?������»�$���P�7¶(�Ó½S�����]±z�Æ�]¢f�I�U�?�S�m�&���Î�����_Ö#× w½S�����h�������R¢<£h£*�K�����S�]�K�������A�?���A�]���m¥,¢0���º���µ�����Ø&ÚȽS���Ç�?�����]��¶(�*�7�?±U�,�Î�0��®?�P¢0���AÉ�¢0�&�S£��?¥��h������&�A�?���A�]���K����¢0�¾�����©�7���S�?� �´�9���S����Ò?�����º�0���*�éA¶(�?�¢0��ëV¥3�]¢0�I���~¶(�������S�*�A�����$�m�(�0�_¶(�?�&�]�ªæR�?��A�?���A�A��®O¢0½S£�§?¥Í�����]�Â���7§S�S�*�]¢<£h£�§U�*�S�]�S�7�h ��m�Ƕ(�����¶(�?�&�]�Mç��?�������$����Ö#× w ½S���,±µ���S£´¢<§?�]� ���]�m����?��¢0�����?�����A�(�������A�?���A�]����¶Í���]�k���p­0�7���~ ���������m±»@��p­O����� í�ð4ñ�G&�$���P���?�����°�h�k�$���]���D�A�?�&�m�¢z�7���&�ó¢0��¶��S�*�$� ¢<£h£&�v�����������.���m���7�m�D¢0½2�?���¶��S�*���U½S��� ¢º�]¢0�I�º¶(�h£h£�½��&�S£*¢?�A�m�T��� ¢0�$�Â�A�?��³���m�A�DôD^¾���3í.¹3¥Í�,±jS.õR±À�(�S���µ�������S£´¢<§?�]�·�����7����?�¾�?�S£�§��*�S�]�3���¡�v§P�$���©�A�.���A�]���BæR�?± ��±�¥p�7���7�K��¢<§éA�¾��¢����(���B�A�?���A�]���~�*�ií;À Ê J?ñ2±oëSçB½������7���.�S£´�¢<£*�7��½��D¢0½S£��D�$� ¢0���S£�§°���<±ÆË��0¶B¥��7���7��¢?�µ������������K¥M���º��¢?���K�$���v^K�K¥_¢ª�¢?�$�S�����Â��¢?�9������]�7�v�?���Ì¢?�K�.�3���D¢?� ¢��S���¢0�,±·�Y�T���S���]���m����³�����P�7¶(�*�7�K���]�����*�9����¢0�K�����&�·¢?���S�����&�����7�K½2�¢0½S£��K���ªí�ð4ñ«HL¾¦E?Å7J Ê E<¥S¶��S�*���·�*�~���?�(�����K��¢0�&�¢?�Ͷ(�����S������¢&�$�?�����M±��È�3¢f�&�k�A�?���×�´���I�¾�0� ����³ ��S�����A£�§P�¢0�S§·���?�������]±Ãz�S§?¥�§?�?���¢<§å¢?�7ÒM¥·¶(�?�S£*�ã¢0�S§?�?���«�S�]³

�¿���?�À�7���$�À¢0�z�?½��$�A�����D���m�7�ËêÛ^¾���.�A£ ¥9½3§Ç���]³è?�S���7�������������¢?�$�S�����Â�$�¶(�������S ��S�����A£�§U�¢0�S§���?�������]¥�¶�¢0�3�A�������$�S£��µ�?���K���������3�$�¿��½S�¡£h���7§Á�f�¢0�kÑ~¯?����¢.���¿�����Y�$���^K�óôD^¾����-7Q�¥1^¾���3í.¹0õR±,�Í£�³�����?���?�­�����Á�$�m�7�·�*�P���A¢?�A�7�*�]¢<£h£�§À���7�A£��m���ÎæR½2�]³�]¢0���7�º�������mè.�S���$�m�µ���S ��S�����U¢0�&�?���S�Â�f�B�7���&�0çI¥�*� ���k�f�Í¢f�3§D�$���]�?���]�7�*�]¢<£��¿���?�S�h "�]¢0���A�0êÜ^¾���.�A£½��A£h���]®?�m������¢f�K�3���¢f���K¢0���&���A�������]�~F"ð2Å�¾°EJ?ò7EAòæv�R± �?±�¥Í�?���A�������]§����S����Òó�0�k¢f�ö¢f���7¶(�]�Â���Î�����é]�7�mè.���]���A�Â�S¢0�&�mëµ�����]§D�S�����?�K��¢<®?�����Ï���7�*��Ò¶(���������]ç����?�&ñIJ7CC�À¥í²� Ê ð*ñ2ò7EAò·æv�R± �?±�¥M�?���A�������]§ ����&�$���kñ.�����&�]��½��]�(�0�G¢ �7�mè.���]���A�?¥������]§&¢0����7�7�h£h£Y¢0½S£��&���·£��m¢0���Á¢��.�nO,�]���]�S�k�7�mè.���]���A�·¶(����������Â��¢f�&� ���S���7�*¢<£(�A£��]�&�]�3�A�AçI±�¤v�(�3���·¢0���K¶(�]����,���������µ�¢?�$�S�����m�ßæR�?��Ñ~¯?��Äo�d¶(�����&£��m�����]�����0¶�³

N7O

Page 24: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

�]�A�AçK�����]§D¶(�?�S£*�D½2���S���?���m¢?�S�m�ó¢f���D��¢0�$���0¶�³�©�����S�m�M±�^¾���.�A£����f£´���©����¢0�B�S���¢0����¢0�$�Ï¢0��³�$�?�¢0�I¢9�0���7�?�&�B�7�.���m¥�¢0���µ���P�����¾£h���?�S�Y�f�Å�����¢f½��0®?���A�?���$£����S�m�U����¢0�������]§ï�k�����Ó½2�����7�*¢<£�³¢f���S³v�]�����?���¢?�$�S�����m�]±ÁÑV�?���&�?���·�?��^K�K¥ ������$�m¢?�S�]�(�*�(���A�v�]�����m�·����ôD^¾����-7QS¥Ì^¾���Sí?¹�¥�â~�7�*ípS?õ¿±â~�7�����3�ú�×�?�A�K�*�����S���]���m�7���m�9����������^K�U���7���¢0��³

�h£�§«½2�m�]¢0���7�Î�������S£��m�º�?����Ñ~¯?�kÄo�µ�v���?� ��¢?���7³����������BÝ`?±�@������?�$�m�B�$��¢0�¡^¾���?�A£RÄo�&¢0���.���&�]�3�A��·¢m§¾½��(�����7�.�����M¥?½�����¢?���7���������K�����]§B¢f�������?�<¥¢.�7ÒÐ�d�����Yè.���m�7�7���?�Dé*z¾�B¶(����¢<®?�����M^K�z¢0�¢?�A³�A�]���A¢0½S£���®O¢0���´¢f�3� �0�"�$�����?�7���0����¢<£"�Í�¾ê[ë�ôoâ~�7�*ípS�¥�,±µì?ìm¸0õR± â~�7�����3�L�7�?�I�MÄg�D¢0���7¶(�]���*�Î���]�3¢0�7��®?�?±^K�ö�*�������f�´�º¢0���P�S�S�m�Í���?�Y¢<£h£��0¶À¢?�]�A�m���Í���¢<£h£�A�.�?�S���7��®?�Ó�]¢0��¢.�$�������m�·�$��¢0�&���������ã�]¢0�,±zÃD�¢f�?���]�K¶(���������S�*�¾�A�7���7�*�$�*�7�ø�0��â��������S�L�×�.�I�Mà���¢0��³���´�$����¢0�S�I�9���������v^K��¢0���·�I¢0�$���]�B��¢?���×��®.�Ï¢0����$���A���©�������0®0¢0�7��®?�Dæ¿�?���I¢0�����]�m¥ �?�]���]�A¢0�7��®?�0çk�]¢0³��¢f½S�¡£h���7���m���]¢f�����?�,½��(���m�����m�M±_â~�7�����3�L�7�?�I�MÄg�,�7�m�A³�.����¢0���?���&�]�S��¢f�3¢<�����7�������F^K�Ç�*��¢0�S¢<���·�;���.����]���]���.���S���7§?±U�ã�����´¢O£�³R¢f���S³v�]�����?�&�·¢?���S�����P�]¢0��]¢O£¡£&�����Î�I¢0���S�?�ä�7���7�����z�?�]���]�I¢0�������«Ñ~¯?�ÞÔ�µ�]�3�7���?���m�º¢0½��0®?�Í�v�?�������B�S�m�$£*¢0�I¢f�7���?���Y¢f½��?���¶Í��¢0���������A�?���A�]�������Âè.���m�7�7���?�©�´�~¢0�����7�K��������v�?�������ß^K�K±�±�± å ���A�»¢f�3¢<���,¥&�������$�m¢?�S�]���*��$�Ï�A�?�����S£��·ôoâ~�7�*ípS?õ������7�]�&���0¶ï�����¢0�$�?���&�]�S��v���?� �7�]�$�]���.���S���7§ï�*�»é[�?��¢0�I¢0�S���]�m�­���z¶(�?��Ò�ë¢f�3¢<�����7�������B�Í�«¢0���µ���I�Í®O¢0�7�*¢0�S�I�]±

°²±n°³±�à Àľ{¿®áQ¹�â8¿Ì¸Q½*¿�º�À]Ǽ¸�Íã¹{Æ�À�¿ÌÓ�½

b��m�A�]�3�7£�§?¥�¯?����¢0���ÍÃÁ¢0������¢.�(�����?�2�3�7�m���$���K¤R��³®.�]�����m�������7�����Ï���m�7�KæR¤7���¾çYô ÃÁ¢0�Ií7QËõR±(¯?�?�µ�K�0��S�*��¢f���?���&�]�S�I�(¢0���B¢<£*�7�����A£��]®0¢0�3�¾���·¯?�m�A�7���?�P¸½����Ͷ��B�$���3�7�K�$�Â�.�*���A�����Í�S�´�Í��¢0�2�]�Y���]���?±ÃU¢0���mÄo�9���0���S� �´� ����¢f�k�$���Â�����*�K�����7�]��¢f�I¢0³

½S£��9�;���.� éA��¢<��®?�K���7§��$���0£��?�?§�ë B�á �¿�����A�B�$�&��¢?����$���Â���K¥ ¢��¢?�$�S�����Â��¢.�K�����A�?�3®.�����A�Â�$���&����³�$�]�����?�3¢f���?�,����¢f� ������¢.��¢K�������M±;@��¾�]¢<£h£´�d��¢<��®?�����§Ð�$���0£��?�?§�Êo�$�������7§Ð�$���0£��?�0�*�]¢<£��7�0£����7���?� ������������S�h£��3�7�.���S�´�]¢O£������?½S£��]�PÄ,ô ÃU¢0�Ií7Q<õ`BB<±

Vud ö ������������.�"�j�]ÿ�+g��þ�����g��������þvý��{+��7þ�����&Ëÿ�!]ÿ��L#]�����t���<þ���+���Bü�Wl$j:

VRûnr�+4ÿ���e����#D�����g���7þ��3�$ÿ�f���ò�vý������g�.�"���mþ �e�9�������"������*&�������#���*&�� � ÿ�� ÿ��`#��vý;�"+��×þ4ÿ � ���g����� �e�.+�� �"����+h�vý�ý����t�7þ�+��"��&i�výg���*���g+�����f��+�, ä]�� ùøe0`:

V�V �9�*���2������7þ � �¿ÿ��*��������ý�����7þ���ÿ��*&�+�!mþvý � �����©:

ÃÁ¢f���mÄo�µ¤×��� ���mè.�S���$�m�P�$���D�¢?�$�S�����Á����½2�¢0½S£������������0®?�µ���A�B�S���¢0��³v���m�$��½3§Î�AÉÐ�]�I�$�*�¿�������¢<��®?�D���7§��$���0£��?�?§?±È¤¿�»��¢f���7�*�A�S£*¢0�m¥Í������¢?�·����7���0¶À�$��¢0�����I�¾�2�0¶��]�¾�0���.�*���A�7��������¢0�����.���*�Í����³�.�*�7�7�����?�S�*�7��¢0½S£��µ�;���.� �$��¢0���0��¢��S���¢0�]�7���S�?����Ó�$���k���K±��(�������ö�´��£h�����]�I¢<£h£�§����S®?�]�����m�º¢0���Ê¡¢��7§��7���]�ø��¢?�$�7�m��ô ����� ¤×���(õ �h�(���¾�*�¾���I�7�A£h������³¢0½S£��B���·�.�´���7�����?�S�*�7�D½��]�7¶(�]�]���7¶(�k�S���¢0���Ë¥��?�½��]�7¶(�]�]�ó¢��S���¢0��¢0����¢º�¢?�$�S�����º����¢0���]¢0���¢?���d���������?���·¢<£"���K¥0½����~¶��S�*�����]¢0�Â�.�*���A�7���&³����¢0���B½2�]�7¶��]�]��¢��S���¢0�P¢0����¢��·¢?���S����� ����¢0��]¢0�ó½2�����0£*��¢0��¢0�$�k½S§�¢����?���¢O£Í�Í�å¶����$�»¢�3���·¢0�P�?½����]��®?�]�mÄMô ÃÁ¢f�Ií7Q<õR±ÃÁ¢f���Å���I¢0���m������¢0� ���������?�2�3�7�m� �����(¤7����¢?��¢

�����?���?�S� �AÉÐ�2�]�7���&�]�3���A¢0�����]� ����¢0�k¢.�,¢��.�3¢<£?�v�?��Y¤A±�¤R���$�*�S�]�S�I¢<£h£�§?¥(����½��A£h���]®?�m�µ����¢0����������¢0�&�¢0���S£h���m�K���&�$���k���ï¢0����½2�?���º���m�7�I�������?�S£*�P½2����]�3¢0�A�S�m�ó¢?� �&�m¢0���©���D�3¢0�$���]�B�����S���A�7��®?���]®S³�*�S�]���A�Á�?�Ƕ��S�*���Ç���S�v�]���]���A�m�P¢0½2�?�����¢?�$�S������&�]�S�I¢<£h���קz�]¢0�z½����¢?�S��ôo¨º�S��R.Q<õR±ïÃD�º��¢?��.�*���A�����7�m�º���S�*�Í�m¢0�7£h���]�����D¯?�m�A�����.� O�±�S2±ÃÁ¢f�����¢<§·½����7���?�S�ߢ0½2�?���Í���S���A£h£h���?�]���A�½2�]³

�����B���·�������]§?�9æR�?���$�����������2ç_�0�,�����ͽ��]���0£*�S�]�mà�¢0�S§����]�?�S£�����¢<®?�&���?�$�m�������·�3���¢f�Á�.�*�7���?³�¿���7���?�����B¢?�$�A�7��½��Í���S���A£h£h���?�]���A�����B�7§��7���]�Â�d����¢0�¢0���]�,Ä �B¢f����®?�*�A�]³v®?�]�A��¢�±Ââ~��� �����&���]¶å�$�m�7�K��������?�2�3�7�m�]¥��$���Â�7�?³R�]¢<£h£��m�U¤×�Í�K¥ ��¢?�K½2�]�]�ó�7��½�³�×�m�A���$�ß�7�.�&���7�$���?���Y�A�?���S���]��³R¢f���?���&�]�S�I� ¢?�,¶(��7��¢<£h£Å�7���.���7£�§Ï���]�?±�¤R�Y�]¢f�½2�k��¢<�*�·����¢f��ÃU¢0���mÄo��&�?�7��®0¢0�7���?�z�v�?�µ���S�������S���$�����z������¤×���ø�7�]�]�·�¢?�]�A�]���I¢0½S£��?¥~½����������Â���$�?���3�$¢<£����I�7�A£h�¾�*�B���$�?½�³£��]�¢0�7�*� B � ±¯?�A£��&�]�Bâ~�7�����3�L�7�?�I��¢0���åb(�?½2�]���BÑ����]���$�,¥2���

�����A���Á�$�]�S£¡���m�U���­ÃÁ¢0����ôoâ~�7�*í7Q�¥ Ñ����mí7Q<õR¥µ�����?³���3���Y�¿���&�S£����&�]��������� ����¢0� ���]®?�m¢O£V�7�.�&�(¶��m¢fÒ3³���m���7�m� �0�������&¤7���K±,�(���·�7���7£��m�K�f���$���&��¢0���]�A�¢0���d�¡£h£����7���A¢0�7��®?���0���$���A�����A�.�3���]�S�m± â��������S�L�×�.�I�MÄo�

V�£ �9�<þ4ÿ����i���*�[&Ëÿ�+�����+�+4ÿoý��+��*� ��&D�e�����×þ;� � ����< ý��²��������mþ4ÿ��*�i����+���=7�$ÿ�f��� � #i���*�jê0þ�+��j��*���mýAþg^`��;���*��ZMý��"t�]ÿ��4ÿ�f� Wl�¿ÿ����*��� ZMý"���oý�¬��]ÿ��*�»������&ª�"�;�����I�Íÿ�&*&���� � �"+������� ���Ëÿ�����hæ1�]ÿ�f�7þ�+4ÿ��`#=;$��*<��$þ ��=Mÿ��«m�ýf��� � �×þ�=;sùù�-d�����#]!.�$þ��4ÿ��¿ÿ�!.�"����+�=�'1�mýi&]ÿ�&]�<ý���!mþ���fAÿoý��*+L��#D<��mý"' ��oý��%� � ý��*�i�����i�vý!]ÿ��ªç.E�¦sç�¦�G�èso������ª�`�1� �"+ � � �������7þ�g�e�"��+²�výª&*���������i���*�>�"��tL����+�+Bý"�[���"� �]ÿ��*��+�:{�9����+��!p�×ý!����i�p�&]�<ý��~þ��e�"&�ýIþ�����$þ�&&ý�#ä]�����Y +j!.�"!p�7þ>�"��&���¿ÿ������7þ������²�`�1�T�mýAþ��p�7ÿ�f�j!*+�#�� �<ý�oý��#©'9�+r&Ëÿ�+����*+�+���&&��<þ4ÿ����¡�����D!<þ���+������ �"�4ÿoý�7:é�i��# � �_���]ÿ�+²�e�"� � �D���t!��2��ÿ�����&D�+�e��p�7ÿ�f�j!*+�#�� �mý"�oý��#]��9'MýAþ�<*i�:

NpS

Page 25: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

Êh�(���¤¿�3®.�]�����m�������7�����Á�,�m���B�*�&¦d���0®O¢0½S£�§�b(�]³�S������¢f�3�mÄ�ôgâ����´í¥Q0õÅ�����O¶¾������¢f�K������¤×���­�*�¾�]��³�A¢<�h£��m�ö½3§Ç�������?�7���0����¢<£k���K±(â~�7�����3�L�7�?�I�z¢<£*�7��.�����3�7�m� ÃU¢0���mÄo�G�&�?�7��®O¢f�7���?�k¢0��� ½2�A£¡���]®?�m�~����¢f���¢O��®.�����7§Ð�$���0£��?�?§Î�*��¶(�������]�7�����������¢f�3§U�3��³�·¢0���Kæ �����$£����.�������S���Â�7�A£h�mçY¢0���M¥M¶(�����������&¢?�S³®.�]�3�,�f�"�A�?�&�������]� �����?�?�A¢0�Â�M����¢f�_¢0����®?�]�$§B�.�¡�v³ "�A�S£��(�����.�´���7�����?�S�*�7���v���?�¼�3���¢f��� ����¶��7�������]��A�.�&�����S�´�]¢f�7���?�,¥�¶(�h£h£d���3�?��½2�B���&�µ�?���?±¤¿�ãÊ¡�����ó¤R�S®?�]���$�m�È�,���7�����È�,�m����Må� ¯0���&³

�S£��Èæ7¨������.£��m���Aç�¦����.�?�I¢0� ����¢0�Ǭ��?�S£*�ã¦�¢?�$�¤¿�mÄ�ôgÑ����mí7Q<õR¥#b��?½��]���&ÑV���]�����U�7���0¶Y�¾½��?�$�Á����¢f��$���D¤×���ø�]¢f�«½����¿�����S£´¢f���m�z½S§»�$���Á��� æv���¢º¶�¢<§�����¢0� �*��®?�]��§Á�×���©�¡£*¢0�·����â��������S�L�×�.�I�MÄo�Aç¢f���·����¢0��¢�®?�]��§·�¿���&�S£��k���$�?�?�I¢0�ã�]¢0���$�m¢?�.�h£�§½2�Â�S�m�¿���?���m���$�Â��¢?�$�¾������¤×���K±,�����k�©�����.£��m����·¢?���S�����&�$��¢0�Y¶��¡£h£(��¢?���¾������¤×�Í�­�´�K�S�m�×���.���m����×�����ÇÊ¡�7��½M�A�?�?�S���7��®?��è?���m�7�����.���]Ä��$��¢0�&¢0���P�S�]³�$�A�7��½��m�µ���DôoÑ��$�mí?¹S¥3Ñ��$�mí?¸0õR±�¤R�~�*��¢?���7���µ�m�&����¢f��$�����A�.���$£����×���.�����AÉ��S£´¢O�����m�µ½S§kÑ��$�]����� ���&�����m�7�¶(�?�$ÒÐ�K¢0�$�©¢.�]�A�]�����m�M±��(���m�7��¢0���&¢0��¢<£�§SÔ]�m���������½��7�I¢0�S�7�*¢<£_�S�]�I¢<�h£ ���ί?�m�A�7���?�«S2±o¸�±Ñ����I����¢ß£*¢0���?�K�7�]�(�0�_�7��½"�A�.�?�S���7��®?�Bè?���m���7���?���

¢f���ó�7�A£��m�A���m�M¥·�3���·¢0���Á¢f���ó�7����®?�]§.�m�È¢0���å¢Ê @����¢f�D¯?��½"�A�.�?�S���7��®?�&¦����0 �£��?Ä2�v�?�����S�*�9Ê�¯?��½�³�A�.�?�S���7��®?�«¯����m���7���?�3U2�*�7�mÄ��*���?½��I¢O�����m�M±¡ËÍ�O¶ ¥�h�_¶(�¾�0��®?�K�����m�7�K¢0����¢ �7�I¢0�7�*�7���´�]¢O£�¢f��¢<£�§3Ô]�]���$�¢f�K���3�$�]�����?�3¢f���?�~æR�¢0� �?�_�·¢?���S�����0çI¥0���p­0�7���p­]��������?�S£*�&��¢<®?�������.�hùÏ�A�S£��ק·�.�´�$�A�7��������¢0�7�����&�¢0³�$�S�����m�µ�;�$�?� �S���¢0���˱z¤R�µ�´�·���.�Ï�.�hùÏ�A�S£��P�$������?���º������£h�*�7�Ó¢f���ó�$���P�����0 �£������z�������&�]�&³�.��§»¢0���­�����0®.�´�S�U¢ó�7�¢O£¡£k���I¢0�7�*�7�7�*�]�ª���?���7������$�&�����&�A�?�&�������]�<¥"¢0���º�7�·�k���$���v�?�¾�����B¤7���K±Ãz�S�h£��Y�$�����Í���7������½S£��m� �����v���?�S���0�G�7��½M�A�?�?�S��³����®.�ßè.���m�7�7���?���¾æ7�7�]�B¯?�m�A�����.�ªS�±g¸SçI¥?�$���]§Â�]¢0�·½�������m�D�����A�?���7���$���A�©¢ª�������.£��m���&�·¢?���S����������¢f��]¢f����¢?���(�����K¤7���K±

å �$���]�I����¢<®?�¾���7�m�ª�����A�������]�S£h���m�¾����ÃÁ¢0����¢?��.�����?���$���S�������m� ����®.�0�*�A�&�����A�����?�S���S���.���k¢f½��?����¾¤B¢0���U�����������7�����T���m�7� �����?�]���]�I¢<£R±��K� ¶������¢<£h£ß�7�]�����­¯?�m�A�7���?� S�±�Q�¦�¢0���7�*�$Ò @¾¢<§?�m�&¢0���^¾�]�����]�$�kÑ��.�I�K®.���]¶Á�������Í�D¢?�,¢Í��¢0�����v�S£?½�����³�S�]�·�?�·�Y¤A±S¤R�������A���¾Ê¡�(���K�,���������·�,�m�7�d�*��|0���7�¢.�kâ(¢?�UÃz���]��¤¿�3®?�]�$���m�MÄ�ôoÑ;@¾í7Q<õR¥������]§��7�I¢f����$��¢0�,�����~¤×���U�7��O,�]�I�G�;���.�«��������¢0�&�����$�?½S£��]�Â�¢.�����������ø�$��¢0�P�����]§z�AÉ��S£h�´�]¢f���U���ãô�@YÑ�í.¸mõ¿±�����]§Y�?�A¢0�3�2��� ����¢0�MÃÁ¢0������¢?�,¢(�2�0���3�M��� �S�´� ¢0��³

�?���&�]�S�I�Í�?�P��¢<��®?� ���7§������0£��?�.§�½����Y���?�$�K����¢0��,���������2Äo���.�7���0����¢<£Å¤"¢�æR�����B�.�]���S�]��³v½�¢?�7�m�º���¾ç�*�����&�������¾���B�µ�3�7���0�,�����3���Y�¿�����A�����·���S�*�(���A�]³��¢0�7����¥������ ���S���]���$�?�3¢0���.�Y¶(�h£h£����.�Y½2�&���S����Ò?�����¢0½��.���B�.��O,�]���]���A�m�¾½2�]�7¶��]�]���S���¢0���¾¢0���º�¢0³���S�����m�]±µ¤R�D¢0�S§Ó�]¢?���?¥,�����]§º½��A£h���]®?�Â�$��¢0��Ê ���¾�*��7���&�·�v�?�B�¾¤B�����A�?�����$���?���¿£�§������7�m�A�������·��¢<��®?�¢0�S�������?�2�?�&�?�����S�*�7� ���µ�S£¡�*�$���K����¢<£h£Å�7���$�Áé$���&³���I¢0�7���?���3¢0�µ�m��ëY¢f���B¢?�S�?����¢Í�&�?���~�¢0�������(�S�]³���A�7�����7���?���0�,���I�¾¢<���Â�]Ä�ôoÑ;@Yí¥Qmõ¿±¯0�����h£*¢0�7£�§?¥ ¬��0£h£h�����]¥ ��� �S�*� �$�]�S£�§ ���

ÃÁ¢0����ôh¬~�0£*í¦R]õR¥��S�S�m�����?�����m¢<£h£�§D�v���A�����?�U�����¤×���9¥3½����Í�����?���S�7�m�(¢B���]¶z®0¢0�7�*¢0�S���f�_�����K���K±@��K½2�A£h���]®.�m�¾����¢0��Êg�����B�S�]�]�������?½S£��]�ã�0� �Y¤AÄS�*�����¢0���f�_����§.�����&���&�S�]®?�A£��?�P�·¢?���S�����m�(�$��¢0���]¢0�£��m¢0�����v���?�Ì�����A�����7�������.�����.�����S�&������¶�¢<§D�S��³�¢0���~�S��±��(���]���Í�´�~�A�������]�S�7£�§Â¢0��Ê ���S���]�����$�]�7��®?�¢?�7§S�&�&�]���$§"Ä�½2�]�7¶��]�]�z�����º¶�¢m§U�S���¢0���·¢0����A�?�&�������]�A�k�S�����S�����3�˱D¨Ó¢.���S�����m�&¢0�$�&���?�&¢?�¢?��¢0���7��®?�B¢.�(�3���·¢0���~�����3���·¢0��³R�A�?�&�������]������³���]�I¢?�A�����.���]±��K�]�A�?�I�.�����&���µ¬��0£h£h�����Ë¥����S�*��¢?�7§S�&³�&�]����§µ¶(�h£¡£��.�*��¢0���2�m¢0��¶����]�P�A�?�µ�������]�I�(���m¢.���¢Ç£��]®?�A£&�0�P�7�?���S�*�7�7�*�]¢0�7���?�ï���¼���m�7�0£�®.�����­���*�7³�I¢0Ò?�m� ¢0���º£��m¢0���S�����º�v���?�ø�����A���&�7�������.�����.�����S�����¢0�Í�*�B�A�?�&��¢f�I¢0½S£������Â�$���3�7�B�f���S���¢0���¾¢0���¢<£h£������?½S£��]�Â�¾�0���¾¤�¶(�h£h£�½2�&�7�0£�®?�m�M±%UM�m¢f���S�����£*¢0���?��¢0�?�m�¾¶(�?�S£*�º�����]�º½��&�?��� �0�������&�7���7�R¢?�A����I¢0���×�;�?�$�¢0�7���?���2�0�����S�*�_�S�]�]� �����?½S£��]��ôh¬��0£*í?¹<õ¢0���º¶����]�P�$�S�´���*�K�7�0£�®?�m�TÊo�����B�$�m�7��¶(�h£h£�½�� ���]³�7�m¢0�I�$�P¢0���º�S�]®?�A£��?���&�]�S�mÄ,ôh¬��f£´í¿RmõR±����S�]���]���©�����¼¶����]�����]�«�$���ï���S���]�����$�]�7��®?�

¢?�7§S�&�&�]���$§ø��¢?�È�.�*��¢0�����m¢f���m�M¥ï¬��0£h£h�����å½2�]³£h���]®.�m��¶(�Â�]¢0�U���7�Â�����7�����?³4£h��Ò.�����m�7�I�]±·¤¿�D�R¢?�A����k�7�A¢0���m�(����¢f�Y¢&�7��½�³R���»�´�Í�]���?���?�º���¢?�$�7�m���¶����]�����]�&�$�S�´�©�?�3¢<£���¢?� ½��]�]�Ç���m¢?�$���m�U�?�����?�¢0���ó�A�.�&�S£h�´�]¢f�7�����Á�����º�¢0���$�]�k½S§U�����?���S�¿�����������¤×���­�?���$���k�����ö�*�¾�����]¢<£h£��m�º�;�.�m±(¤R�º�����ë��.���7�����k���m�7�~æ�ë��ßç�����¢0��¬~�0£h£¡�����d�����?���S�7�m�]¥<������I¢?�7Ò·�*�Í���&£��?���.�]�B¢?�Y�A�.�&�����]���]���¿��®?�&¢?�Í���0£*�S³�����Á¢��A�?�3®.�]�I��¢0�7���?�,¥ ½���������¢0� �0�ß�7��½�³v�m�.���7����������]®.���.���¿£�§3³v�����7�]�]�U��¢?���$¢0�?�m�(�0�������A�?�$���m�A� ëd��³�0£h�*�7�,±k�����B���S���]�����.�3¢0���?�Ͷ(�h£¡£��$��§������A�?�&�����¶(�����·�S���m�A�m�~�0�,���AÉ�������¢0��¢ß£h�����.�S�´���7�*�]¢<£h£*§P�A�?�&³���]���]�S�·�3���¢f�»�]¢0�Ç�m¢?�¿�h£�§ó�7��½�³v�m�.���P¢0���U�h�k¢�A�?�&�������]�9�*�Í�����.�*�7�������.�S�´����¢0½S£*�·�v���?�²�3���¢f������D���S�*���A¢?�7ÒM¥������]�������]ë��ö�*�¾��¢?���7�m��¢0���ª������S�]�]�z�����?½S£��]� �f�ß�¾¤ �´�·�7�0£�®?�m�M±­¬��0£h£h�����µ ���³

N?¸

Page 26: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

�*�7���m�~½S§�½��7���AÖ�§Â�S�]�&�?���7�$�I¢0�7�����K����¢0�~�]®?�]�&�����ë~�Î�*��®.�]��§k�.�hùÏ�A�S£��(���K��¢?���Ë¥3¢0� £��m¢?�7�~¶(�����&������A���$���]�3��£�§T���·¢0�0����¢0½S£��P���m�$���S�*è?���m�Ïæ×�7���$�ó¢?�B¢£��S�?ÒS³v���P�I¢0½S£��0çYô�¬��0£*í¦RmõR±

°²±n°³±n° Àľ{¿®À�¸�Ç#Ò¥Ð�ÀÊ�½*¶�Ò�À]Ǽ¸�Íã¹{Æ�À�¿ÌÓ�½

¼��]�$§Ó�$�m�A�]�3�7£�§?¥ ���U�S�*�K���S���]���m�7�������Uî�ð*ñ2òpGDJ?ñ�òî¡J���¾Sð*ñIE�G«��¢0�2�]�ãôh¯3����í)-0õR¥ó¦�¢0�S£z¯3�$�3¶(�A��Ô]�]����$�?���3���m�÷����� Ê¡�,�$�S£�§ �,�?�A¢<£»�,���������÷���m�7�mÄæ7��b_�Í���¾ç B æ ±T@Í�À½2�A£¡���]®?�m�­�]®?�]�È@¾¢0����¢?�MÄg��Í���÷�$�À½2�À¢0�¼�����7�SùÏ�$���]�3�Ç���m�7�Î�;�.�U���S���A£�³£h���?�]���A�?±Ìâ~�A�;�?�$�Á���D���$�?���3���m�P�$���Á��b �����K¥¯3�$�S¶��A��Ô]�]���7�I¢f���m���S�*�(�0¶��&�.�S���S���?���Í¢0½��?���(�����¢.�S�mè?��¢?�A§��f�B½��]��¢<®?���?�A¢<£9�A�����$�]�7�*¢�±Ã@Í�P®.���]¶Y��������U���m�7�I�K¢.��Ê¡�S�m¢<£h������¶(�����U�]®?�*�S�]���A�·�v�?�K����³�$�A£¡£h���?�]���A��½��������?��¢?�B�A�?�����7�������7��®?�&�?���S�A ��S��³�����.��¢<£RÄ,ôh¯3�$��í�-�¥��,±hN¥QpS?õR±¯3�$�S¶��A��Ô]�]�m¥d¶��S�h£����A¢<£�Ò?�����D¢0½��.���k�$���&�?�����]�

�©�������������?½S£��]�P¥����?�$�m�(����¢0�(¶(�Y������¢<£h£�§��.�I¢0�S����S���A£h£h���.�]���A�P���º�?�����]���3���·¢0���K�?�U½��]��¢<®.���?�I¢<£½�¢.�7�m�º½��m�]¢0���7��¶(�U��¢<®?�Á�.�]���]�I¢<£kÒS���0¶(£��m�S�?�¢f½��?���&�$��� H�É"F¿Eµ�0�B�A���m¢0�������·�����S�]���A�?���¿�*�S�]��³¢f�7���?�,±i@��0¶(�]®?�]�m¥S���D�$���k���K¥2¶(�B�]���A�?���S���]�B¢�7§S���Y¢f½��?���~¶��S�*���·¶(�Y�S�B���?�~Ò3���0¶z¢0�3§S���S������±¤¿�P�������]¢?�7� �0�Å�·¢?���S�����m�¾¶(�¾£*¢?�$ÒP¢PéA�S�*�7���?�$§Ðë�$�k½�¢.�7�B�?���¾�S�m�$�´�×���.���¾�����?�,±¯3�$�S¶��A��Ô]�]�¾½��A£h���]®?�m�¾����¢0�(�����B�Í�K¥�¢0�����]®?�]�

@¾¢0����¢.�MÄo�,�����9¥A�*�_�7��½o�×�m�A� ���������KéA���0§S³v¶��.�7£*��ë�A�������´�$�*�7�º± �����å�7§Ð�����]�Â�Ç����¢0�z�7���]�A�]�m�²����$���m�7�ó���m���I��¶(�?�S£*�M¥Â¢?�]�A�.�I�.�����À���­�S���º¥&���?�½2�&�.�´���S£´¢<§.�����Ó¢0�ª���S���A£h£h���?�]���A�P�A�?�&��¢0�A¢0½S£��k�$��$���Y��¢0�$���I¢<£M���3���A£h£h���?�]���A���0�,£h��®?�����·���S�����3�(����¢f��v�����A�7���?�Î���D�����&���m¢O£�¶��.�7£*�M±Â�(���]§D�]¢0���v�����A³�����.���?�S£�§·�����A�?���7���A¢<�����m�M¥"¢0�$�7�h "�$�´¢O£_¶(�?�7£*���]±����� ��b ����� ���3�×���A�Ó¢ £��?���?³v���]���º¥K�]®?�0£���³

�����.��¢0��§��A�7�����]�7���?�9MU¬��?���×�´�S�]�P�A�.�?�S���7��®?�4H�É"F¿ElG¢f���4H�À�Ç.EmñoG��0�������3���B�7§3�2�m�]±¾��£������.���?�D¶(�k�S����.�K��¢m®.�©¢·�$���]�?��§P�f������� ���3�$�A£¡£h���?�]���A�º�0��������S���¢0�ï�A�?�?�S���7��®?�U�קS���?¥9¶��Î��¢m®.�Á¢0�«�AÉ����]��³�×��®.�4¾Sð�G�H�À7CAð'�J��©C�E��À7C7òP�0� ���Dôh¯3����í)-�¥��,±�N7Q¿RmõR±���S�´�G�*�,���$�m�$�´���A£�§ ¶��S§Y½2�]��¢m®.���?�I¢<£S���3�$�A£¡£h���?�]���A�]³�.�I¢0�S�7�������*� ¢?�]�A�]���I¢0½S£��(�v�?�M�����.��®?�*�S��¢<£,�S���¢0���

V�è:�L�«W�� ��'r�¿ÿ�ó��7þ�Y +©!.�"!.�7þ�=;�����%� ��� þ���fAÿ2��4ÿoý���9�9�1�ÿ�+ ��+���&7:�ä²�?!<þ���� �7þ��vý]�*+��i� ö �9�9�b+výD�+��vý]��fAý�ÿ�&�7ý������+4ÿoý�«'Gÿ���� (���þ��p�&¥Y +©��ý�� �e�q��ý� �e�q���<þ4ÿ����_����+���=!<þ���fAÿoý��*+L��#Bþ������×þvþ���&©�vý��+9�1�9�9�

æR���?Ò.�]���,�0�M�������7§S���(�S���¢0�MçI±��(�S���,�$�?½��?�A�]¥?¢?�¢K�A�?�?�S���7��®?���7§S���?¥S�7���?�S£*�&¢?�]�A�?�µ�S£¡�*�7��¢?�$�S���]®?�]³�&�]�S�I� ����¢0�k¢f���Â�A�?�&��¢f�I¢0½S£��Â�$�P�����3���Â�0���S��³�¢0���]±µ¤R�9�´�9���P�&�.�����]���?���?�D���P�A�.�3®?�]�A�7�������¢0�����I¢O£B£*¢0���?��¢0�.�D�?�P�$�ó�S£*¢<§À�����m�$�]à����?½2�?�I�¢?�U¢ÈÊo�A¢?�A�?ÄB�����7�U½��«¢0½S£��z���åò¥E�K�EQ� ÀFÈ£*¢0��³�?��¢0�?�m��¢0���&ð4ñhK*EmñhH<�����~�3¢0�&���0���$���m���]±�¯0�����h£*¢0�æR�]®?�0£����7���?��¢f��§�ç��$�m�7�I�Í��¢m®.�B½��]�]�Î�����?���S�7�m��½S§�?�����]�I�·½2�A�;�.���D½��������]®?�]�P�7�ó�A�.�3®.�����$�����f£�§ B ç ±¯3���S¶(�A��Ô]�]�Y�¢fÒ?�m�(®?�]��§·�?�S�Ð�·�����K�0�Å�$���K�?�����]����������K�����.½S£��]� �����7�������?�$�K�����k�A�S£������I¢O£�¢0����A�?�?�S���7��®?���]®.�0£����7���?�&�A�7�����]�7�*¢¾����¢0� ��������b ������7�7�����S£*¢0���m�]±

ËÍ�0¶B¥�¢O�;���]�µ�����4H�É"F¿Eµ��¢?���7�m�µ��������b_�Í���K¥¶(�P�]¢0�Á�]®0¢<£���¢0����H�ÀpÇpEmñoGB�0�Y�����·�7§3�2��½3§T£��m�$��7���7�����?�]�S��½2�]��¢<®?���?�I¢O£����m�7�I�]¥f£h��Ò.�������Y���Í��¢0��������Â���9±M�ß�]�A�?�A�.����������¯3�$�S¶��A��Ô]�]�m¥~Ê �������I¢f�7��®?����m�7�I��£¡��Ò?�������B�Í���«¢0���ª�����B���«¢0���S£�§º��� ����³�.��®?�*�S��¢<£*�uÀ?ñ�� ÉD�����S�]��������¢?�������&���7���?�ï����¢0��������?�]���]�I¢<£K�7§3�2���*���]¢0��¢0½S£��D�f�B��¢?���¿�����U�����ôo��b �����(õ¿Ä?ôh¯3�$��í�-S¥m�,±�N¥Q�-�¥]�]�&����¢.�¿�*�,�?�����f����¢O£�õ¿±

K;�uê }ë��ì�7��#�9�����7� �1� �r�� �#ì��Iüp��;ü7�I�77�

å ���Á�f�k�����D�µ�?�������m�A�]�S�P�.�´�$�A�����¿���?���D¢0½2�?��������ó��� �]¢0�Ƚ��U�v�?�����ö���cb��?½��]���UÑ����]���$�,Äo�ìmí?í?¹�¢0�$�7�*�$£�� Ê�¯?��½"�A�.�?�S���7���?� ¢0���²�$��� U2���&³���I���0�D�����ï�,���7�������,�m�7�<Ä�ôoÑ����mí.¹mõ¿± ¤R� ���S�*�¶(�?��ÒM¥�ÑV���]�����«¢<���Â�µ���Á�����O¶ ����¢0�ºÊo�����P������³�����P�,�m�7�Í�����0®?�*�S�m�¾¢&�?��¢f�I¢0�S���]�K���?���0� ���3�$�A£¡£h��³�?�]���A�?¥,½���� �0���A�S£������I¢<£h£�§S³v�?�7���]�3�$�m�u¾.� Ê J?ñÏ����³���A£h£h���.�]���A�?Ä�ôoÑV���mí?¹S¥S�,±�¸pS?õR±ÑV���]�������A�?���¿�*�S�]�I�U�7¶(�À�$£*¢<���Â�U�0�P�,���������2±

�(���Π��I�7�º�*�P�$���Á�$£*¢<��� ����¢0�ª�¡��¢»�A�.�&�������]���¢?���7�m�¾�$���k���K¥V���K¶(�h£h£����m�A�m����¢0�7�h£�§�½�� ���3�$�A£¡£h��³�?�]�S�m±_�(�����7�m�A�.���K�?���d�´� �$�����$£*¢<���À�$��¢0�,��� ¶(�h£h£½����2�3���¿��½S£������P½��S�h£*���7���$� ¢ª�¢?�$�S�����&���U��������m¢0�K�v���������?±·�(���m�7�?¥ ���Â�]¢<£h£*� �����&���S�h£��3�7�?����³�*�]¢<£��$£*¢<���Æ¢0���º�����B���I¢f�?�¢0�7�*� �$£´¢O���º¥,���m�7�2�m�A³�7��®?�A£�§?±�ÑV���]���$�P¢0�?���]�m�d¶(�����������Í�;�?�$�&�]���$£´¢O���º±@��0¶(�]®?�]�m¥ª���»½2�A£h���]®.�m�z����¢0�U�����«���I¢f�?�¢0�7�*��$£*¢<�����¢?�~½2�]�]��£*¢0���?�A£�§·�0®?�]�7£��3�.Ò?�m�����P�.�*���A���7³�¿���?���µ�0�ß�$���P���K±�¤¿�zÊ�¯?��½"�A�?�.�S�������.�ö¢f���U�����U2�������I�µ�0�Y�������,���������U�,�m�7�<Ä�¥����µ�´�©���7���¢0�7�h£�§�A�?���A�]�����m� ¶(���������S�*�G£´¢f�����]���$£´¢O���È¢0���9½��A£h���]®?�m�

V�é W����g, nr�$þ -(Je0h��*& Wl�����4ÿoý�\§l:

N7Q

Page 27: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

�$��¢0�Á�$���ö�Í�Õ�´�ÇÊg®?��������¢O£¡£�§����7�A£��m���]Ä�ôgÑ����mí?¹S¥�,± ¸7O0õ(¢?�B¢ª���m¢<£��$�m�7�B�0�(���S���A£h£¡���?�]���A��½2�m�]¢0���7����K½2�A£h���]®.�m�¾����¶(�h£h£Å���]®.�]��½�� ��¢?���7�m�M±���å�m���I¢0½S£h�*�7��$�S�´�°���m�7�S£��»ÑV���]���$��A�?���¿�*�S³

�]�A�ké]����½"�A�?�?�S���7��®?�mëºè?���m���7���?���]¥2�R± �?±�¥Mè?���m���7���?����$��¢0�Â�$�]®?�m¢<£K£��0¶�³4£��]®?�A£k�A�?�?�S���7��®?�Á���������A��������B ð ±ÑV���]���$�©¢f���?���m������¢0��¢0�3§B���SùÏ�$���]�3�7£�§�½����3¢.�B�7�]��f��è.���m�7�7���?�����;�?�(¢����Ƕ(�h£¡£_�A�?�S�I¢<���P�7��½M�A�?�?�S��³����®.�Ïè.���m�7�7���?���]¥d�]®?�]�U�h�Y�����·���3�$�]�����?�3¢f���?�I�K�S����.�K���3�$�]���D���P¢.�7Ò������]�P±��(���µ� ¢?�A�K�$��¢0�B������A�.�?�S���7��®?�Ï¢f�����7��½"�A�?�.�S������®.�·£��]®.�A£´�µ¢0�������S���]��³�7¶(�����m� ���z�7���$�ó¢�¶�¢m§?¥Å���Ç�������,¥(�7���0¶Y������¢f��$���ß���°�*�(�m�����]�3�7�*¢<£h£�§P¢ ���m�7�~�v�?�(�3���¢f�·���S���A£�³£h���?�]���A�?¥M¢0�������.�(�;�.�����S���A£h£h���.�]���A�����P�?�]���]�I¢O£ ±Ñ����I���m¥0¶(��¶��¡£h£"�A�?���×�´�S�]�(¢0� ���3���]�$�m�7�7�����B¢0��¢<£�³

�.�?§PÑ����]���$���¢0Ò?�m�lM��(���·¯?�m¢0�?�S£h£����m�7�m± ¬��?��³�×�´�S�]�K¢_Ë��?�A�.�´�ß�*�¿£*¢0���º�?��¶��S�*���������K�.�S£�§ªÖ�§3³�����z¢0�S���¢<£*�ºÒ3���0¶��z���������T������¢f½S���A¢0�3�A�P¢0������m¢0�?�S£h£*�]± å ���k��¢<§?¥S�7¶(�B���S�h£��3�7�?�����]�I�¾¢0���K�.�*�7³�A���$�¿�����Ó�$���Â�m�����]���A�Â�0�(Ö�§.������± å ���·�0�������]����$�?���3���m��Ö�§.�����U�´�·�µ�O®.�����D���z������¢<���m±À�(����.�����]�K�?½��7�m�A�I�ͽ3§º���3���¿�����P¢µ���]½�½S£��P¢0�����7�I¢f��³�����D�$��¢0�������Â�2�]½�½S£��T�A�]�$�I¢<���S£�§D�*�����?� Ö�§.������±������ ��I�������S�h£��3�7�?�����]�Y���7�����S£´¢f���m�~����¢0���$���Y�?½�³�7�m�A���$�]�¢<���Ï¢O£��f�;�d�;�?�(¢K�2�]�7���Ð�·�0�,�7���&�Í�v�?�������¢.�A�7��®?���7§����Â�A�?���S�K¢?�(Ö�§.������±Yâ~���Í���P���S�*�K�]¢?�7��$£��?�����Ë¥,�7�&�?Ò?��¢0�������S�h£*�S���]�,Äo�9½�¢<£h£��3�?���Kè.��¢<£�³�h�v§Â¢?��Ö�§.�����k�]�S�7���7���m�]¥S�����¾�?�����]�(¢0���?���m�]± �(���]��$���È���S�¡£��3���?�����]�åè?���m���7���?���z¶����]�����]�ï¶(�����3�¢f���º�;�m¢f�����]�I�B�����?�S£*�D½2�����3®?�f£�®.�m�D½���� ���S�*�¾�*����&�µ�m�.�´¢f���A£�§P���A�v�����m��½S§������9£´¢f�����]�¾½3§·���0���S��³���������·���]���.�S�����˱KÃz�S�¡£��&�$���k¢0���.���&�]�3�A�Y�A�?��³�����S���U���ó½2�D�����A�?���$£����¿��®?�?¥µ�����]§À¢0�?�$�]�D�?�À¢�v�]¶z�R¢?�A�I��M��(���K�.�S£�§·Ö�§.�����Â�.½��×�m�A�A�(Ò3���0¶����$��$���]� ¢0���Í�����Y�7�m¢0�.�S£¡£*�~�?�&�$���A���~�*�¿£*¢0���M±(Ñ�£h���.�3���¢.���7�?�&�]���S�����Ç���ó�S��¶(�����«½2�A�����«¢<����½2�?�����?¥���S§��¿�*�]¢<£Y����¢0�A¢?�A���]�7�*�7�7�*�]�9£h��Ò?�·�;�m¢f�����]�I�]¥ ½��m¢fÒÐ�¢f���������?½�¢0½S£�§U���?�����S®?�0£�®?�m�M±ó�(���]§?¥(�$���]�,¥�����$���(£h���.�3�(�0�_�����7������Äo� �R¢0�&�.����¢0�����´�$£��?¥��S�]®.�´���ߢ¯?�m¢f�?�S£h£"�,�m�7� �v�?� Ö����?�S�m±��(���]§B½2�A£h���]®.���h�_�7�?�&�]³�$�S�����&�]¢0�·��¢?���~�����9¯?�m¢0�?�S£h£Å���m�7�m¥0���~�*�(�A�]���I¢<����$��¢0�����·�*�¢0½S£������ÎÖ�§?± å �����]�$¶(�*�7�?¥����ó�S�m�$��³�×���.�T�]¢f�Ó½2�&�¢?�S�?àM�·¢m§S½�� ���B�]¢0��Ö�§?¥M�·¢m§S½��

V�ñ�(1�×þ��=p�oý'Xt�����f������7ý���Ëÿ��4ÿ�f�� +��vþ��������mþ��(þ������×þ�+��vý����*�+�� � �×ý��+��¿ÿoý��+i�+�+vý��¿ÿ2�"�4ÿ�f��²�����L'"ýAþ�<Kÿ��_�������"�D�~ÿ���&*+�=�7ý��+4ÿ�+��4ÿ��*��ý�j�Ëÿ����l��#Pýf�7þL�2�!*!]ÿ����¡����4ÿ�f��"� � � ���&þ���!mþ���t+������ �"�4ÿoý��*+�ý������!p�×þ4ÿ����*���©, ümþ��ù¨�=p!7:p§(Je0`:

���ß�]¢0�����.�BôoÑ��$�mí?¹<õR±�(���µ¯?�m¢0�?�S£h£Å���m�7�¾¶��.��ÒÐ�(¢?���;�0£h£��0¶Y��M������]���

¢0���~�׶(���$�����]�]³R�.���&�]���¿���?��¢<£��I¢.��¢0�_���A���]�]���Ë¥0�?������I¢?�$Ò.�����«¢z�7�m¢0�.�S£¡£Â¢0���ï�$���Á�?�$���]�Ó�$�I¢?�$Ò?����������µÖ�§?�������?½��7�m�A�k¢0�$���]�&���7�����P�$���Â���m���m±��(����?½��7�m�A��¶(�h£¡£¾��¢?���K�$���Â���m���k�.�S£�§T�¡�¾��� �´�k�����.�*�7³�7�����?�S�*�7��¢0½S£��º�;�$�?�Ì�����P�7�m¢0�?�S£h£Y�.�Á�������A¢?��¢0����A���]�]�,±��(�����¿�����h£*¢0�7���7§P½��]�7¶(�]�]�P�.���ß���­¢0��������·¯?�m¢0�?�S£h£��,�m�7�Í�*�¾�]®?�*�S�]�S�m±K�(���k¢f���?���&�]�S�I�¢0½��.���D�����ó�f�´���D�0�&Ö�§.�����À½2�]�׶(�]�]�¼�������7¶�����S�h£��S�7�?�����]�I�ª�*�P¢0�z�����]¢0���S§z���]�����S�*���A�]�S�Ó�f������B¢0���.���&�]�3�A���?�������¾��¢0�����$�Y�0�����S���A£h£h���?�]���A�?±�(���&���m���¾���A�7�A£h���*�K¢0�U¢<£��&�3�7�K�.�����m�A�k¢0��¢O£��.�?����0�������B���K±�(���9¯?�m¢0�?�S£h£"���m����¢?� �����*�]¥S�]¢0�����?�~½�����¢?�$�7�m�

½3§È¢<�����S£*¢0���m�]¥µ���A£h�´�A�.�����]�I�]¥µ½�¢0�I�]¥ ½��]�]�7£��m�Î�?��7��¢0���$�O¶¾�]±�¤R� �*���S�?��½��7�v�S£�����¢0�ªJ.ñhÉpHL¾3ð4ñ°Å·�]¢0���¢?���~���m±��(��¢f���*�]¥V�AÉV�A�]���(�v�?�~�����%Ë��.�I�.�*�K�7�m¢0�?³�S£h£´�~�0�,�����(���S�h£��3�7�?�����]�A�]Ä.�´�×£´¢f���M±��(���]�,¥�Êg¶���¢0�¶(�P��¢<®?�·�*�&���.�¢����m�7�©�;�?�©Ö����.�3�¢f�¢<£h£R¥(½�����I¢0�����]�·¢P�$�m�7� �;�?� Ö����?�S�¢?� ���I¢?�A���´�A�m�°½3§Î�����Ë��.�I�.�*�&¯?�m¢f�?�S£h£ Ä�ôgÑ����mí?¹S¥2�,±"¸¥Q0õR±��(���&¢0��¢<£��?�.§�¢0Ò?�m�����(�$£��m¢f��¶���¢0��ÑV���]���$�&���S����ÒÐ�~¢0½��.������������K±Í¬��?���$�m�7���?���.�����0£�§?¥Í���Ó½2�A£h���]®.�m������¢0�µ��������ö�´�¾¢µ���m�7�(�v�?�(���S���A£h£¡���?�]���A��¢?�Í���I¢?�A�7�*�A�m�º½S§¢��S���¢0�P½2�A������±â~�A�v�?���ó���$�Ð�A�]�m�.������¶(�����å�S�*�°�¢<���ã¢0���?��³

�&�]�S�I�(¢0½��?�����7��½M�A�?�?�S���7��®?��è?���m�7�����.���]¥�Ñ����]���$��¢0Ò?�m�·�7�?�µ�Ó¢?�������&���7���?���µ����¢0�·���P�v�]�A£*��¢0���¢?�]�A�]���I¢0½S£��?±óÑ����I���m¥����P¢O£¡£��0¶Y���$���·���S���]���$�?�3¢0³���?�¾���·���0£h£��S���¢0���Í�v�?�Y�$���©¢f���7¶(�]�I���f���7�?�&�è?���m���7���?��� ½��A�v�?����¢?�7Ò.�����K�����]�È�S���7�����B�����~���m�7�¶(�����ó�$���P�¢?�$�S�����?±z�Y���.�����]�Ï¢.���7���&���7���?�°�*�����¢0��¢<£h£©�$���D���]�?�S£��U���S®?�0£�®?�m�ï¢0���Î�;���.� �������¢0�&�¾�A�S£��$�����ߢf�����������¢.���S�����Í�´�(¢0�$���]�&���7��������¾�������I¢0����¢0� �����.��®?�*�S��¢<£��;���.�À����¢f���A�S£��$������Bô0±�Y���  ���¢<£h£�§?¥�ÑV���]�����ó¢.���7���&�m� ����¢0�&¢<£������.���?�½��S�h£´�.�����D¢µ�¢?�$�S����������¢f�Y�]¢0�P�AÉ����]�����]���A�µ�����¶(�?�7£*�¾���k¢�¶�¢<§(�����.�*�7�7�����?�S�*�7��¢f½S£��Í�v���?�z����¢0�,�f�¢¾�3���·¢0��½��A�����·æv�;�$�?�À�A¢?�7�7�����K�7���I¢<¶�½2�]���7���m� ���� ¢O£¡£h�����P�íOT�f�ŽS��Ò?�m�Aç(�*�Í�����]�?���]���´�]¢O£¡£�§º���3���×��½S£��?¥���S�*�Í�*�����?�Í£h��Ò?�A£�§Ó�$�&�Ð�]�A���¾���������9�;�?�$�m�7�]�m¢0½S£���;���$�����?±

V õ ü<þ����*� � � ��� ÿ���f��+?���p��g���Ëÿ�+>�"+�+����g!*�4ÿoý��·ÿ�+g� �"�Rÿ��L��#���&*� � #����<þ4ÿ����*:��9�*� ÿ��g!OýAþ�� �"������ý"�h���������mþ��dÿ��i�7ý��ltf��7þ�+ �"�4ÿoý��T�"��&]�7ý��g�j�*�]ÿ���"�4ÿoý��µÿ�+~ÿ��[�g����+��²^�+�����W�����t�4ÿoý��%§d9�"��&i���Ëÿ�+��7ý����& � �[�~þ���+vý�.� � ���g+��4ÿ�!*���2�"�4ÿoý��¥:

N¦R

Page 28: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

������ ��I�7�P�$£*¢?���ª�0�©è.���m�7�7���?���ª����¢0�PÑV���]��������S�������S���A�m��¢0���&�AÉ��S£h�´�$���7£�§ó�S�m�¿���?���m�U�$�P���]®?�m¢O££��0¶�³4£��]®?�A£Á�A�?�?�S���7��®?�å���������A�������?± �(���m�7�È¢0���½�¢.�7�m���?�Ç���m�7�m¢0�A���°���«�A�?�.�S������®.�Ó����§Ð�$���0£��?�?§?¥���z��¢0�����´�A�S£*¢0�<¥�¢?���7���$�*¢0�7��®?�P�������©�����2±úÑV�?������³���I¢0���A�?¥Ë������¢.�M½��]�]���m�7�I¢f½S£¡�*�7���m�©����¢0�M�h�"�S���¢0�����½��×�m�A�A�k¢f���Â���$�m�7�]�3�$�m�U¶(�����ó¢��7�]�&�0�Y¶(�?�A���¢f�������?��³v¶(�?�I���Ë¥������]§U�?�]���]�I¢O£¡£�§Ç���mè?�S�����ª£��m��������µ�&�������m�A�?�.�S��Ô]�µ����¢0�B¢��7���������·�*� ¢�¶(�?�I�Ï�¡����d�´�d�����m�A�m�S�m�µ½3§�¢¾���A£*¢0���m��¶(�?�I�M¥0�A¢0�����]������¢0�¢µ���?��³v���A£*¢0�$�m���?�����?�Y¢µ���?��³v¶(�?�I�M±����·�0��®?�k¢�����m�$�h "�&�AÉ�¢0�&�S£��?¥������ ���$�]� é]��¢O£��AëÂ�7���.�S£´�T½���$�m�A�?�?�S��Ô]�m�Ç�R¢?�7���]��¶����]�­�����m�A�m�S�m�«½S§úé[���]��³�2�]�IëÈ¢0�������.��½3§�¢0���������A£*¢0���m��¶(�?�I��£h��Ò?�éË�7���3�më©�?�Y¢ ���?��³v¶(�?�I�µ£h��Ò?�PéA�0£���O�ë�±â~�A�v�?���Âè.���m�7�7���?�S�����º�����Â�A�?�&�����$�]�m¥M����������³

�$�]�����?�3¢f���?����������¢��¿�����h£*¢0�P�AÉ����]�����µ�]�3�º�?�»¢�.���?�����0�Ó�2�]�?�S£�� Ba� ¢0��� �]¢<£*�A�S£´¢f���m�ó¢<®?�]�I¢f�?��$�m�A�?�?�S���7���?�U�7���&�m�]±�z¾���7�����������&�$�m�7�m¥,�$���&����³�$�]�����?�3¢f���?���]¢0�D�.�*�7�7�����?�S�*�7�U½��]�7¶(�]�]�Ó�$���B�¢0³�$�S�����P¢0���������·�S���¢0�Á�¿���&�S£�§U½3§º£��S�?Ò?�����Á¢f��$�������m�A�?�?�S���7���?�È�7���&�m�Î�?�ï�����ó��¢0�µ�ó�7�]���0�¶(�?�A���·�?�«¶��S�*�$�À�����Î�AÉÐ�2�]�7���&�]�3����¢?�ö½��]�]��]¢f���7���m�&�.���m± ¤R�~�*����¢f�I�����9���·¢0�0�����B¢K�¢.���S�����½2�A�����Ó�7���]�A�m���×�;�S£�¢0�B�S�m�A�A��®?���������������S���]�����?�S¢0³�$�?� ���ó�������ó¢��]¢?�7�?±U�(�����?�S£�§U���3���×��½S£��º¶�¢<§�$�Ó�]¢0���$§Ó�.���k¢?�����Ð�$�*¢0�7��®?�·���7���������º���ó¢��¢0��³���]�µ����¢0� �*�&�¿�����h£*¢0�&���������P¢<®?�]�I¢f�?�&�S���¢0�,Äo����]�]�Â�·���U½�����¢<®?�������AÉ����]�7���]���A�m�­£h�h�;�Á¢.�¢0�¢<®?�]�A¢0�?�¾�3���¢f�,±¤¿���¢<§Á�7�]�]�Ì���S� ¢O���µ���P�AÉ����m�A�Â�A�.�&�������]�I�

�$�Y�¢f�I�������$���]�3���¡ "�0¥S�AÉ����]�7���&�]�S�I¢<£"��¢f�I¢Y¢f½��?�������½"�A�?�?�S���7��®?�&�]¢0��¢.�$�������m�¾�f�Å����� �3���·¢0���������M±���S�´�·®.���]¶ø�����?�S�Â�]®?�]�z½2�Ó�AÉ�¢0�?�]�$�I¢0���m� ���S����AÉ����m�A�������µ�����]�å��� ��¢<®?�Y¢K���S§��¿�*�]¢<£_�A�?���7�������A³�����.�U£¡��Ò?���.���I�]±DÃz���]�����]�·�7������¢0���?½o�×�m�A�7���?��*�¾®0¢<£h�´�T�?�Y���.�m¥"ÑV���]���$�Ó���$�?���3���m�Y�7�.�&�kè.���m�7³�����.���K����¢0�B¢f����æR�?�K�A¢0�����]�k���]�]��çߢ0�B¢ª�S���?���]��A�.�?�S���7��®?�&£��]®?�A£R±��(���� ��A�7�BÒ.�������*�B�]¢O£¡£��m�U�����ËÍ�]�0£��?�0�*�7�îb�¢0�7������¢ß¢0�&�?±&���������3���]�$®?���]¶(�]�m�æ7¢0���ª£´¢f���]�B�������¢.���S�����0çY¶��¡£h£�½��µ�0��®?�]�Á¢��7�]��f�G�·¢?�S�]³v����¶(�?�I����¢f���·¶(�h£¡£,½2�B¢?�7Ò?�m�µ���B�A¢0��Ò�$���]�÷�?�������A����¢0�������?���7�*¢0�$�]���m��� �v�?�&�S�A ��S������A�]�$�I¢<���z�]�3�7���7���m�]±�¦�¢0�����´�$����¢0�S�I�µ���z�������3¢0�&�¢f����¢?�7Ò?�m� ���¾�I¢0���?¥0�.�©¢K�$�]¢<£����f�G¹ æ×�A�?�µ�S£��]�$�A£�§

Vu$ �L�Ïü<þ��������7Y +g���7þ��~ÿ��mý"�oý��#T������+��i���*�>�"�T+�� �lk ������+�$þ��;���������&�k�m�>�èBENï:knè:ð�èsèaG�ñ

���&�S£*¢0���¿��½S£��0çÁ���åì<¹«æ7�A�?�&�S£��]���A£�§å�S£*¢0���¿��½S£��0çI¥¶����]�����]�K¢&�A�]���I¢O���º���]�0£��?�0�*�7�ø�]¢0�P½2�k¢���¢f�&��;�.�Å�7�.�&�]���S������±�Ñ����]���$�������?�2�3�7�m��¢¾�7�]���0�"�7���$�è?���m���7���?���(����¢0�(¢0�����m�����m�$�*¢<£h£�§P�S�]�&�?���7���A¢0�7��®?�?±@��]�$�k¶(��¶(�h£h£��?�S£�§Ó�A�?���×�´�S�]�K�7¶(�·�0�������3�7� ���]³�0£��?�0�*�7�Â�lMYé]Ñ�£����?½S£��?�3��ë·¢0���Dé]Ñ�£����0£�§�ë�±�K�]�A�?�I�.�����D���DÑV���]�����,¥¾é]Ñ�£����?½S£��?�3��뺶(�?�S£*�

�¢0Ò?�&¢0�º����¢0�������.���7�*¢0���Â�$���0�*�A���v�?�Y�$���k��¢f�&��0�Y¢��A�]���m¢<£��¿�����A�Â����� ���S���7�*¢<£Y�7§.£¡£*¢0½S£��?¥YéIÖ����3ë�¥�*�������?���]�7�*�]¢<£h£�§�¿�����h£*¢0�Ç��� éIÖ���½�ë�¥ÁéA���S���3ë�¥éA���0£�§�ëó¢0���åé[���?�#�oë ¢f���z�����Á�7�m�A�.���«�7§.£¡£*¢0³½S£��?¥ÂéA½S£��?�3��ëÎ�����?���]�7�*�]¢<£h£�§À¢?�A����®0¢0���m�UéA½S£��?½�ë�¥éA½��.�3ë�¥2�]�I�0±��K�Y�]¢f�P½��&�7�]�]�,¥M�$���m�7�B¶(�?�I���¾�S����?�&���m¢O£¡£�§z�7�?������®.�]��§ ¢f�����]�7��ÔA�����ó¢0���U�����]§�m¢?�$�Â�]¢0����§&¢0�5J��°C�JÍ�0�_�7�]�¢0�S�7�*���A�?�����?�A¢0�7���?�������¢0�¾���]���S�]�I�Í�����]� �������S���A¢0½S£��Â�����f�´�A�m�K¢.�Y�7§.£�³£*¢0½S£��m�P�f�©¢U�A�]���m¢<£B��¢0�&�?±î@Í�O¶(�]®?�]�<¥Bé]Ñ�£����?³½S£��?�3��ë°¶��.�S£´�ǽ2�Á¢U®?�]��§z¢0�������?���7�*¢0�$�Ó��¢f�&�§?�?�ȶ(�?�S£*�ï�0��®?�����z½S����¥�½��S£�½��.���]¥Â¢<����³4 �£h£��m�½�¢0�3�d���7�m�&�$�B¶�¢<£�Ò&�?�&¶�¢0�$�]�m±,¤¿�Â���S�*�(�]¢?�7�Í������7�]�¢0�S�7�*���A�?�����?�I¢f�7���?���&�f�ß�������7§.£¡£*¢0½S£��m�Ï£¡��Ò?�é$Ö����3ë�¥�éA½S£��?½�ë·¢0���Áé[½��?�3ë·¢0���¾���D¢?�]�A�?�A��¢0���A�¶(�����D����� �����?�2�3�7�m���&�m¢f�S�����2±�¯0�����h£´¢f�k¢0��¢<£�§S³�¿�*���0�©éËÑ�£����f£�§�ë�¥~¶��S�*���ó¢.�A�7��®O¢0���m�k�;�7���]�����7�S���,¥�A�?ÔA�����m����¢0���z�A�����]���m���]¥¾���]®.�m¢<£*�·����¢0�·���·�*�P¢�S£*¢0���¿��½S£��K��¢0�&�~�;�.��¢Y�$�S�h£´�MÄg���$�m���S§B½��m¢f�m±��(�����¢0�&� ��¢0�&�?¥�¢O£��$���?���?��������¢.���2�3�¿���7��®?�k�A�.�����?³�I¢0�7���?���Ë¥(¶��.�S£´�Ç�7�?�����Ç¢m¶ÍÒ3¶�¢0�I��¢.�������Ó������³��¢0�&� �0�Å¢��0£*¢0�µ�?���?���(�µ�O®.���B�7�I¢0�<±�(����¢0�$�?���&�]�S�I�_¢f½��0®?��¢0���(�S���?�S£�§ ���S���S���7��®?�?¥

¢0���È¢<£������?���.�È�&�3�7���0�Â���T¶��.�S£´�È¢f�?���]���?������]�P¥µ¶��ó�S�ï���?�DÒS���0¶÷�����m�$�*�7�A£�§å���0¶÷¶(��A�?�&�z����¶(�����å�$���ö�A�.�����?�I¢0�7���?���˱ ÃD�«�S�Ò3���0¶B¥Í���0¶��]®.�]�m¥�����¢f�������m�7����¢0�����]�ï�S���D���¢·£*¢0���.�k�S����½��]� �0���A�S£������I¢O£¡£�§Á¢.�]è?�S�����m�D¢.���7�?³�$�*¢0�7���?���]±UÃD�P�S�D���.�k��¢<®?���A�?�S�����0£��0®?�]� �����¢?�]�A�����S£*¢0�7���?�D�0����������¢?���7���$�*¢0�7���?���]àM�����]§�¢0��������&���m�k���S���¾�?��� ½��I¢<���������©��¢O�¡£�§9£¡�h�v��¢?�,½��A¢0�����¢0�&�m�]¥K¢?�S®.�]���7�*�¿�����ó�¿£��?�3¢0���Ë¥Y��¢f�&�m�·�0�B���]�A�¢0���«�7�$�]���]�?�7§3�2�m�·�0�k®0¢0�7���?���º�7�?���I�"Ba9m±ã¨º�?���]³�0®?�]�m¥<���~�´�d���?�����S���¿��½S£��K���K�����?�?�A¢0�È�����m�7�(���S��������k�A�.�&�������]�Y�¿�����A� ���]�0£��?�0�*�7�Â�¾¢0���K®.��������¢<£h£�§���S ��S���$�B�����S����½��]�m±�ÑV���]���$��½��A£h���]®?�m�¾����¢0�~�����

Vu=�9���Gÿ��[!0ýAþ�� ��*����ý�°���l�����mþ �e�7�`����výAþ�+ � ���7ý��g��+r��fAÿ�t&�������ÿ��g���Ëÿ�+��7ý����������:Ìäµÿ����mý���r�p��fAÿ������mý�4ÿoý��*+"ý"�.ò�����t�oý���*Y +���*&D����&�&*# � ���þ�+�=h���*�?�"��+�'r�7þ�+j�výi������+���¬��*��+Lt�4ÿoý��*+;'Mý��l��& � �;�*���þLt*þ �"��&<ý��u���*��+�+���+�:

N�-

Page 29: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

�A�.�&�������]�mÄo���$��¢0���A�m�~¶(�?�S£*��½��¾®?�]��§ £��0¶�¶����]��$��� ���S���]��®.���]¶(�]�m�]Ä0���m�7�2�?���7�m�������7������è?���m���7���?���¢f�����A�?�&��¢0���m� ���¾�����3�����f�"�����(�S���¢0�&¢0����������A�.�&�������]�(���P�$���K¤¢k±�¾���?�����]�µ�3¢0�&�·�0�ߢ��¿�����h£*¢0�·��¢0�������·�*�������

¬(¢0���]�?�?�$§ÁbÍ¢0�7�����b¢ß¢0�&�µ����¶��S�*�����$���Ïè.���m�7³�����.���ó¢0���­�0�D�����«�7§3�2� é*b�¢f���S+¾�ó¢?�óÖ"��ëV¥¶Í���]���S+ ¢0���ÛÖ ¢f���À¢0�S§��׶(�å�]¢0�$�]�?�?�7���m�]±�¾�3¢<���,¥(Ñ����]���$���0��®?�m�&���]®?�]�I¢<£~�¡£h£����7���A¢0�7��®?���AÉг¢f�&�S£��m�zôoÑ����mí.¹3¥µ�,±DQ�ì]õR± ¬~�?���¿�*�S�]�m¥µ�;�.�D����³���I¢0���A�?¥Yé*bÍ¢0���Dò7CÉ®�2EJ7K*E�Gk¢?�ò¾3ð4ò?ð4ñ°ÅPF{� J���ElG�ëV±�����Ó�S�A ��S���7���?�z�0�k�S��§Î£��m¢m®.�m�Â�S�S�m�&���.�Ï�A�?��³�A¢<��� ¢0�S§S���S�����P�AÉ��S£¡�*�$���7£�§ó�7�I¢f�7�����P�����]§D�©���.�3�½2�&�?�S�Ð�º�S�*�.�������S£´¢.�A�m�¾�v�?�B���S�h£*�S���]�,¥�¢0���º§?�]�Ê �;�]¶À¢f�&�?���&���Ͷ(�?�S£*�����?�¾�¢0Ò?�K�$��¢0�Y¢?�����Ð�$��³¢f�7���?�Â���2�?���7�]�A�����&�������×�SÉ��I¢0�2�3�¿���7���?�·�0�_�����m�7��7¶(�B�A�?���A�]���I�ËÄ"ôgÑ����mí?¹S¥S�,±�Q?¹0õR± ¤ �_¶(�Y¢0���K¢?�7Ò?�m��$�D�I¢0���?¥(�.�»¢U���]¢<£����0�k¹����zìm¹�¥(�&�S�7�&�0�B���æ¿�����3�7��¶�������¢<®?�Â���]�]�Á¢M|?¢0�&�m� â~�?�����&�0®.���¢f���7�?�µ�Y�2�0���3�~���������A���~£¡��®?�m�[ç�¶(�?�S£*�Â�A�]���A¢<���S£�§�A¢0���Àé"F�Emñ�G�¢?�)í;EJF¿À?ñoG�ëÇ�S���?���]�U����¢0�,¥·��¢<§?¥élÅ7C�J?ñ�ò²FMð`J?ñIÀpGߢ.�%í�¾°EE1��Ä"J7CC�À¥í�G�ë�±9�Y�3¢O���������¢f���7¶(�]�I� ���¾�����K¬�¢0�$�]�?�?��§;b�¢f�7�����D¢ß¢f�&��è.���m�7³�����.���_¢0�$���S���?�S£�§k�S�]�2�]���S�]�3�~�?�B�?������¢m®.�����K�AÉг�2�]�7���]���A�m�·£h�h�;��¢?�(¢ �3���¢f��½��A���������P¢��A�]���I¢<������Ð�$�*¢<£Å¢f���P�A�S£������I¢<£��7�]���7������±

ËÍ�0¶å����¢f�k¶(�&��¢<®?�·�7�����.���m��Ñ����]���$�,Äo�9�����$��³�×��®.�P�7��½"�A�?�.�S������®.�Óè.���m�7�7���?���]¥ £��]�&���µ�7�]�Â���0¶���U���7�m�º�����m�7�Î���ó���A�v�����U�����Á��� ¢?�P¢°���7�]³�v�S£&���m�7�º�v�?�����S���A£h£¡���?�]���A�?±ä�(���U�¢<���å�$£*¢<����f��Ñ����]���$�º�´�9����¢0�¾���������3§��¿�*�]¢<£�£��]®?�A£�¢0���º������A�.�?�S���7��®?��£��]®?�A£K�0�¾���S���A£h£h���?�]���A�Á¢0���·�����7�]��¢f�I¢0³½S£��?±z�(���Ó����½"�A�?�?�S���7��®?��è?���m���7���?���&�$�]®?�m¢<£�����³�v�?���·¢0�7���?�&¢0½��.���������Í£��O¶Í³4£��]®.�A£G�A�?�?�S���7��®?�¾�����?³�A�m�$�7�m���0�������D�]�S�7���7���m��¢0���7¶(�]�7�����ó�����]�º±�¤R�¢º¶�¢<§?¥M�h�K���7�m�Á�S���������Î�����Ï�Í�K¥,�����m����¶��.�S£´�¢O£¡£��0¶ã�����ª���3���]�$���?�3¢0�$�?�B���°Êo���]�]Ò�½2�]�S�����Ç������$�A���]�]�,Ä�ôoÑV���mí?¹S¥?�,±¦Q7N0õR± �(���m�7�Kè?���m���7���?���(¢<£h£��0¶�A�.�&��¢0�7�*�7�?���f�Y�����P¢?�����Ð�$�*¢0�7��®?�P�A�.���A�]���Â���]��³¶(�?�$ÒÐ�¾�0�������µ�׶(�P�]¢0���.�*��¢0�$�m�]±��¾���D½2�m�]¢0���7��$���m�7�P���]�7¶(�?��Ò��&¢0���ª�;�.���&�m�ó¢O�;���]�·¢�£h�h�;�]�����µ��f�Å�AÉ����]�7���]���$�����P�$���K¶��.�7£*��¢0���������B���������A�������¢f���U��¢0���������0�K�����]� ¢f�������m�A�m����¢0���¡£�§ó�S�]�2�]��³�S�]�S�K�?�º���3§��¿�*�]¢<£�¢?�7�2�m�A�I�¾�0�(����¢0�¾�AÉÐ�2�]�7���]���A�æ £¡��Ò?� �3���·¢0�Ó�7�]�����B�?���S¢0���]¥������A���Í£��Ð�]¢0�����.���(����$���Y½2�Ð�S§?¥��]�A�0±hçI¥?�$���ß�A�?�µ�������]�(¶(�h£¡£ ½��K�.�´���7����³�.�S�´����¢0½S£��P�v���?�Õ�������3���·¢0�,±ó¤¿�«�7���?���m¥d�����*�

���?�·���3���×��½S£����v�?�¢U�A�?�&�����$�]�PæR�.�¢0�S§��?�����]����?��³v�S���¢0�Mç����·½��Â�����]�A�m���¿�v�S£����Î�S£´¢<§.�����������¤¢�±¿ËÍ�?�~��¢m®.�������AÉÐ�2�]�7���]���A�m�P�$���Y¶(�?�7£*�&¢.��¶(���¢<®?���*�~���?�1�×���7�(¢0�&�?½����I¢?�$£��?¥S½�����¢ �7�]®?�]���Í���]³�7���7�*�A�7���?�µ�������S�*���I¢.�7Ò"±��(�S�*�d�*�(�S���Y��� �����(�R¢?�A�����¢0�~�����Y���Î�*�(¢¾���m�7�d�;�?���S���¢0�©���S���A£h£h���?�]���A�?¥�×�����ߢ?�Í�����·¯?�m¢0�?�S£h£��,�m���¾�´�¾¢µ���m�7�Í�;�?�iËÍ�?�I�.�*��7�m¢0�?�S£h£ Ö����?�3�<±ÑV���]�����U�A�?���¿�*�S�]�I� ¶����]�����]�������]���·�]¢0�D½���¢

�&���.�¡ "�]¢f�7���?�Â�f�"�����Y�Í�U����¢0���S�S�m�����?�~���m�S���A������Y�A�?�µ�������]�I�]Ä?�$��¢0���A�m�~�0�"��¢.���¿�����K�����$�KÔ]�]����±@��µ�AÉÐ�S£*¢<����� ����� ���&���3�$�¿��½S�¡£h���7§Á�f�����S�*�K¢?�Í�v�0£�³£��O¶¾��M

¯?�����A£�§?¥2¶(��¶(�?�S£*�·���?�(¶�¢f�3�~���K£h�������¢ã�����7�����ø�,�m�7�­���è.���m�7�7���?���Ç£h��Ò?�éAÃz��¢0�µ�*�·�����D�]¢0�S���I¢<£K�0�kÑ��A¢0���A�0ê[ë�?��é�@Í�O¶È�·¢0�3§��¿�*�S�m���S�3�m��¢·���7�*¢0��³�0£�� ��¢m®.�0ê[ë�±�¤ ��¶(�B¢?�S�����Y�$��¢0�~���S���A£�³£h���?�]���A�K���·�?�]���]�I¢<£M�����7����¢<®?�iG�À Ê E*�HL¾3ð4ñ°Åï�$� �S��¶(�����Æ�]¢f���]�?�?�7��Ôm¢0�����.�,¥¢0��¢O£��.�?§3³v�·¢0Ò?������¥S¢0�����7�¾�?�,¥0¶(��¶��¡£h£�0�Á�A�?���A�7�z¶�¢f�3�����å¢.�7Ò è.���m�7�7���?�������¢f�ó���m�7�Ç�����m�7�È�]¢0��¢?�$���7���m�]± â~��������m���T¢f���P�����º®?�]��§óè.���m�7�7���?���·����¢f�¶(�h£h£P¢<£h£��0¶÷���Ë¥&���S�R¢<�h£¡�����0£�§?¥��$�»����³�¢.�7ÒÂ�$���B�A�?�&�������]�BôgÑ����mí?¹S¥��,±IQ7O0õR±

ÑV���]����� ���]���m¢0�$�m�.£�§²�7�I¢0���m�˥Ϣ.�U¶�¢.�U�&�]��³�7���?���m�²¢0½��0®?�?¥·����¢0���$���ö�Í�Õ�´�Ç¢ï���m�7�U�v�?�¾.� Ê J.ñz���3�$�A£¡£h���?�]���A�?± ¤¿���¢<§À�7�]�]� £h��Ò.�ó½S§�����?�2�3�¿�����Ï����½"�A�?�?�S���7��®?�&è.���m�7�7���?���Í���K�*�¾�7�7����³�S£*¢0�7�����B����¢f�_¢��S���¢0���7��½"�A�.�?�S���7��®?�Y�7��½��7�$�I¢0����*��ñhE���ElG�G�J7CÉK�v�?�9���S���A£h£h���?�]���A�º���U�?�]���]�I¢O£ ¥d½�������S�*���*���.�S£�§�¢0����¢0�$�]�3�m±ÎÃz��¢0�&Ñ����]���$�ó���m¢O£¡£�§¢0�����]�µ���I���$�Ï�S�]�&�.���7���I¢0�$�?¥"¢?�Í�����AÉÐ�S£*¢<�����]¥G�*�����¢0�D�$�����3���¢f�ú�7��½M�A�?�?�S���7��®?�«�7��½��7�$�I¢0���Î�*����m�A�m����¢0�$§P���·��¢?���¾���������¼æ×¢?�������&�7��½"�A�?�.�S��³�7��®?�&è?���m���7���?���Y�����O¶9çI¥�¢0���º���Ç�*�Í����¢?�S�mè?��¢f��������m�$�*�7�A£�§�½��m�]¢0�����K�0�_���S�*�]±j@Í�¾���0£*���(����¢0�~���S�*��7��½��7���A¢0�����*���S�A ��S�����A£�§Á���?� ���m�A�m����¢0�$§��;�.�¾����³���A£h£h���.�]���A�&���P�.�]���]�I¢<£R¥7�7���7�K¢?�(½2�A�����P¢_ËÍ�?�I�.�*��7�m¢0�?�S£h£S�*�,���?� ¢(���m�A�m����¢0�$§ß�A�?���.���7���?� �v�?�MÖ����?�S�m±ÑV���]�����,Äg�(��¢0���]�Í�*�Y�×���.�S�¡ "�]¢f�3�Í���P�?���B�7�]�����7M

¤R���7�$�m¢?�ï�0�Â�.�*���A�����¿�����«¶����]�$���]�Ó��¢.���¿�����z��������Ç�*�¾¢k���SùÏ�$���]�3�¾�?�����m�A�m���$¢0��§��A�?���.���7���?���v�?��¢?�$�S�����������?���?�S�m¥,���·¢?�7Ò��K¶����]�����]�������µ���m�7��]¢0�z½�����¢?�����m�»¢f�Ï¢<£h£R±ÆUM�]�º¯?�m¢0�7£��D��¢<®?�º�S�*�

N?í

Page 30: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

�$�3�?�Æ¢f���Dâd£����$ÒÓ�S�*� �¾���3�Bâ~��½�½S£��m�]±PÑV���]������$�]������������� ����¢0���$�����Í���*���.�hùÏ�A�S£��(¶����]��§?�?�£��m¢<®?�K§?�.���Y¢0���Â�$��¢<���m±�È�A�7���7�*�$�*�7�ã�0��Ñ����]���$�,Äo�ÍÊ�¯?��½"�A�.�?�S���7���?�Ó¢0���

�$���PU2�������I�©�0�������Ï�����7�����D�,�m���mÄ�ôoÑV���mí?¹<õR¥ ��¢?�½2�]�]�z�¢?�S�P½S§�zK¢<£��r|?¢?�]è.���]�����ª���úô¨|?¢?�]í7O0½�õ¿±ÑV�?�ÀÑV���]�����,Äg�«���m�����?���7�����ô|?¢?�]è.���]�����?¥�������$�m¢?�S�]�Y�7���?�S£*�ª���A�;�]�Í���PôoÑV���mí?¸<õR±

K��'õ � �o�.�7���� �h�8��K�µ¶����&�]�S�7���?���m�°���«�����º½��]�0�����S�����z�0�B���S�*����m�A�7���?�,¥?�����¾�&�?�$�����S���]�I�.�*���$���S£h�*��¢0��§�¢0�������S¢?����$��¢0�&�7�]�]�Â�µ���������]®O¢<�h£¾���ó�����P�.�*���A�����×���.���·�0��$�����©�����·¢<£*�7�K��¢?� ��O,�m�A�I�d�?�������(¶�¢<§ ¶��(���S��³£��3���?���S��Ô]�K�?�Â�$���ß���9±3�(�S���]¥S�����Yí?¹VÄo��½2�m�]¢0�&�¢º�7���&�P�S���������U¶��S�*�$�U���µ¶�¢.�B���.�©���Ó�m¢.�7§Á�$��.�]�¢<¶�¢<§U¶(�����ó���$�?���3�×������¶��¡£*�Ç�����?���.�3�·�AÉг�2�]�7���&�]�S�I�P¢0���»£��m¢f�S�����z½�¢?�$Òó�.�»§.�?���P¢0���&³�$��¢<�������P¶�¢0�A���D�$���&�v����� �0®?�]�B�����]�º±D¯?���]®0¢0�@¾¢0����¢.���AÉ������m���7�m�K¢0�ª���&��¢0�7���]���A�&����¢f���¢0�S§¶(�]���K½2�]�0�����S�����������v�]�A£Å¢?�~�v�0£h£��O¶¾��M

¤v�Y§.�?�Á¶�¢0�S�B�$�P�I¢<£�ÒÁ¢f½��?����¶���¢0��¢�&���S�A£��?�ߢ��×�����S£*¢0�7���?�U�]¢0���?�B�]¢0��³���?�B�S��¥2 ��I���K�?�]�¾���K���������,±�ô�@¾¢0�(-?í.¥�,±�S?õR±

b��m�A�]�3�7£�§?¥F|0���7�����{UM�A��½2�]�P��¢?�·¢0���?���m�Ç����¢f��$���ß���ö��¢?�~½��]�]�P�©�´�×���S���]�����$�]���m��ô�UM�A�*í?¸0õ¿±j@�����.���m�·����¢0�Pâd£��Ð�$ÒMÄo� � ` ¢0���ï¯?�m¢f�7£��?Äo�P�A�?���S���]��³¢f���?���&�]�S�I�P�S�­���?�����A�;���$�Á�����ó�Í�K±��¾�&�?����$���Â���m¢.�7�?���%UG�A��½2�]�&£h�*�7�I�k�;�?� ���S�*�&¢0���µ���I¢?�A�7��³�]¢O£��´�$�7���m� £h��Ò?�¾�&�]�&�?��§?¥0�$�A£¡�*¢0½S�h£h���7§Ï¢0�����7�2�]�m�M±UG�A��½2�]�K®?���]¶Y�������B���«¢?�Í¢0�Â�.���]�I¢0�����.��¢<£Å�S�A �³�S���7���?�D¢0�����7�A¢0���m�(����¢f�BÊo�.���Y�����.½S£��]�÷ô �´��õ_�?����f�"�]���0�����]�]�7������Ä,ô UM�A�*í?¸�¥?�,±¦Q?¸0õR±�@(�*�d���3�¿���7���?�µ�*��×���©�¡£*¢0�¾���&�$��¢0���7�I¢0���m�·½S§T@Y¢0�$��¢?�rM

Ãz��¢0�D§?�?�È���]�m�¼���ö� ¢?�A�z�,���������2Äo��,���������ã���m�7���*�Ç¢È���m¢?���?��¢0½S£�§ã�S�]³�I¢<�h£��m� �S�m�$�A�7�����7���?� �0�ö¢ �¢?�$�S�����¶��S�*���z�]¢0�������S�]�m�z½2�Ó�7�����2�3�7�m�Ç�����¢?��� �����P�����7����� ���m�7���������m¢O£Y�7���&�

£ud$1�����mý����,­¥�¿ÿ � �7þ(ÿ�+g����ÿ�����#_�×ý�����7þ�����&_'Mÿ����D���*��<ý������*���l� ÿ��$þ�����g������ÿ���H���þvý� � ����+g'Mÿ����Âü*�*�����4ÿoý��p����tÿ�+��©Y¦, no�oý*J�-"0L=��]ÿ�+,þ���+�!0ý��+��[�e��+vý��!*!�� ÿ���+;�vý[no�oý���<pY +;��Lt� �"� <Íý�h���*�;�9�T&���+��7þ4ÿ � ��&9ÿ��%W������4ÿoý��ia*:�s:

½�����¶��S�*�$�ú�7�.�&�]���0¶²�´�º���?�º���m¢<£h£�§���S����Ò.������±�ô�UM�A�*í?¸�¥V�,±hQ�ì]õR±

�����?�����AÉ������]�µ�ó¢0���ó¦�¢0�����´�$ÒÃ@¾¢<§?�m��¢0���^¾�]�����]���PÑ��.�I�M¥S¶����&�7�I¢0���Í����¢0��¶(�Y�����?�S£*�·���]³�×�m�A���$�����?�3¢<£S�0�"��¢?�$�¿�����K�����Y���T���&�����A����Ê¡������³�����©���m�7�¾¬��?���×�´�S�]�$�m�ª@¾¢0�����v�S£RÄMô�@YÑ�í.¸]õR±��(���]§½��A£h���]®?�&����¢f����¢?���¿�����&�$���k���Ç�*�¾¢&�.�*�7���I¢.�A�7���?��;�.�kéA���7�A�v�S£*ë&�¾¤����m���m¢0�I�$�,±

@¾¢<§?�m�_¢f���&Ñ��?�A�K½��A£h���]®?�¾����¢0���¾¤IÄo� �S£��7���¢f����?�3¢<£Â�7���.�S£´�¼���?�ν��ó�$��¢0���0�Â�������I¢f�7�����À�S��³�¢0���]¢0��¢0½S�h£h���7���m�]±¾¯0�����A�B�����K���KÄo�~�7�0£��B¢<���¼�*������m�$�*�7�A£�§�����¢0�m¥������]§D½2�A£¡���]®?�º����¢0�µÊ ���K�*� �7���&����ó�µ�O®.�����P�v���?� �$�AÉÐ��½2�3�.ÒÐ�ª���ó�����U�S�*�7���?�$§½��S�?Ò��]Ä�ô�@¾Ñ�í?¸.¥?�,±?í¦R.NfõR±_�(���]§�¢<£*�7�k���]��¢¾���$�?½�³£��]�¶(�����º�����K�?�]���S�]�Í�*���7���K���º�����K¤¢]M

�(���ø�.�]���S�]�ã���m�7�¼�*�ã���.� ¢ ���m����0�ã�¢fÒ?����� ¢0� ¢0���7�h "�$�*¢<£ã�3���·¢0�½���� �0�ä�¢0Ò.����� ¢ �&�m�$��¢0�S�*�]¢<£���A¢0���7®?�m�7�����$�&ô�@YÑ�í.¸3¥V�,±�í¦R.O0õ¿±

ôo�����7�����?õ����A£h£*������è.�S�����Y�$£��m¢0�7£�§����¾����§���¾�¢0Ò.��¢(�����.�?�I¢0�«¶Í�S�´�$�Â�]¢0���S�ߢ.�¶(�A£h£�¢?�K¢µ�¢0�D¢0�¾�����]���]���.�����P���·½��¢�¶(�?�·¢0�Dô�@¾Ñ�í?¸?¥��,±2í¦R7RmõR±

�K�,¶(���&�]�S�7���?���m�9���·¯?�m�A�7���?�\N�±´ì?¥m�$�S�´�����m�A��³£h�´¢f�7���ק �����?�S�_��¢<®?�d���A�,���m¢.�7�?���]¥0½����;@Y¢<§?�m��¢0���Ñ��?�A����¢<®?�Y¢K�µ�?�I¢<£��?½o�×�m�A�7���?�·�A�?���A�]�����m�µ¶(����������K¢0���7�h "�$�*¢<£_�A�?���7���A¢<���3�I�d�����K�7�]���7����� ���&���3���m��?�P�$���K��¢0���7�*�$����¢0�S�I���f�_�����B�S¢0�&�?±

@¾¢<§?�m�Y¢f���ÓÑV�?�I�º¢<£*�7�Â�AÉ������m���¾�$���A���¾����¢0½S�h£�³���קº���µ ����Ó¢µ���I¢?�A���´�]¢O£Å���7� �v�?�¾�����k���9±�Ãz�S§�?���m¢0�����&�7���.�S£´�©¶��(¶(�?��ÒK�$��¢0����¢0�I�µæ×¢0���9����ð G��¢0�I�2ç¾���½��S�h£*��¢·�¢?�$�S�����&����¢0�¾�������I¢f���m�K���Aê�,�&�S�]�S�*�A�������¾���7�A£��m���7���m�$���0�_�.�����m�A�(�������I¢f�7���?��0���3���¢f���~���P�¾¤I¥������]§��$�m�7�?���(���&¢�®?�]�$§Â�2�?��³�S£*¢0�&¢0��¢<£��?�?§rMK�¢0��Ò.�����MÄo�9�;�����¡£���¢0�����]�µ���I�K¢0��¢0Ò.�����·Ö�§?�����P�·¢?���S�����m�¾½S§P�����9�������I¢0�7���?�D�f���¢0�����I¢O£�Ö����?�S�m± �Y�����¡ "�$�*¢<£M���S���A£h£¡���?�]���A�?¥V£h��Ò?�B¢0��³�7�h "�$�*¢<£,Ö����?�S�m¥��]¢0��½��¾�I¢?�.�*�]¢<£h£�§P�.�nOG�]�$�]�3�~�v���?���¢0�����I¢O£�Ö����?�3�<±«�¾���U���P�]¢0�»���7�h£¡£K½��D¢Î�?�S�Ð����S������±T@Y¢<§?�m�K¢f���DÑ��?�A�P½2�A£h���]®.������¢0�K�]®?�]���h��?���?Äo�9�?�3¢<£ �*�B�$��§?���������º�����S�]�I�7�I¢f�����3���·¢0���]¥�����]���º�*�·���Á�$�m¢?�7�?�Ç���Á�S�A ����Á¢<£h£K����¢0�&�$���]����*��¢0½��.�����A�.�?�S���7���?�·�������]���Â�d�0�_�S���¢0���A�?�?�S��³�7���?�,±

O?¹

Page 31: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

�����A���K½2�A£h���A�(����¢0���¾¤~�*�Y¢  ��A£*�º����¢0�¾�7���7��®?�m��$�P½��·���7�A�v�S£(£��m¢.���\@¾¢<§?�m�B¢f���ÁÑV�?�I�����D�S�]�S§��¢.���¿�����Y�$�������U¢?�,¢¾�7�]���¿��½S£����?�3¢O£ ± �(���]§K���0£*��$��¢0�B�¾¤ß�����?�S£*�U�����Ð�S���A���A�?�?�S���7��®?��¢0�����¡�R¢?�A�I�Ë¥���.�_���m�A�m���$¢0�7�h£�§K���&¢��S���¢0� ¶�¢<§?¥<½����,���&¢Í¶�¢<§�����A�;�S£_�$�&�3���·¢0���]±âd£*¢<§ÁÃz�S����½S§?¥~���zÊ¡�(���P�����7����� ���m�7��M·�¾¤IÄo�

âd���?�?�m���Óâd£h�����­�Í£¡£��]§2êOÄ�ô Ãz�S�*í7Q0õK�¢fÒ?�m���¿���&³�h£*¢0��¢0���?���&�]�S�I�]±»@Í�?¥(£h��Ò?�4@¾¢<§?�m��¢0���zÑ��?�A�M¥½2�A£h���]®.�m������¢f���¾¤����]�m�ª���?�(����§&�$�B�������I¢f���K�3��³�·¢0���]±?@Í���]®?�]�P�����m�¾�����k��¢f�&�k¢0��¢O£��.�?§Dæv�R± �?±´¥�¾¤�¢0����¢0�����¡ "�$�*¢<£ Ö����?�S�]çI±�Ãz�S����½S§Ï�7�A¢0���m�(����¢f��$��� ��� ��¢?�º½2�m�A�?�&�ó¢z�.�*�7���I¢?�A�����.�ú¢0���­������]�m�������D�·¢<���ú�7�.���I�A�Á¢?�º¢����*�7�I¢fÒ?�]�«���m¢?�S³�����z�0�PÊ´¬��?�&�����7�����«¨�¢?�$�S�����]�$§À¢0���ï¤R�S���A£h£h��³�.�]���A�?ÄKôo�,���A¸?¹<õR±ï@Í�º�*���0���������?�S���S���.�À����¢f�Êh�,���7������Äg�U��¢0���]�«ô ��¢.�D½2�]�]��õ����3�$�]�������]���m��¢?��$£��3���]�&���Á¢0���.���]�I¢0�����.��¢<£Y���m�7������¢f�����P�S���&³���A£¡�Í���S���]���S�m�Mľô Ãz�S�*í7QS¥��,±�¸pS?õ�¢f���D����¢f�&Êo�����£*¢?���Â���S���������]�m�S�m�z½S§ó�¾¤��Q�°JD���$���]���A���*��¢0��.���]�I¢0�����.��¢<£Å�S�A ��S���7���?�D�0� ���3�$�A£¡£h���?�]���A�µ���3®?�f£�®S³�����B�7�.�&���7�?��� �0�"�A�?�&��¢f�7�*�7�?��¶(�������3���·¢0��½��]³�����3�ËÄ,ô Ãz�S�*í7Q�¥��,±hQ¥N0õR±

ö w{w Þ Ú ��� �ø÷ Û �(ÞI� �®÷ �(Þ �ÍÚ � � �

�Ì���]®.���]¶Æ�0�������Á��� ¶(�?�S£*�z½��������A�?�µ�S£��]�$��h��¶(�&¶(�]���&���P�A�.���¿�*�S�]�k�$���&���?�S�*�µ¶(�����S���Á�����½2�?������¢0�7���m�9�0���A�?�&�������]�B�$�$���]���A�·¢0���º���S�¡£��3��³�.���3§º�?�S£�§?±Â�����7������Äo�Í�*�S�m¢?� ��¢?�º�¢0�S§P���]�2�]��³�A���$�¿���?���¾���Á�7���$�*¢<£����$���]���A�m��¢?�Ͷ��A£h£R±&�(���&�����¢.�B��¢f�����I¢<£h£�§Á�$�m�A�A��®.�m�ó¢0���$�]�3�7���?�T�;���.� ���Ð�$��³�f£��.�0�*�7�I�]±ø¨º�����ï�0�&�����D�µ�?���D���S�h£��3�7�?���S�*�]¢<£¶(�?�$ÒD�?�U���������?�S�*��¢<£*�7�Á�A�.���¿�*�S�]�I�&�7���$�*¢<£ß¢?�7³�2�m�A�I�º�0�B���S���A£h£h���.�]���A�?¥&½����������]���D��¢<®?�ν��]�]��$�m�7�m¢0�I�$���]�I�Ͷ����Ï�A�.���A�]�3���A¢0���m���7�0£��A£�§P�?�º���S�*��.���&�]���×���.�,±��(���m�7�Y���Ð�$���0£��?�0�*�]¢<£�¶(�?�$ÒÐ� ¢0�����.�*�7³�A���$�7�m�ª���U¯?�m�A�7���?�D¸�±´ì?±(¤R�D¢?���.���7���?�,¥M�������?�]��³�S�]�¾�*�����������D�����Â���­��¢?�¾½2�]�]� ¢0��¢O£�§SÔ]�m�D¢0����$�S�´�¾¶��¡£h£(½��&�7���&�¢f�7��Ô]�m�º����¯?�m�A�7���?�D¸�±�N�±KÑ���³��¢O£¡£�§?¥��,���������.³4£¡��Ò?���$�m�7�I����¢<®?��½2�]�]�È���7�m�«�$�¢.���7�m�����$���P�7���]�A�m�����0�B�A�?�&�����$�]�Â�¿�����S£´¢f�7���?����f�ß��¢0�A¢0���0�*��½2�]��¢m®.���?�m±«�(�S�*�·�������A�m���©���»�S�]³�$�A�7��½��m�Î��� �S�]�A¢<�h£����ó¯?�m�A�����.� ¸�± O�¢0����¶(�h£h£�½���A�.���¿�*�S�]���m�P¢0�S¢<�������D¯?�m�A�7���?�¡Q�±

ê�� � }q��7����#� ���9�N7��8��q®������7¦����Y� �]�3�����7§MÄo�«�7�A¢0�����°��� ¢ã�7���$���]�7§?¥D��� �?�]��³�]�I¢<£È��� ¢ �7�Ð�$�*¢<£��]�3®.�����?���&�]�S�m¥ �*�ø�0�v���]��A�?���¿�*�S�]���m�²¢0�¼���3���]�.�I¢<£P��¢0�����f�P���I�Î���3�$�A£¡£h��³�?�]���A�?± ¨�¢0�S§����§Ð�$���0£��?�0�*�7�I�ö½��A£h���]®?������¢0��7���$�´¢O£Ï¢?��¢0���I¢f�7���?�,¥K£��m¢0�$�S�����ï¢0���È�A�?�&�����S��³�]¢0�7���?��¢0�������&�2�?���I¢f�3�������.�*�]¢0�7���?���°�0��¥��]®?�]����mè.�S�´�×���$�m���v�?�U���S���A£h£¡���?�]���A�?± �(���ï�7�����S§å�f�¢0���7�h "�$�*¢<£����3�$�A£¡£h���?�]���A����¢?�Ç¢<£*�7�å½2�]�]�²���SÖ���³�]���A�m�U½3§Î���S�*�B�.���7£��3�?ÒM¥�¢?�9�*�k¢f����¢0���]�S�K�v���?����������m�A�]�S�����m�7�m¢0�I�$�ï½��A�����À�S�?�����?�­���3�$�A£¡£h��³�?�]�S�©¢f�?�]�3�A�]±P¨º������¢0���$�]�3�7���?�Î�*�9�;���A���7�m�U�?�£��m¢0���S������¥B¢?��¢f���7��®?���7§?¥Y�A�?�µ�k���S�*�]¢0�����.��� á ¢0����7���$���.³v���7§Ð�$���0£��?�0�*�]¢<£M�R¢?�A���?�A�M�������S���A£h£¡���?�]�S�Y�7§��7³���]�Â�Kô�¬��0£*í?¹�¥�¨��A¤×í7OV¥�¨¡ËY¨®ù ípS0õR±¤¿�åìmí�-7QV¥B¬~��¢0�7£��m��^K¢0�$�A£¡�*�º¶����.���D¢���¢0�2�]�

�;�.�������0ú¿À��¦CAñhJ�� Á÷À¥C3HL¾°Eû�1¾°E�À¥C�É�À�Á w À1�<ð`J��Â�E�¾°J7K<ð`À¥C��7���7£��m�Àé*b(�AÖ��m�A�����.���·�?�������P�����7������,�m���Ië�ôD^K¢0��-7Q<õR±��(�S�*����¢0�2�]�Y�7���&�·¢0�7��Ô]�m��������³������Äo�Í�?�7���0����¢<£_��¢0�2�]�kôg�,���I¸.¹mõ ¢0����âd£����$Ò"Äo���?½�³�×�m�A�����.���¾���Â�$���k���¼ôoâd£��.-�ì]õR¥V���h£´�.£�§D�A�7���7�*�$��Ô]�m����������m�7��¢0���­½��7���AÖ�§å�.�´�$�A�����7�m�D�7�.�&�D�*�������m��7�������.�����.����� ½��]��¢<®.���.�7�*�7��¢0�����$�3¢?�$���m�,���Í���3�$�A£�³£h���.�]���A�?±� �v�]¶ø§?�m¢0�I�µ£*¢0���]�<¥¾���«�����Á��¢f�&�T�7�?������¢<£R¥

¶(�¾ ����DéA�å¯0���&�S£��µ¬��?�&�&�]�S��b(�]�3¢0�A�.�����µ������,���������K���m�7�IëKôh¯?��¢)-?í0õ0½3§Bâ~�]���S§�¯?��¢0���?�,± �(���¢0�������?�d ��I�7���&�]�S�7���?���d�����(�R¢?�A������¢0���&�S�7���.�*�7³�A�����¿���?���º�0��������¤¢÷¢0�������?�·�R¢<�����S�;�S£����U������?�7���0����¢<£ �;�.���������?���S�7�m��½S§Ï�����7������±g@�� �����]�,¥�A�?�S�7���3���m�µ½3§��A�7���7�*�$��ÔA�����ó�����P��� �;�?�·�A�?�S ���³�����ó�S���¢0�«½2�]��¢m®.���?�P�$�Á�����S�7�D����¢0���]¢0�«½2��A�?���S���A���m�ǽS§Á�&�m¢f�����0�Y�����P���������A�������m�µ¢0����?���]�A¢0�7���?��������¢f�Ó¢0����¢<®O¢<�h£*¢0½S£������Ç�����ó�A�?�&³�������]�Pôh¯?��¢)-?í<õR±4@Í�Â�A¢<�*�7�m�������·���&�2�?���I¢0�S� �*�7³�7���(�0��¶����]�����]���A�?�?�S���7���?� �*�_¢0���$�?���?�&�?���G¶(��������m�7�2�m�A�D���ó�7���$�*¢<£����S���]�I¢.�A�7���?�,¥k¢�OG�m�A�<¥Y�µ�?�7��³®O¢0�����.�,¥��&�.���?�&�A�?�S�����0£�¢0�����¿�����h£*¢0�Ï��§Ð�7�$�]�Â�]±@��0¶(�]®?�]�m¥2¢<�;�$�]�ß�7�A¢0�7�����&����¢0�¾���������«���$�m�7����³���3���m�(�����K�$£´¢O��� ����¢0���$���]�����*����������¢0��¢0�����?��³�?��§?¥m����¢0½��$�����7£�§K�]����� �S�´����¢0�2�]��½3§B¢?�$�7�]���7���������¢0�K�����µ�?�S£�§Ó�$�]�¢<���S�����P¶�¢<§P�����.�*�7�7�����?�S�*�7�½��]�7¶(�]�]�À�·¢0�ú¢f���«�¢.���S�����Î�´�º���Èé$£��3�.ÒÀ¢0������]�P¥2���?���$�������]�P¥2�7�*��Ò.£��B�����]�º¥��2�]����¢0���¾�7�]�¶����]�����]��§.�?�·� ¢O£¡£M����£��0®?�¾¶(�����������]�Âëªôh¯?��¢�-?íS¥

£Rû $�������Ltú�"���������"��&i���*�>�"��t���������:

O�ì

Page 32: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

�,±IN?¸7O0õR±|f���7�7��� UG�A��½2�]�m¥¾���«�S�*�P�S�A�v�]���7�D�f�k�����D���

¢f�3¢<�����7��¯?��¢0���?�Çô�UM�A�'-?í0õR¥ �7�I¢0�$�m�¾����¢0� ¯?��¢0���?����]�]�Â�·���U½��Á�7��O,�]�7�����U�v���?� �����UÊo���S¶(�h£h£h�����.³���m�$�K���P¢?�S�©��� �����&�2�3���¿��½S�h£h���7§U����¢0�K�¢f��Ò?������]¢f� ��¢<®?�z¢0�S§È�7��®O¢<£*�]ĺôo�,���Q?í<õÂ����¢f� �����7�����£h��Ò?�m�ï���z�]¢<£h£&�����óÊg���m¢?���7³4����³v�����]³R��¢0���ï�.½��×�m�A³�����.�,Äkôg�,���I¸.¹mõ¿±AUM�A��½��]�U���?���m�º����¢0�D��¢0���´�×� ¢?�A³�$�?��§å¢0���7¶(�]�I�Î���È�7���$� �.½��×�m�A�����.���U��¢m®.�»¢<£�³�$�m¢?�S§z½��]�]�ï�0��®?�]�«½S§ö�����7������±�@��Á¢O£´���»¢0��³�.���m��¢0�3¢O�������(¯?��¢0���?�,Äo�~�$£´¢O��������¢f�������Y���Î����³®.�0£�®?�m���?�S£�§ó�7§S��½��0£��¢0�S�����S£*¢0�7���?�«¢0���U�$�3���¢.���7���&�m�Ç¢È���]�����m���]�3�I¢f�7���?��¢<£�­O�A�?�&�����A¢0�7���?��¢<£�v�I¢0�µ�]¶��.��Ò·�;�.�ß�A�?�.�S�������.�,±DUM�A��½��]�����0���S�I�¾�?����$��¢0�������]�$�¾�´�(¢0�µ�S£��K�]®.�*�S�]���A�K���P�����7������Äo�(��¢0³�2�]�&ôo�����I¸?¹<õÅ�����O¶������·����¢0�K�7���$�Ó¢©�;�A¢0�&�]¶(�?��Ò�*�~���?�(¢?���7���&�m�M±;@Í�ߢ.���7�]���I� �$��¢0�������7�����&�S�3�m����.�,�¢0Ò?�~������¢O�;�?�$�]�&�]�3�����.���m�B¢0�����.���?��§Y�����]³���������3�¿���7���?���A�������]�m±���I¢?�A§�â¾±�@Í�]�S£��]§"Äo��ô @��]��í?¹fõ,�*�K¢0���?�$���]�Y��¢0³

�2�]�»¢0�$�?�S�����È����¢0�z¯?��¢0���?� �´�°½��A�������0®?�]�7£�§�$��¢0��®.���S�´���7�*�0±��ã���]�S£�§�����@Í�]�S£��]§�¶�¢?�9�0��®?�]�½S§º¯?��¢0���?�����Uôh¯?��¢?í�ìAõR±¯?�.�&�Á�f�©�$���3�7�D¶����z®.���]¶Æ���S���A£h£h���.�]���A�»¢?�

¢T��¢0���&�0�B�7���$�*¢<£ß���$�Ð�A�m�����m��æ×¢f���U®?�*�A��®?�]�I��¢Ðç�A¢0Ò?�&¢��&�.���&�]®?�0£����7���?��¢f��§D¢0�������3¢?�$�óôoâ(¢0��-¦RO¥ÑV�?�(-�-S¥�¯3�$��í�-0õ¿± �ß��¢f���7��®?���7§²�*�z�����S�]�m�M¥ó¢�µ�3�7�(�����]®O¢O£��]�S�Y�$��¢0�I¢?�A�$�]�7�*�7�7�*�K�0���7�Ð�$�*¢<£����S���A£�³£h���?�]���A�?±3@Í�0¶(�]®?�]�m¥ �����·�*���7���P�]¢0��½2��®?���]¶(�m��v���?�z�7¶(���.��O,�]���]�S��£��]®.�A£´�lM_�$��� �����.��®.�*�S��¢<£�£��]®?�A£¢f���ï�����ó�A�0£h£��m�A�7��®?�Ç£��]®.�A£ ± �(���ó¢0�������3¢.�����m�¶(�&��¢<®?� £��S�?Ò?�m�U¢0�B¢0½��0®?�µ¶��]�$�&�¢<���S£�§������.��³®.�*�S��¢<£Y½�¢?���m�M± ëd®?�0£����7���?��¢0�$§ ¢0�$�?���&�]�S�I�]¥��?��$�����?�����]�~��¢0���M¥�¢0���(£*¢0���.�A£�§·�A�0£h£��m�A����®.�¾���·�?����³£��S�?ÒM±Å�����m�7�(���7��¢<£h£�§��;���A��� �?�������~���3�$�A£¡£h���?�]���A��f��G F�E(�<ð`ElGY¢0�����7�����S§P�$���B�R¢?�A���.�I�(���SÖ����]���$������$���A���P�S�]®.�A£��.���&�]�3�<±À�K�]�A�?�I�.�����Ç���Á�$���P�]®?�?³£����7���?��¢f��§�®?���]¶��2�0���3�m¥ �����]�$�B�*� ¢��7§Ð�����]�P¥2�R± �?±�¥��¢f�������?¥~���z¶��S�*���z�]�S�7���7���m�µ�;�����A�7���?�«¢0���Ç��������S���]�I¢?�A�����.����¶(�����S�����������7§Ð�����]�Ì��¢m®.�Â��O,�m�A�I��.�·�����.��®.�*�S��¢<£*�K����¢0�<¥0���P�����¾£��?���µ�����,¥S£��m¢?���$������m�$���m�7³4£��]®?�A£"¢?��¢0���A¢0�7���?���]± �(����¢?��¢f���I¢0�7���?�¾����$�S�´���A�?�S���AÉ��K�*� ���?�B�µ�]���A£�§Á�0��®.�����T¢f�������?���7��³¢f���K���m�7�2�?���7�m������¢0�������?�����´¢f���k�7���$�*¢<£��?�����S§Ð�7³�*�]¢<£��¿������¢0�7���?���Ë¥�½����K�*���7���]�A�m���¿�v�S£Y�7����®.��®O¢<£(�0��$���B�7���m�$���m�¾¶(�����S���P�$���B¶����0£��B�7§��7���]�º±¤¿�z�S�´�ºìmí�-¿RÏ��¢f���]��ôoâ(¢0�(-¦R]õR¥�|0�?���«â(¢0�����m�×�

�A�?���¿�*�S�]�I�Ï���S���A£h£h���?�]�3���¢.���S�����m��¢?��¢U�7���m�$���m�¢0���Õ�����?���S�7�m�å¢0�Õ�]®?�0£����7���?��¢0��§ Ê�¬~§3½2�]�7�*¢?��,�m���mÄ0�����7���m¢.���0�G¢K�����7�����&�,�m���m± �ß�]�A�?�A�.����� ���â(¢0�����m�¿�R¥2�����k�Í�«¢<���Â�Í���&���7�*�$ÒP¢����]�A�7�?�,¥2½�������ÏñIJ7Hu�¦C�J)�A���3���A£h£h���?�]���A�?¥S���S�*�,�2�]�I�7�?�9�*��Êo�µ�?�����]���¢0�������?Ä´±Å�����K¬�§S½��]�7�*¢?�·�,�m�����*�(�¿�����h£´¢f���$�K��������iM��(����½�¢?�×�´�©�0�Y�����]�7���S�?�]�&�]�S� �´�µ¢D�A�?�&³��¢0�7�*�7�?�º½��]�7¶(�]�]�P�S���¢0���¾¢0���·����� �¢?�$�S�����m�˱�(���Â�.�nO,�]���]���A�·½��]�7¶(�]�]�D�����&�7¶(�&£h���m�9���Á���0¶���3���A£h£h���?�]���A���*�·�S�A ����m�M±»�(����¬~§3½2�]�7�*¢?�ó���m�7��S�A ����m�d���S���A£h£h���?�]�3�(½2�]��¢m®.���?��¢?� �����3�����$��¢0��¢0������m�A�m����¢0�$§·�;�?�(�����B���Ð�$���]�7§"Äg���7����®.��®O¢<£R±(�(���B¢0��³½S�����]�Y���]�$�?¥S�*���&�.�����]����¢0�����$�?±�K�]�A�?�I�.�����K���Kâ(¢0�����m�¿�R¥.���������T�*� ���S�v�]�7���?�����

������¬�§S½��]�7�*¢?�º�,�m����½��m�]¢0�����B¶���¢0�~���K�]¢0�������?³�A�m���¾¢0½��?���¾¢0���]�3�����7§MÄo�d���3���A£h£h���?�]���A���*��£¡���������m����k¢9��¢0���7�*�A�S£*¢0���S�?�¢O���,¥.��¢0�&�A£�§?¥S®?�]��½�¢<£,�A�?�&³�����S�´�]¢f�7���?�,±ó�(���ά�§3½2�]�7�*¢?�����m�7���*�&��¢.���7�m�M¥Ê �h�Bô �����]õ��7�Ð�$���]�7§P�f��¢0�����¡ "�$�*¢<£��µ�]�Á¢0����¢0½S£��&����A�?�S�7���3���P¢D���Ð�$���?³R�A�S£������I¢O£Y�]®?�0£����7���?���0�¾�����A����0¶��K¶(�������?�����.�*�¿���3���]�.�I¢0�7���?� �O®.�]�G¢f�K�AÉÐ���]���S�m����]�7�����M¥_��¢<§��0�����]®?�]�I¢<£_�©�¡£h£h���?�U§?�m¢0�I�]Ä�ôoâ(¢0�(-¦R?¥�,±;N7O0õ � B ±«ë�®?�]�Î�����?���?�U���S�*�µÊ¡���$���]���A�& "�A�����.�,Ä¢0���&�S�7�����]�����7�?�&�]�7���&�m���.�*�7���A¢?�A�I� �����·���m¢?�S�]��;�$�?��$���B���&�2�?���I¢f�3�B¢?�$�7�]���7���?���¾¢0½��.���K�]®?�0£���³�7���?��¢0��§�¢0���D�A�S£������I¢O£����S���A£h£h���?�]���A�?¥���������¢0�2�]��*�Yè.�S�����k¢0���]�S���]���A¢<���S�����·�S���m�A���0�Ŷ(�?�$Ò"±

ê���� ü«� � �I����hü|0���.����� ¢Y�]���0®0¢��S�I¢<¶Y�K¢0�����]�S�7���?�����������µ�?�]��³�S�]�·�*���7���º���»�$���Ó¤"¢÷ô ¢Y�]��ípS.½�õR±È¯?���?¥¾¢?�&¶(���¢<®?�Ó�S�?�����7�Î���­¯?�m�A�7���?�{N�±�ì?¥~���]�¢f��ÒÐ�©����¢0��,���������2Äo�P�S�m���A�����������.�À�0�&�������3¢f�&�º���S®?�0£�®?�m�Ë¥���?��¢Bè.���m�7�7���?�·�0�Å�7�2�m�$���m�]¥�½������.���Y�0�,�?�]���S�]�<±¯?���Â�7�I¢f���m�(���óô ¢Y�]��ípS3¢<õ ����¢0�K���]�B¢<���ø¶�¢?�Í����7���0¶ó����¢f�������Y���AÉÐ��¢<£M�?���m���¿�����&�A�?�&�2�?���]�S���f������K¤¢z�*�~���&�2�?���I¢f�3�m¥S�]®?�]�P¢O�;���]�~�����K�¢?�$�S������]�3�$�]�I�K�������S�*�A�������?± å ��� �AÉÐ�S£*¢0��¢f�7���?�D�0�(���S�*��S�m�¿���?�Á�$���0�*�A�&�.��O,�]�I�Í�v���?�²����¢0�¾�0��¢¾�]���O®0¢�Äo�]¥���0¶��]®.�]�m±B�K�¾§?�?�������?�S�K���m�]¢<£h£R¥,¶(����¢<®?�����?��¢?�S�K¢��.�´���7�����A�7���?�P½2�]�׶(�]�]�·�����¾�׶(�K�?�]���S�]�A����ó�?�����AÉ��S£´¢f��¢0�7���?�,±DÃÎ����¢m®.�Â���]�S¢0�I�S�m�Î����������f�´�A���0�K������¶(�?�¢f��½��A�����óÊ ���©���A¢0���m�MÄ(¢?�&¢�I¢0�����]�·�����¿���?�S�h "�]¢0�S�D�?���U¢0���z¢?���7���&�m�ö����¢0��������3¢0�&��¶(�?�S£*�Ç���?�P�$��¢0���?�P�A¢?�.�*�]¢<£h£�§ö�¡� ���

£�V ZMý�[!p��þ��;���Ëÿ�+�'Gÿ����Ã,�W����.ù-"0¿��*&%W������4ÿoý��ia*: a*: a*:

O7N

Page 33: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

¶(�]���¾�����K�?�$���]��¶�¢m§·¢0���?�����M±g¢¾�]���0®O¢�¥S�?��������.�����]����¢0���M¥3�S�S�m�����.���&�]���A£�§&¢?�]�A�]���������7������Äo��$���0�*�A�m�P¢.��¢?�]�$�*�S�]�3�I¢O£ ¥¾½����º���7���m�·�����S�]�&�?��³�����I¢0���K�7�?�µ�K�&�?�7��®O¢f�7���?���(½��]�S�������$���m�7�?±

¢¾�]���0®O¢ ½��A£h���]®?�m�(����¢f���7�AÉS�*�7�����?�����.����¢f½��?���¶(�?�µ�]�&½��A������£��m���d���3�$�A£¡£h���?�]�S�m¥2½3§&�$���]�Â�7�A£�®?�m�]¥�S�Ç���?�Ó¢.�]�A�?���3�ª�;�.�P�����D�2�m�A�S£h�´¢f�Á�S�m�¿���?�ï�0��$���&�3¢0�&�?±·¯?�����7�I¢f���m�¾����¢0�K½S§Ó�A�?�µ�S£¡�*�]¢0��������$���&�3¢0�&�©���U���S�*�K�·¢0�����]�m¥��,����������è?���m���7���?����$�����AÉ3�*�7�$�]���A���0�_�.�*���A���]���Y�]¢f���]�?�?�7���m�]± ¤¿�&�?�����]�¶(�?�A���]¥?½S§����¿�����&�������¢O£��p­Ë�;�]�¢O£��¾�*�������?¥3���Í�*�¢f�����]�&���7���������Á�S�]�µ�?���7���I¢f���Â�$��¢0���?�]���S�]������³���A£¡���´�(¢ �7�Ð�$�*¢<£h£�§µ���µ���3�7�m�·�A�?���A�]���(����¢0� �*�~���?�Êg��¢0�����I¢<£RÄS����� ¶�¢<§&¶(�K���7��¢O£¡£�§����S����Ò·���Í�´�˱

¢¾�]���0®O¢K�$�]�3¢0�I��� �����ͤ¢«¢?� ��¢0�����0�_�����7������Äo��.�]���]�I¢<£_���S�h£��3�7�?���S§P�f��Êo���I¢0�����?���m���¿�����&½2�?�����S³¢f�7���m�]ÄMô ¢Y�]��ípS.½�õR±�R����S�]���$���ߢ?�$�7���&���7���?������¢f������7�����ó¢?�S�������m�­�7�����z���A¢0���¿�v�?���¢0�����.���&����¢f��S�����.�P�A�?�S�;�.��� �����������0��®?�]�À�.�*���A�$�]���Á�]¢0��³�]�.�?�7���m�]¥r¢¾�]���O®0¢Â�����?�?�m�7�I������¢0�Y�����7�����Â�©���.�3�½2�(�¢0��Ò.�����Y�����(¶(�?�¢f�B¢?�_¢f�K���S�;�]�����.�����S����Ò?�]�½2�m�]¢0���7������½��A£h���]®?�m�K���]�K�$�½2�k����¢f½S£��µ���Â�S�]³�A�A��®?�?± �(�������m�7�K�0����������¢0�2�]�B�A�?���¿�*�S�]�I� �,����³������Äg�D�S§3�2�?�����]�7�*�]¢<£P���.���z���È�A���m¢0���z¢¼Êo���]��³�v�m�A��½��A������ÄB¢f���À�S�I¢<¶Y���7�.�&�Á¢0��¢<£��?�f���m�T½��]³�7¶(�]�]���S��� ¢f���P¦�§S�?�¢O£¡���?�,±(�K�¾�]¢0��½��&�7�]�]�,¥¢¾�]���0®O¢�Äo��¢0�����$�3¢?�$�«�*�U�.��O,�]���]�S���v���?�ä�?���I�Ëà�v�?�·���]�m¥K�,���������2Äo�·��¢0���]�Dôg�,���I¸.¹0õBÊ �´�µ���I���A£¡�¢�S¢0�&�?ÄMô ¢Y�]��í�S3¢<õR±�¾���?�����]� ��¢0���]�K�$��¢0�B�A�?���¿�*�S�]�I�9�������?�]���S�]�

�*�����������&�����ͤ¢«¢0���&�A�?���7�$�����A�I��£h����ÒÐ�(½2�]�7¶��]�]��$�����S�m�¿���?� �0�Ð�$�����3¢0�µ��¢0���B�����7������Äo���?�S���S���?����.�B£h�h�v�(�*��|0�m¢0�DU,¢?�����]�?���?Äo�~ÊoÃz��¢0� Ò?����� �0�,�,����³�������,�m�7�zÍ�*�&�����7�����\@¾¢<®?�~���¨ª�����2ê0ÄMô�U,¢?��í¥Qmõ¿±�����3�7���$�m¢?�S�]�I��¶����B¢0���d���S���]���m�����m�¾���Â�����7������Äo�£h�h�v�Y¢0���K����§Ð�$���0£��?�?§ �����?�3� ¶�¢0�S�_���K�A�?���7�S£�� ���m±

ê��'3 q ü����ãýh7����{�]L%�rü7�r�j�9��������Ó������¢.�&���m�A�A��®?�m�z�7�.�&�P¢0�����]�S�7���?�°�;���.�����§Ð�$���0£��?�0�*�7�I�¾¢?�(¶(�A£h£�ôDb��m¢7Q?í�¥��Í£���í?¹�¥r¢iU,í�ì]õ¿±¤¿�D���S�*�K�7�m�A�7���?�,¥����0¶��]®.�]�m¥�¶(��¶(�h£h£��v�Ð�A���¾�.�S£�§�.��^¾�]�����]��� ¬��0£�½3§Æ¢f���ø�A�0£h£��m¢f�?���m�]Ä�¶(�?��Ò�.�ö�×�����S£*¢0�7�����«¢0�����¡ "�$�*¢<£���¢0�I¢0���f�´¢­ôh¬[@ÍÃ�R3ìm¥¬g@�Ã_^²R.NS¥M¬��f£¥-Vì]õR±¤¿�&�����iR0¹�Äo�]¥?�����7�����k���m�7�I� ¶(�]���(���7�m���$�K®O¢<£�³

�*��¢0�$�©�A�.�&�������]�K�¿���k�S£*¢0�����.���K�0����¢0�A¢0���0�*�º½��]³

��¢<®?���?�m±ª¬��0£�½S§P�]�k¢O£ ±·�S�m���A�7��½��µ���D�����A����ìmí¦R3ì½iCHvð þ��mðLJ���ÿIñIH�E1���hð2Å¥Emñ��E ��¢0���]�¾Êo�¾���7�h "�$�*¢<£,¦�¢0�I¢0³���0�*¢�Ä&ôh¬g@�Ã�R3ìAõ¢z�A�?�&�����$�]�D�����?�?�A¢0�ä����¢0�¢0�����]�µ���I� ���Á�¿�����S£*¢0������¢0�I¢f���0�*�U½��]��¢<®?���?�µ����A�?�&�������]�$³v�&�m�.�*¢0���m�D�.�*¢<£��?�?���?±��(���&���$�?�?�I¢0��]�����I�Í£h�����?�S�*�7�7�*�����m�7�2�?���7�m�¾½�¢?���m�P�.�����3�$�]����¢<£æ×¢QO,�m�A�7��®?�0ç,�7�I¢0�$�m�]±_���ß�A�$�m¢0���(���S�*� ��O,�m�A�m¥m�$�����]��&�m¢?�7���$�m�]¥3Ñ;ëd�lbK¥0�iË~¢ ëb�¢f���&¨º¤�¯3��b�R9¯3�¢0���¾���7�m�M±z¾�]�2�]���.�����·�?�&�$����Ö��0¶z�0�,�����K�A�?��³®?�]�I��¢f�7���?�,¥ �����m�7�&�&�m¢.�7�����m�B�$��¢0���?�µ�����A���k®0¢<£�³���m�]±Ç¯?��½��7�I¢0�S�7�*¢<£Y�S�]�I¢<�h£ß¢f½��?���&�$���Ï¢0�$�7�h "�$�´¢O£��¢0�I¢0���f�´¢Í�����?�.�I¢0�À�]¢0�K½2�~�;�?�����ß���Ïô�¬[@�Ã�R3ì$õR±�²§?�m¢0� £*¢0���]�m¥(¢0�3¢O���Î���ó�����P�$¢0�&�]�7�?������¢<£R¥

¬��0£�½S§B�]��¢<£R±Å�S�m�$�A�7��½������0¶U�����]§K®O¢<£h�*��¢0���Í�����A����¿�����S£´¢f�7���?�ó�����.�?�I¢0� ½3§Á¢������7�����?³4£h��Ò?�º�����.�*�7³�7�����?�S�*�7��¢0½S�h£h�*�7§z���m�7��ôh¬[@Íà ^²RpNmõ¿±«�(���A���P¢0��³�����3¢?�$�ó�$�Á�7���$�»�$�m�7�I� �*�·�������Ç�&�?�������A¢?�A�7��³�]¢<£��A�.�&��¢0���m�Î���P�$���3�7�&�0�����S�h£��3�7�?�����]�A��¶����¢0���?����¢0�3¢O�������P�����Á�Í�ø½��m�]¢f���7�U���P�*�º¢ó½2�]³��¢<®?���?�7�*�7�U�A�7�����]�7���?�È�v�?�ª���S���A£h£h���?�]���A�?± ¬~�0£�½3§�]�Á¢<£R± ½2�A£¡���]®?�z����¢f�Á�A�?�&�������]�U�¿���k�S£*¢0�����.����7���?�S£*��½2�DK�J��hð4ò7J7H�EAò?¥�¢0���·�$��¢0��¢k�×�����S£*¢0�7���?�,Äg�¢?�]�A�]���I¢0½S�h£h���7§Â�����7�  ��I����½��¾½�¢?�7�m�©�?��Ê ���I�~�7���A³�A�m���T����¢?�$�S���]®.�����À�$���»�S�m�¿�����m���]���È�0�������?³�S���$�����È���m�7�]��½S£*¢0���A�»¢0�U�7�?�&�Î����������³v�?���������£��]®?�A£RÄ�ôh¬[@ÍÃ_^²R.N<õR±Y���3���]¥2�����]§º®?���]¶È����� ���m�7�¢?��¢��$�3�0£,���µ®O¢<£h�*��¢0����¢&�¿�����S£´¢f�7���?�,±�(���]§ï�S�m���A�7��½��ó�����7������Äo���.�7���0����¢<£k¤"¢ ¢0���

���?��� ����¢0�������]�$�K�*���.���K���&���.���I¢0�S�����f���S�¾����¢0����]�m��� ���(½��~���m�7�0£�®?�m�9½��A�v�?�����$�������m�7�_�]¢0��¢?�A����³¢<£h£�§B½��(���7�m�M± Ãz��¢0�,�$�����7���S�?�m� ¢0����H�À��hò�¢0½2�?��������B�S¢0�&�Í�´�Í���?���AÉ��S£h�*�$����£�§D�7�A¢0���m�©���Uôo�����I¸?¹<õR±Ñ����.�À�����(�����0®.�*�S�m�k�A�.�3���AÉ��m¥Ë�����7�]�]�Â� ¢?�M�h�M������×���S�.�m�k¢f���Â���.�B���0£*�Î����¢0� �?���Â�f���$���Â��¢0�$�7���m������]§�¢0���K�A�?�3®.�]�I�¿������¶(�����·�*��¢K�¢.���S�����?±(�(�S�*��*�P¢?�������&�m�ǽ��?���z½S§«¬��f£�½S§ó�]�P¢O£ ±ú���­�����A����AÉÐ�2�]�7���&�]�S�I�]¥M¢0����½S§Â�¾½��A£*�7�.�����Áô �¾½���Q)-0õR±�¾½��A£*�7�?�¼�����?�2�3�7�m��¢0�ãé�ë É����]���S�m�È�����7�����

�,�m���Ië�±z�(���]���·�*�¢Î�A�?�&�������]�·�����?�?�A¢0�Ì����¢0�¢0�����]�µ���I�K���ª�������I¢0����¢��7��½��7�m�A�k�]¢0���$§?�������?���¢��I¢?��Ò"¥S¢0���·�����]���¾�*��¢<£*�7�&¢0���.�����]���I¢0�$�?�]���2�]��³�7�?�,¥M���A�v�]�����m�ª����¢?���$����Á�À?ð'�V����¢0�K�.��O,�]�I���v���?������«�7��½��7�m�A�U����7�?�&�z���m�����m�A� �� ± ���D ��A�7�m¥�����¡�7���S�?�Á¶��¡£h£&����§­�����*�S�]�S�7�h�;§ï�����ó�7��½��7�m�A�¢0���Î�������v�0�h£ ±ª���B�7�?�&�µ���0���S�m¥ �����Ï�A�.�&�������]�

£�£ �`�¡���<þ4ÿ����*Y +¡� � =;���]ÿ�+D&Ëÿ � �7þ��������ªÿ�+\�����&*�×þ�= ��ýIþÿ���+�� �"�����:

O7O

Page 34: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

�$�]�S£´¢.�A�m�P�$���D�v�0�h£R¥B½����º�����«�7���S�?�?Äo�ª�I¢?�7Òz���]³�·¢<�����B�����$��¢0���?�m�M±��(�����A�?�&�������]�<Äo�B�¿�����S£*¢0³�����.�D�*��¢?�]�A�]���I¢0½S£��µ�h�Y�������.��O,�]���]���A��½2�]�7¶��]�]��$��� �7���]�A�m�$�P�f�©�$���«�7���S�?�Î���È�.�*�7�7�����?�S�*�7�S������$���»�7��½��7�m�A�Î�;���.� �����Ç�?�����]�Î�*���7�SùÏ�$���]�3��£�§���¢<£h£�ô �¾½���Q�-fõR±¬~�0£�½3§Ç�]�P¢<£R±å�����S�7�P�����S�m�¿���?�«�$���A����®0¢<£h��³

��¢f�7���?�D���U������£h���?�S�k�f�Y�Y½2�A£*�7�?�,Äo���A�?�&�µ�]�3�I�˱�����]§ �S�]®.�´���m�÷¢²�¢?�$�S�����]³v�&�m�.�*¢0���m� ���S���]��³®.���]¶(�����÷�]�S®?�����?���µ�]�3�m¥ï¶����]�$��AÉ����]�7���]���A�m�����§Ð�$�S�*¢0���7�*�7�I���A�.�����m�7�2�?���S�m�Ƕ(�����z½��?���Ç���m¢<£�³£h�h�v�«��¢0�I¢0���f�´����¢0�7���]�S�I��¢0�����A�?�&�������]�U�����?³�.�I¢0�Â���$�����?���?�z���A£��]�7§3�2�?±å�(���ò�×���S�?�m�·¶(�]���ñIÀ7H����f£´�µ����¢0���7�.�&���0�,�����Í���3���]�$®?���]¶(�]�m���A�?�S£*�½2�Á�A�?�&�����$�]�P�����?�.�I¢0�Â�]±��(���]§z¶(�]���D¢?�7Ò?�m��$�k�A¢0��Ò&�m¢?�$�&���S���]��®.���]¶��]�?Äg�(£��]®?�A£,�0�_��¢f�I¢0���0�*¢�±�����]���ó¶(�]���Ç�A���.�3�5�×���S�.�m�D¶����­���3�$�]��®?���]¶(�m��7¶(�«��¢0�����]�S�I�Î�m¢?�$�,±ä¤R����¢<£h�Ó�0�������z�]¢?�7�m�]¥�$���P ��A�7�·���3���]�$®?���]¶(�]�D¶�¢?�·¢U�3���¢f�»��¢f�7���]�3�¢f���º���������&�?�����]� ��¢<£h��¥�����¶�¢?�¾�������A�?�&�������]����$�?�?�I¢0�º±,�¾���?�����]�����S�����7§S³v�������]�����7§��$�S�´¢f���7�*�7�I��A�.���7�7���������m��¢·�7�m�A�?���D�7�]�¾�0�9�7���S�?�m� æR���A�v�]�����m��$�ߢ?� �$�������$�?�����A�0£.�7���S�?�m�AçM¶����K¶(�]����¢?�7Ò.�m�B�$��S�]�$�]��������� £��]®.�A£´�¾�f����¢0�I¢0���0�*¢�½S§����m¢?�.������������$�I¢0�����A�7�����I�¾�f�������&�A�?�S®?�]�I��¢f�7���?���K�]¢0���7���m�º�?���½S§·�����K ��I���Y�7�]�¾�0���7���S�?�m�]±(Ñ�����¢<£h£�§?¥M½��?�����7�]�I��f�°�7���S�?�m��¶(�]����¢?�7Ò.�m�B�$�¾�´�S�]�S�7�h�v§k¶Í�S�´�$�·�0�"��������S���]��®.���]¶��]�m� ¶�¢?� ¢0�&¢?�A����¢O£3�3���·¢0��½��A�����k¢0���¶Í�S�´�$�P¶�¢?�(¢&�A�.�&�������]�������.�?�I¢0�P±z¾�]�A¢<�h£´� �0� �$���÷���m�7�S£��I� �]¢0�ä½��Õ�;�?�����

���²ôh¬[@Íà ^²RpNmõ¿¥�½����D�����ó�0®?�]�A¢<£h£µ�A�.���$£����×���.�¶�¢?�9����¢0�K�����·���7§����S�*¢0�$�7�*�i�7���S�?�m���.�*�U���?�k�S�½2�]�����]������¢f�»�$��¢0���A���?���m���¿���������Ç�*�S�]�3���¡�v§.������$���B�A�?�&�������]�I���;���.� �$���K�3���¢f�Â��¢0�����]�S�I�]±d¤R�¢Î�v���������]���$�m�7�m¥¾�I¢0���S�?�©£�§z�7�A£��m�A���m�­���7§Ð�$�S�*¢0³�$�7�*�7�I�¾¶(�]���Â�7�]�S�K�����?�$�Ð�A�0£*�¾�0���7¶(�&���S���]��®.���]¶Y�¢f���&¶(�]���K¢?�7Ò?�m�µ���©�7���S�?�K¶��S�*�����.�����*��¢ �����?³�.�I¢0�¢0���·¶Í�S�´�$���?���K�*�¾¢����m¢<£ ��¢0�7���]�3�<± å �S£�§S�-��ã�¢?�S�&�$���Â�A�?�����m�A�¾�*�S�]�S�7�h "�]¢0�7���?�,¥�¶Í�S�´�$�¢O£´���¢0�������3¢.�����m��¢µ����¢0���A�9£��]®?�A£R±¦�¢f�I¢0���0�*�U���]�.�S£���¢0�����AÉ����m�A���m�°���D�.�*�7�S£*¢m§

�����A¢0�7���?��¢<£Å¢f�����?½��7�m�$�¿��®?�B½2�]��¢m®.���?�¾�v���?�ã�7���&��$�Á�7���&�?±��(�S�*�µ�R¢?�A���¢0Ò?�m�µ�������I¢?��Ò��0�k������×�����S£*¢0�7���?�Î�����?�?�I¢f��m¢?��§?¥2�;�?�B�S�A "�$���]���$���m� ���£h�����?�S�*�7�7�*�µ�������A�m���¿�����P�0�(����� ���������I�K¢0�����?�]��³�]�A¢0�7���?�B�f���������?���$�����I�_�]¢f�k�7�]�]�È���ͽ��~�����.�´�]¢f³����®.�k�f��¢·���7§Ð�$���0£��?�0�*�]¢<£����$�?½S£��]�P± å ��� ���S���]��³

�m�7�7���������0���S���*�~����¢0�m¥0�$������¢0�I¢0���f�´¢K�×�����S£*¢0�7���?������?�?�A¢0�ã�S�3�m�(���.�������DJ?ñhɾ�7�?���S�*�7�7�*�]¢0���m�Ï£h����³�?�S�*�7�7�*�·���m�$���S�*è?���m�]±�¤¿�������Â�7�]�S���]���A�m��¢0����¢?�7³�7���&�m�Ç���D½2�D�7§3�S�I¢?�A���´�]¢O£¡£�§z�¿���&�S£��?¥Y¢0���°������?���]�A¢0�7���?���0������� �����?�?�I¢f�ã���A£h���m�K�?���7���?�$�7������7�?�&�KÒ.�]§3¶(�?�I���˱jË��µ��¢0�I�¿�����&�?�¾�7�]���7�k�.�*��¢f�&³½S���?��¢0�7���?�Ç�*���S�?���?±{ë�®.�]�ó¶(�������?�����7�?���S�*�7����³�]¢0���m� £h�����?�S�*�7�7�*�Í���m�$���S�´è.���m�]¥S�����(�����?�.�I¢0�È�]¢0�¢0���I¢O�����7�?�&�B�����]�A�m���(���º�&�Ð�S�A£h�������S���¢0�P½2�]³��¢<®?���?�m±d�Y����¢0�$�]�3�7£�§?¥S���S�*�~�*�~���3�$�¿��½S£�� �?�S£�§Â½2�]³�]¢0���7�������·�����?½S£��]� ¢f���m¢·�*���7���$������¢0�K�����$�A£��]³®O¢0�S���$�m�7���?�����m���v���?�È�$���(���3���]�$®?���]¶(�]�m�(¢0�����AÉ�³���m�A���m�M±¯?�7�h£h£R¥������Y�×���µ�S£��B�S�m�×���.�Â�0�,�����Í�����?�?�I¢f�ï����³

�.�*�]¢0���m������¢0�,½S§� ����.�����K¢0�������?�����´¢f�����&�m¢.�7�����m�¢0�����A�?�����A£*¢0�����.��� �0�������m�7�(¶(�����������~Ö��0¶Á�f��������A�?�S®?�]�I��¢0�����.�,¥Y�.���Á�]¢0�«�&���S�A£k�$���D½��]��¢<®.���.��0�K�?���ÂÒ.�������0�¾�3���¢f�Á½2�A�����U¶(�������?���µ���¿������������ï��¢0�����I¢O£K£´¢f���?��¢0�?�Á¢f��¢<£�§Ð�¿�*�]± â��m�]¢f���7������·���]�����m�7�]�S�I¢0�7���?��¢O£��&�Ð�S�A£(�0�������&��¢0�A¢0���0�*��������È���7�m�­���È���������$�?�?�I¢0� �*�D¢Ç�?�3���ï¢0��³�����<É3���¢f�7���?�ó�0�B�$���P��¢0�I¢f���0�*¢0³v���A£*¢0���m�Ç�A�?�?�S��³�7��®?�&�������A�m���7�m�Í���D�S���¢0���Ë¥,¢0���º½��m�]¢0���7�©£´¢.��Ò�0�K£h�����?�S�*�7�7�*�D�A�?�&�2�]���]���A�D�]¢0�ó½2�Ó¢?�]�A�.�&�&�?³��¢0���m�Ç���ï�����Á�7�]�$�7������¥¾�����D�����?�.�I¢0� �]¢0�«½2��7���]�A�m�¿�v�S£R±�¤R���&���S�A£h����� �3���·¢0��½��A�����3�������?�]��³�]�I¢<£R¥0����� �v�?���&�]�2�*�����?�_�7�(�m¢?�7§¾���Y�.�*���A�0®?�]� ¢0����;�.���¢<£h��Ô]�&¢0��������� £*¢0���$�]�(�*�¾���?�Y�$���k�]¢?�7��¢0�S§�&�?���?±

Y |����(�,����,�

ÃD����¢<®?�U���m¢?�$���m�ï�����Á�]���ï�f�Â�����ó�A�]�S������§?¥½����ó¶���¢f����¢?� C�E�J���� Éó½2�]�]��S�?���z���ã�$�]���Â��0�k��¢.���¿�����Á�$���T�Í�¾ê å ®?�]�·������§?�m¢0�I�Ë¥(�¢0�S§��¢0�����I¢O£�£*¢0���.��¢0�?���7§Ð�����]�Â�K��¢<®?�·½��]�]�ó�S�]®.�A£�³�?���m�µ¶(�������.�nOG�]�$�]�3�~���������3���m�]¥.�����$£����.�����·����¢0��0�©�]¢f����§.�����Ç�?���P�A�?�S®?�]�I��¢f�7���?���·¶(�����z�3���·¢0����7�]�I� �"æ ±��(���m�7���7§Ð�����]�Â���$��¢0��¶(�����º���]�?�S£����?������BÃzÃzÃÈ¥��S£*¢<§Ï¨®R�zK� ��ç ¥��0��®?�K���S�v�?���¢f�7���?�¢0½��.���B�7���m�$�h "�µ���?�S�*�]�]¥,�$�A£¡£������?�7���m�]¥M¢0�����]�S���]��,���������z�,�m���Ï�A�?�µ���]�7���7���?���]±î@Í�O¶(�]®?�]�<¥(���?���

£�è W��*� �g+�#�+������[+9�$þ��9��+��p������# �e�e������&��2�"����.�"��;����&*�7þLt+�� ��*&]ÿ��*�÷8"�����*�×þ ��4ÿoý�)+�#�+������g+�=[�7ý��f��7þ�+ �"�4ÿoý��4�"�������+�=ýIþ1+4ÿ��[!l��#=°� �p�� � ý��+�:

£�é �©�����4ÿ�t�æ1+��7þh�1���*���7ý��+�:g�9����+�����þ��g����g��+;!��2�e#���&ÿ������7þ ����4ÿ�f� ��# ý��i���*���`�����7þ��*��� � #��j�l���4ÿ�!�����!l�2��#��7þ�+�:

OpS

Page 35: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

��¢.�(½��]�]��¢0½S£��B���]F�JpGG������k�Í�»����� ¢f�m±

õ�� � �ª����4©�;��ì��j�hüMLòü7����� ûª�9�1�����*������ó���K¥K¢?���,���������È¢?�A����¢O£¡£�§È�S�m���A�7��½��m�����m¥��¢.�����]®?�]�¾½��]�]�U�]¢0���7���m���.���m±?@Í�0¶��]®.�]�m¥������]���¢f���P®0¢0�7�*¢0�S�I�&�f�B�������?�7���0����¢<£¾���­¶��S�*���«�A�?�&³�����$�]�k���$�?�?�I¢0�·�K��¢0�����´�$����¢0�$�P¢0���Á�����O¶¼�����A�����Ò?�h£h£*�·���åéA�3���·¢0��³v���m����ë�±�¯0�����A�óìmí?í�ì.¥�@����?�UG�3�]½����]�º��¢?�&½2�]�]�«�?���S¢0�S��ÔA�����Ç�����Ó���?³R�]¢<£h£��m�¢f���3��¢<£\UG�3�]½����]��¦��7��Ô]��¬��.�&���]�7���7���?� �"ð ±¼��£�³�$���?���?��®?���]¶Y�(¢?� �$�K¶����]�����]���$�S�´�~¢0���S��¢<£G�A�?��³�$�m�7�M�*�,�$��½��~�I¢0Ò?�]�B�7�]�����.���¿£�§K®O¢0�7���m�G���&�&�]���7�A£�§¢f�&�?���ó�$���Á�¾¤Ó�A�?�µ�k���S���7§?¥9�������]®?�]�$�����A£��m����A�.�3�7���S���m�¾���&½2�k�$���B�&�3���Y¶(�A£h£�³vÒ3���0¶����0�������¢f�����]�&���I�d���B��¢.���~�����B���K±S�(���� ��A�7�(�����?�?�I¢f��$����¢?���B¢f�Ó�����$�m�7���7�*�A���m�U���ï¶(�h£h£�¶(���Á¢��?�f£´��µ�m��¢<£©¢0�����3ìm¹?¹�¥g¹?¹?¹ � ôA¥¾¶��S�h£����m¢?�$�«§?�m¢0�m¥K¢½��$�?��Ô]���&�m��¢<£�¢0�����.N�¥o¹?¹.¹ �*�B¢<¶�¢0�I�S�m���$�Â������µ�3�7�ÂéA�S���¢0��ë·�����.�?�I¢0�Æ¢0�µ�?���������Â�A�?�S���m�7³�A¢0�3�A�]±º¯0�����A�Uìmí?í?¸V¥_¢<£h£��]�3�$�7���m�B�����7� ½��������]³��¢f���m�D�$�P½��·����è.�S�����m���?��¢0�S§����?�S�*�·¶���¢0�I���?³�]®.�]�m±\ËÍ�������?�.�I¢0�²��¢?�¾¶(�?���������?�I¢0���º���7��Ô]�§.�]�m¥0½�����������è.��¢<£h���ק��0�M�����(��¢0���7�*�$����¢0�7�����������?³�.�I¢0�Â�(�7�]�]�Â�����&½��9�����A���m¢?�¿�����·�]®?�]��§·§?�m¢0�m±�����K ��I�7�©UM�3�]½����]�K¦�����Ô]�µ¬��?�S���m�7�(¶�¢?�(���A£*�

¢f�Ââ~�3�7���?�,Äg�&¬~�?�&�������]�¨º���7�]���º±«¯0�hÉ»�A�?�&³�����$�]�������?�?�I¢f�Â�]¥(�v�?���·�3���·¢0�À�7��½��7�m�A�I��¢0����$�]� �S���¢0� ���S���]���$�?�3¢0���.�I�D¶(�]���Ç���S®?�0£�®?�m� � �?±�����Ó¢?�S�����S�*�7���A¢0�7��®?�Ó�A�.�&���������]�º¶�¢.�����m¢?�S�m�½S§�zK¢0�S���A£ z¾�]�����]���<¥�¢�®.�]��§Á�$�m�7���m�A�I¢f½S£��º ��?³���$�Y¢0�&�?��� ���������S�h£��3�7�?���S§�¢0���&�A�?�?�S���7��®?�K���$��³�]���A�D�A�?�µ�k���S���7§?±À�����Ó�.���3¢0�S��ÔA�����ó�A�?�&������³�$�]�?¥3�$�S����Ò.����������¢0�~����¶�¢?�~���?�(���3�$�¿��½S£��&¢0�(����������µ���;�.�P¢��A�?�&�������]�º�����?�?�I¢f� ������¢.����������Í�ã¢?���?�����f����¢O£¡£�§z�S�A ����m�M¥Y�S�m�$�*�S�m�Ç����¢0�&������A�.�3®?�]�A��¢0�7���?�ï���?�S�*�]�ζ��]�$�����z½��ó�$�m�7���7�*�A���m�M¥½2�?���°�;�?�µ�����P�A�?�S���m�7�I¢0�S�I��¢0���Ç�A�?�S�;�m�S�]�A¢0���m�]±¬~�?���7�mè.���]�3�7£�§?¥S�������×���S�.�m��¶(�]���K¢?�7Ò?�m���$�k�7�I¢<§�.�����?�S�*�P�S���7�����������A���µ���3���]�$���?�3¢0�����.���]±z¯?��½�³���I¢0�S�7�*¢<£V�S�]�A¢<�h£G¢0½2�?���������Kìmí?í�ì�UG�3�]½����]�(¦��7��Ô]�

£�ñ������!76�8�8"'9'9'�: �oý�� � �*�×þ�: ����� 8�g�þ4ÿ�ó���� 8e�oý�� � ���7þLt!<þ4ÿ�ó���: �������

£ õm�ý';=©­.ý�� � �*�×þ2þ���¬��]ÿoþ���+r���.�"�����]ÿ�+h!<þvý��Aþ �"��+��mý����&�e��+vý � �j� � ���j�výg!<þvý�����+�+;��*&]ÿoý�8fAÿ�+��p�"��ÿ��*!�����:

£u$ �L�[���*�ë­.ý�� � �*�×þ#gVþ4ÿ�ó������7þ��~ÿ��mý"�oý��#=7�����9�7ý�[!*�����7þ!<þvý��Aþ �"�[+©��þ��©���������&�H��7ý������+�� �����+�Y =9�����©��������_+�� � tk ������+³H��7ý������&��7þ �"����+�Y7�"��&i����� ÿ������7þvþvý�÷�"�výAþ�+ëH k �*&����+�Y�:

¬��?�S���m�7���]¢0�B½2�~�;�?�����9����ô�ë����$í7N0õR± �(���(���m¢?�S�]��]¢0�¢<£*�7���A�?���7�S£��Yôg¨Ó¢f��ípS�¥?¦ £*¢?í?¸0õS�v�?���&�.���~����³�;�.���¢0�7���?���.���?�����]��§?�m¢f�I�]Ä��A�?�S���m�7�I�]±�ȶ(�*�S�A£�§D�.�*���A�����7�m�º�*�������k½2�A�;�.���Âìmí.í?¸�¶�¢?�

���������m�7�����´�A�$�m��®��]±��������m�����7�*�A���m�D���9±��ß�]�A�.�I�S³�����B���Y�����7������¥.��¢?���¿�����B¢Í���m�7���7�*�A���m�����ζ(�?�S£*����?�Â�7�Sù��A���v�?� ���S���A£h£h���?�]���A�?±Ã@Í�0¶��]®.�]�m¥ �v���?�¢0���?�����]�º®?���]¶��2�0���3�����m�����7�*�A���m�­���m�7�I��¢0�$�D���?����?�I¢O£¡£�§·���7�A£��m���]±~ÃD�K¢0���¾���?����¢<§?�����&����¢f�������]§�7���?�S£*��½2�©�]¢f���7���m�º�?���Y¶����$�S���Î�����k�A�?�S���AÉ��Y�f������4UM�S�]½����]�D�A�?�&�2�]�7���7���?�,±²¯?�7�h£h£ ¥ ���m�7�$�7�*�A���m����m�7�I���]¢f�»½2�Á�S�]®.�´���m�«���ó¢.���7�m���·�����D�7���]�A�m�$��0�P�&�?�$�ó�7���m�$�h "�z�¾¤D¢0���S£h�´�]¢f�7���?��������¢f�Á¢0������?�Â�A���m¢f���m��¶(�����Ç��¢?���¿�����D�$���Ó���¼���Ç�������M±ë É�¢0�&�S£��m�µ�0�9�������z�7§Ð�����]�Â������¢f�©�]¢f�ó½���¢?�7³�7�m���7�m�·½S§Â¢ ���m�7�$�7�*�A���m�&�$�m�7��¢0���(���S���A£h£¡���?�]�S�¾����³���?�7�����Â��§Ð�7�$�]�Â�]¥��A�?�&�������]�(���A£��Ó���]��®?�*�A�m�]¥2¢0�����¢0�����I¢O£Y£*¢0���?��¢f�?�D�A�?�&���.���]�3�I�·�f�B�?�����]��¢0��³�S£h�´�]¢f�7���?��� ����¢0�K¢0���&�S�m�¿���?���m�º�v�?�B�7�2�m�$�¡ "�µ�S�?³�¢<�����]±&�(���µ���m¢?�S�]�k�]¢f�T¢O£´���Ó�A�?���7�S£��·ôh¯?�S�*ípS?õ¢0���&ô UM�3�mí�S?õ0�v�?�,�&�?�$���.�´�$�A�����¿���?���?�K���m�7�$�7�*�A���m�������¢f���������%UM�S�]½����]�K�A�?�&���]���������.�,±¤¿�P�����DUM�S�]½����]�B�A�?�S���m�7�m¥��$���k�7�AÉ���¢<£_�?���m�$�7³

�����»�A�?�&�2�?���]�S���0�k�������?�����f����¢O£B�3¢0�&�ª�´�Ï���?³���?���m�M±������ߢ<���¼�0�,�����ß�A�.�3���m���I¢0�S�I���*�������A�?��³®?�����A������� �×���S�?�m�Í����¢0�Í�����]§Ï¢f���B�S���¢0�,± å ����?�D�&�.�����3���·¢0� �A�?�S�v�m�S�]�I¢0�$�m�D¢<£*�7�«��¢0�$�7�*�$��³��¢0���K¢0���µ����§����k¢O�´�µ�����;�7���S�?�m�d���·�*�S�]�3�7�h�v§?����������&�S���¢0���]±&�����i�×���S�.�m�B¢<£*�7�º�I¢0��ÒP�$���&���]��³������¢<£*�K¶(���������m�����m�A�B�$�Â�����A���ÂéA�S���¢0��³v���m�$��ë�±��£������.���?�,¥ £��3�?Ò.�����À¢0�������U���I¢0���$�A�7�����I�]¥ �?����]¢0�Ó���]�B����¢0�Í�����k�A�?�µ�������]�������?�.�I¢0�Â��¢f���?¥S����?�]���]�I¢<£R¥��.½3®.���?���¿£�§Á�.�*�7�7�����?�S�*�7��¢0½S£��ª�;���.�ø��������m¢<£M�3���¢f���]¥?�����]�$����¢<®?��½��]�]���]¢?�7�m�Å���¶��S�*�$��7�?�&�U¢?�A����¢<£K�3���·¢0����¶(�]�����I¢0��Ò.�m�Ç£��m�����S��³�¢0������¢0���7�?�&�(�A�?�&�������]�����$�?�?�I¢0�·�]±M¤R� �R¢?�A�m¥��� ì<í?í�ì?¥S���?�¾�?�S£�§�¶(�]���k�7�.�&�K�����?�?�A¢0�Â�(¶(�]��������?���?�S�¾���&½����S���¢0�º½��A�����3�]¥M½����K¢0�Ó¢.�A����¢<£�3���·¢0�«¶�¢?�·���*�7�I¢fÒ?�]�z�v�?�P¢��A�?�&�������]�º�����?³�?�I¢0�ø½2�m�]¢0���7�·�0�����]�9���&���m�]�]¢0½S£���ÒS���0¶(£��m�S�?��0�M¯?��¢0Ò?�m�7�2�m¢0���?Äo�G£h���$�]�I¢0������� � 9 ±_�(���d���S���]���m�����m����m¢?�S�]���*���$�A�;�]���$�m�U���������P¢0���7�*�$£��P¶Í�7�������]��½S§¬���¢0�7£��m�&¦Å£*¢0���m¥��.�����0�Y�����·�3���·¢0�ó�A�?�S�v�m�S�]��³

£u=�9����þ���"+vý��¡'9��#T���Ëÿ�+i�`����i&<ý���+i�<ý��²���<�]������9�b!.�"+�+���&µÿ�+g+4ÿ��g!���# � ����"��+��©���mþ4ÿ�����þ���¬��]ÿoþ���&N¦*mQ¤G�k¨G�>¥è:m�>nC���+��*������+�+L�����j!p�7þL��ýIþ����"�����]��þvý�� ������]ÿ�����+i�vý�Iþ �"�����������Uÿ���������� ÿ������p����:

O?¸

Page 36: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

¢f���m�~���P�����&ì<í?ípSDUM�S�]½����]�B¬��.�3���m���ßôg¦ £*¢?í?¸0õ¿±������¢f�&�?���S�,�0���7���&�(����¢0� �����1�×���S�?�m�������]���

�A�.�&�����S�´�]¢f�7�����«¶(�����ï�m¢?���ï���]���©����¢O£k���È�����UG�3�]½����]���A�?�&�2�]�7���7���?��®O¢f�7���m�]±�¤R�(��¢?�d½��]�]��������]¢.�7�Á�$��¢0���m¢?���u�7���S�?���?�]�I�º�&�?�$�Á����¢f�À�?����$��¢0���A�D�$�U���S���]���$�?�3¢0�����m¢?�$�z���]��������¢<£R± ¤×�S�]³¢O£¡£�§?¥M�������A�?�S���m�7�I¢0�S�I�������?�S£*�P½2�&¢0½S£��k�$�Â��¢0��³�.£��D�A�?�S®?�]�I��¢f�7���?���&�f�B���S£¡���������m�ï�S���I¢0�����.�»¢?�¶(�A£h£"¢?�d�k�S£��7���S£��K�7�m���¿���?���d¶(�����&�m¢?�$�i�7���S�?�?± ¤R��$���P½��]�f�����S������¥¾�m¢?�$���7���S�?�º¶�¢.�����mè.�S���$�m�ó�$��A¢0��Ò������ß����½��×�m�A�A���v���?��£��m¢?�7�(�3���·¢0�Â�$�B�&�3����S���¢0�,±��(���]§·¢<£*�7����¢?�&�$�B�¢0�$Òk�$���Y�2�0���3�Y¢f�¶Í�S�´�$�z�����]§ó½2�A£h���]®.�m�«�����D�7��½o�×�m�A�I�·�7¶(���I�$���m��v���?�ã�A�?�µ�������]�������?�.�I¢0�Â�~���&�S���¢0��½2�A�����3�]±¤¿�·�*�Â�.�hùÏ�A�S£��P�$�ÁÒ?�]�]�z���A¢?��ÒU�0�B�������7�¢<£h£

�$��¢0���?�m�����P����� ���S£��m�]±�¤¿���*�]¥V�v�?�(�����7�I¢0���A�?¥2���?��$£��m¢0�µ���O¶ �������?�I¢0���U������Ô]�º�0� �3ìm¹?¹�¥g¹?¹?¹·¶(�h£h£½2�¢<¶�¢0�I�S�m�M±��(���Pìmí?í.í&���S£��m���7�I¢f���B����¢f�¾�¡�Y¢�A�.�3���m���I¢0�S�Y¢?�$�S���]®.�m�K¢&¸?¹�Mo¸.¹&����¢f���A�k�f��½��A������©�´���I¢0Ò?�]���v�?��¢9�3���¢f�&½��A������¥S���~¶(�h£¡£,½2���0��®?�]�¢f�È���3�$�]���&�m�.�*¢0���«�����7�����å¢m¶�¢0�A�ï�0���.N?¸�¥g¹?¹?¹¢f���å¢0�������.���7�*¢0���»�A�.�&���]�7���7���?���°æR�����S�7�ó����¢f����S®?�0£�®?�B¢0���.���&¢0���µ®?�*�S�]�����������I�[ç�¶(�h£h£_½��K���A£*�¢O�;���]�µ����¢0�m±)@Í�O¶(�]®?�]�<¥����0¶ã���S�*�µ�I¢0�7�����*�µ�AÉг¢.�A�7£�§T�]¢O£´�A�S£*¢0�$�m���*� ���?�B�A£����$�*��¢0���m�M±ªÃD�¢<£*�7��v�]�A£_�����K�S����½��]�¾�0�r�×���S�?�m���´�Í���S�Â�7�¢O£¡£ ����½��¢©½�¢?�¿�*�~�v�?�Y¢&�7�A¢0�7�*�7�7�*�Í£h��Ò?�k¸?¹oMo¸?¹�±

å �����0���$���©¢O���·���0���$��� UG�3�]½����]�B�A�?�µ���]�7��³�����.�,¥Y¢?�_UM�S�]½����]�Ó�7�I¢f���m�]¥~�*�·���Á¢?�S®0¢0���A�D����� ��A£*�ï�0��¢0���7�h "�$�*¢<£����3���A£h£h���?�]���A�?± �÷�¢��×�?�����7§�f�����m�7�m¢0�I�$���]�I�¾½2�A£¡���]®?�·����¢0�¾���S�*�K�A�?�&�2�]�7���7���?��S�S�m�����?�<¥Å¢f���Î�´�©���?� £¡��Ò?�A£�§����D�7�]�$®?�Ï�������ó¢�����$���3�7�?± ¯?�?�µ�B���0£*�º����¢0�Í���¾�´�Í���S���¿��½S£��Â����¢f�¢ª�����?�?�A¢0�ã���&�S£��]�&�]�S���m��¢?� ¢0�D�]�S����§º���P������A�.�&���]�7���7���?���]¢0�·�]®?�0£�®?�Í���3����¢K���7�A�v�S£,��¢0�����I¢O££*¢0���.��¢0�?�k��§Ð�7�$�]�P±�¤R�Í�*�Y¢O£´���Â�2�3���¿��½S£�������¢0��½S§¢f�7�*�¿�����Ó¢0�ª���S���]���m���K�������������?�S�*�0¥M�����Â�A�.�3���m����·¢m§ �����?�&���~���m�7�m¢0�A�����]�I�d���k���I¢0����¶(�?��Ò.�����B�?��������À��§Ð�7�$�]�Â�]± Ë��]®.�]�������A£��m���]¥ �����Á�A�?�µ���]�7��³�����.����¢?�(½��]�]�º�?�]���7�����&��¢f�I�7�P�A�?�&�µ�]�3�I���;���.��·¢0�3§µ£��m¢?�.�����Ï�$�$���]�S�7�*�7�I�¾¢0���·���S�h£��3�7�?�����]�A� æ ` ±

èud �L�©� �"����=.�i��þ�fAÿ��¬�Íÿ���+�<�#²�.�"+_ý � �×þ���& ��s¨�¨ �vý����*�ê0þ�+���!p�7þ�+vý��T'9�<ýD���_����©(9�*����­.ý�� � ���7þ©�vý�þ���fAý<�����*���7ý��g!p���4ÿ��4ÿoý��¥=9'9�]ÿ����ª�*���������+©��vH ý � �mý�Aÿoý��+©��*&�*��!<þvý�&������4ÿ�f�%��*���.�e��!*� � � ÿ��¿ÿ��L#D���g!p�7ÿ���7Y :l­.ý�� � ���7þ�"+�����������#;&*�����2�$þ���& �Íÿ��*+�<�#j�r�7ýtL+�!Oý��+výAþ�ý"�.�����I�7ý�������+���=+4ÿ��*����=h�"���×ýAþ�&]ÿ��*�%�vý����*�(þ�������+�=�'9�����%���*�g�Iþ �"��&]!mþ4ÿ�ó��

�(����è.��¢<£h���ק �0�"�$���������?�.�I¢0�Â������¢0���A�?�&�2�]������������Y�A�?�S���m�7����¢?�~½2�]�]�&�����A���m¢?�×�����2±��(���Í ��I�7������?�?�A¢0�Â�K�$��¢0����¢0���7�*�$����¢0���m�Î���U�����PUG�3�]½����]�¦��7��Ô]� ¬��?�S���m�7�I��¶(�]���(£h�����7£��¾�&�?���(����¢0�&�¿£h���?�S�7£�§�&���.�¡ ��m� ëjUM¤����ß�˱ å �������]�m�ó�.�S£�§°£��3�?Òz¢0��&�?���(���m�A�]�S���$�I¢0�����A�7�����I� �.���S£´¢<§ ¶(�����Â�7�?�µ���f������m�7�����$�?�?�I¢0�·� ���B�7�]������¢f�������]���Kð�G������.�?���m���]±¤R���7�]�]�Â�~¢<¶�¢f�I�����]¢0�&�?�]�~���]�?�S£��¾���S���]���m�7���m�©���¶��7���7�����ó���(³v��¢.���¿�����������?�?�A¢0�Â�]±�@��]���A�?¥Í�����UM�S�]½����]��¦d�7��Ô]�Y�A�?�S£*�©�����S�]�m�µ½������SÖ����]�S�7�*¢<£,�?��Y¤(���m���m¢0�I�$�,±ÃD�Ͷ��.�S£´�k£¡��Ò?�¾���9 ��S�´���Â���S�*�~�7�m�A�7���?�·¶(�����¢

�7�¢<£h£��AÉ��A�]����� �;���.� ¢��A�?�S®?�]�I��¢0�����.�D½��]�7¶(�]�]������K¶(�������]���0� �����&ìmí?í7Q²UM�S�]½����]�ߦd�7��Ô]�?¥h@�����¥¢0���P¢©��¢0���7�*�A�S£*¢0�7£�§��]�&�?�����.��¢<£h�7���S�?� æ á M������������������� ��!"$#&%$'�(�!)�!+*,(-!.�!$/0%�1�2�3�254�68795:�;8��<�=�>@?A'$#B254�CD�E?F(-!/�G�H�G+%$/�I5#J� ?"�/82�'�GK� ?�1�!$38GK�L?M�2�3�GN��������������,?A"�!+4�(�GO/�"�#BG�'$#BGO/)�!+*'$#B254PCQH+!+RBG�'�2SRBG�HUTV?%�R,.�G�G+1&254�61&25CBGA'$#WGX�*�(�6�GY#BG�/8GUT95:�;8��<�=�>Z$:�#B7

õ;��� �©ü7�N7�p��5�8¯i�7�j�)�©ü7�8�j��(���~ ��I�7�m¥0¢0���9�����?½�¢0½S£�§K�����~�&�3�7� ¶(�A£¡£�³vÒS���0¶����¢0�����I¢O£"£*¢0���.��¢0�?�B�7§��7���]�ã�$��¢0�(��¢?�(½��]�]�º�����?³�?�I¢0�µ�&�m�¼�*� ëjUM¤����k±M|0�S�7�]���ÃÎ�A��Ô]�]�S½�¢0����A�Ð�S�m�òëjUM¤����»¢0��¨º¤×���S���7����� ������§?�m¢f�I��ì<í7QpS?³ìmí7Q7QV± ���S�´�zé$�v�7���]���.£�§Ðë­�����?�?�A¢0� �¿���k�S£*¢0�$�m�¢_b(�?�.�]�7�*¢0�È���7§������?�$���]�I¢0�S�*�7�m±Õ¤R�����]�����I¢?���m������K���S���]�����.�3¢0���?�<Äo���7�A¢0���]�&�]�S�I�d���3���·è?���m�7�����.���¢0���·�����?�m�~�S���T­m���]�Í���k�A�?�S�7���S���K�I¢<£�Ò?������±~�(����&�m�$��¢0�S�*�7�̽��]�S�����3ë�UM¤[���¼�*��¢�®?�]�$§T�×���µ�S£���?���?±�Ñ����A�7�m¥2¶���¢0�¾�*�¾�7§3�2�m�º���3�����$���k���$�?�?�I¢0��*�D��¢0�A�7�m�M± �(���]�,¥·¢z�7�S���I¢0½S£��ó���]�S£�§ï�*�º�v�?��³���S£´¢f���m�D½S§D�¿���&�S£�����¢0�����]�$�Ó�$�m�A�?�?�S���7���?��¢0���ÿ�+j'Mý�7=������g�7ý�������+��;'Mÿ����9�<ý�� � ���*� ��&D�"�÷��ÿ��7:��`�²���.�"���+��=r'Mÿ����,�Íÿ��*+�<�#pY +��7ý���vþ4ÿ � �*�4ÿoý��¥=q���*�?!<þ4ÿ�ó��i+��mý����&� ���7ý�g�\�lse¨¨�= se¨¨l:

èRû �`�������I��ý���oý"'Mÿ����g�vþ �"��+��7þ4ÿ�!��9�"��&g�����Mý�����7þ�+�ÿ��g���]ÿ�++������4ÿoý�7=9���*�?+�!p����� ÿ����T�"��&D�Aþ ��g���$þ��7þvþvýIþ�+g�.�ef��©�mý�� �����T�7ýAþvþ���������&7:��¾ýAþ��7ýf��7þ�=9�4ÿ��~ÿ����©ÿ�����ýIþ����"�4ÿoý��T&*��t�mý�4ÿ����i���*�[�����"����þ���+�!0ý��+����4ÿ��g��+�ý"�������g!p��þ��4ÿ��¿ÿ�!.�"����+�.�"+q�e��+vý � �����i&�����������&¥:

O7Q

Page 37: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

����½��7�7�������7���?���0� Ò?�]§3¶(�?�A���Yô ÃD�A�`Q7Q0õR±��(���¾���]���élëjUM¤����Y³4£h��Ò?�mëª�v�?�k�$��¢0��½2�?�I�¾�*�9���7�m�D�$�P�&�m¢0��$��¢0�Y�$���k���$�?�?�I¢0� ���7���m�¾�����]¢0����§������&�A�?�S®?�]��³�$¢0�7���?�D½S§����¿�����Ó�$�m�����S�*è.���m�k�×���©�¡£*¢0�µ���������3�7��f��ë�UM¤[����Äo�]±

ë�UM¤[�2�À¶(�?�S£*�·�A�]���I¢<���S£�§Â�2�]�7�v�?�������S�?�7£�§�����$��� UM�S�]½����]�Á�A�?�S���m�7�A���?���¿�����h£´¢f�D�����7�I¢f�3�7�*¢0³�����.���B�f���$���Â���K± �(�S�*�K�*� ½��m�]¢f���7�����������S���]��³�$�?�3¢0���.�I�_¢f���Y�$��§?����� ���K ����µ�?����¶Í���]�����]�(�����]§¢f���Â�A�?�S®?�]�I�¿�����º¶(�����Á¢��S���¢0�Î�?�B¢��¢.���S�����¢f���U���3���Ë¥�¢0�$�����?��£h��Ò?�A£�§ó�����?�2�]�ó���»¢f½��?����$���]�Â�7�A£�®?�m��¢f���B�$���A���~���]�I���?��¢<£������?½S£��]�Â�~¢?�G�¡��$���]§Â¢0�����A¢<£�Ò?�����&����¢ ���7§Ð�$���?�����]�A¢0�S�*�7�m±;@��0¶�³�]®.�]�m¥~���Â��¢?�µ½��]�]�z���]�2�?�����m�°����¢0���7�?�&���2�]�?³�S£��º��¢m®.�Â�]®?�]�ó�S�]®.�A£��.���m�Ç�]�&�?�7���?��¢O£Í¢f���I¢?�$��³�µ�]�3�&�$�4ëjUM¤����÷ô ÃD�A��R.QfõR±z¬��]���A¢<�������7§Ð�$�S�*¢0³�$�7�*�7�I�·¶(�]�3�P���U� ¢0��¢?�·���ó�����?�?�m�7������¢f�P�7��������$�?�?�I¢0�·�P�]¢0�ï���]�S£*¢?�A�����7§������.�����]�I¢0�S�*�7�I��¢<£h£�$�?�?�]�����]�m±¼ÃD�A��Ô]�]�S½�¢0���P¥K�S���Â�7�A£h��¥K��¢?�ª½��]�]�¢f�¢0Ô]�m�ǽ3§��$���m�7�D�S�A£����×���.���P�$��¢0�Pë�UM¤[�2�k¥�¢�×���µ�S£��U�����?�.�I¢0�P¥��A�?�S£*�ö�����S���A�D���«�2�]�7�;�m�A��£�§���.���¢<£����]�.�S£��?±z�(���m�7���$�m¢?�A�7���?��������ë�UM¤[��������?�?�m�7�D�$��¢0�D�]®?�]���¡�P�$���������?�?�I¢f� ��¢?������$��¢0���A�D�$����¢?���·�����Á�Í�K¥~���Ó�]¢0�z½��U��¢<�*�«�$��µ�Ð�S�A£R¥�¶(�����å�7���]�A�m�$�]¥������U�¢<���å¢?�7�2�m�A�I�º�0��$���k�A�?�S®?�]�I��¢f�7���?��¢<£Å�]¢0��¢f½S�¡£h���7§��0���?���BÒ.�����º�0��S���¢0�¼½��A������¥���¢f�&�A£�§?¥Â�$��� b(�?�.�]�7�*¢0�����7§3³�$���?�����]�A¢0�S�*�7�m±���¿�����h£*¢0�B�7���?�$§·�´�¾�$��¢0�Y�f��¦��Fb�b^]k¥M¶Í�S�´�$�

�*�K¢µ�����?�?�A¢0�ã����¢0�K¢0���$�]�&���I�Í���Ï�×�����S£*¢0���&¢0��³�.�����]�_�$�m�7���7�*�A���m���$£*¢?��� �0���S���¢0��½2�A�����S�]±^¾�]��³���]�$�ó¬��f£�½S§D¶��$�?���&���S�*� �����?�.�I¢0�ø���������5RO¹�Äg����«�.�I�S�]�P�����µ�Ð�S�A£B�����Î��¢0�I¢0���0�*�z�©�����M± ��µ�Ð�.�h ��m����������¶��S�*����¢0�U�AÉÐ�2�]�7���]���A�m�Ç���7§3³�$�S�*¢0���7�*�7�K�$�7���m�K���P�.�*�7�7�����?�S�*�7�U½��]�7¶(�]�]�Á¢·���m¢O£��¢f�I¢0���0�*� ��¢0�7���]�S��¢0�����������A�?�&�����$�]�������?�?�I¢f��]¢f�»½2�D�]¢0���7���m�Ç�?��������¢?���7�m�$�&���0¶²¶��A£h£B�������¢f�I¢0���0�*�z�A�?�S®?�]�I��¢0�����.��¢<£9�$��¢0�I¢.�A���]�7�*�7�7�*�]��¢0����×�����S£*¢0���m�M±ï¨�¢0�3§��AÉ����]�$�Â���7§��$�S�´¢f���7�*�7�I�·��¢?��.�hùÏ�A�S£��7§ã�¢fÒ?�����å�$���ú�.�*�7�7�����A�7���?�ø½2�]�7¶��]�]�¦2�Fb�b^] ¢0���U¢?�A����¢O£���¢0�I¢f���0�*���]±P�(�����S�m�¿���?��f�ߦ2�lb�b^]ø��¢?��½2�]�]���AÉÐ�S£*¢<�����m�°���ó�S�]�I¢<�h£����¯?�m�A�����.�Ó¸�±�OV±â~�?�$��ëjUG¤[��� ¢0��� ¦2�lb�b^] �����å�A�]���I¢<���

�$�7�*��Ò��K����½2�Ï¢f½S£��µ���P�7���]�A�m���¿�v�S£h£�§Á�2�]�7�;�.���ø����A�.�3®?�]�A��¢0�7���?���]±�ëjUM¤����÷�.�����m�A�I�º�����Á�A�?�S®?�]��³�$¢0�7���?�å¢<¶�¢m§ö�;���.� ���]�A�7�A£h�Ó½S§ú¢?��Ò?�����Àè.���m�7³

�7���?���]±·¨Ó¢f�3§º���]�?�S£��µ£¡��Ò?�·���S�*��æ B ¢0������¢0���S�h£�§½��A£h���]®?�B�$��¢0�������������.�?�I¢0�ï�*�d£h�´�����]�S�����¢?� �����]§�I¢<£�Ò»¢f½��?���������]�·�7�A£�®?�m�]±îëjUM¤����Æ���7�m�·��¢f���I��0�Y�����µ���7�]�mÄo�ß���������©���U�����·�?����������è?���m�7�����.���¢0���P���]�]�Â�(���&½2�K�v�0£h£��O¶������·�����B�A�?�S®?�]�I�$¢0�7���?�,±¤R�¢.���.�������.�&���K�����m�7�(���m�$���S�*è?���m�˥Ц2�Fb�b^]«��¢?�£h���$�7£��B�7���?�7���m�~��� ���A£h£�¢f�������]�����~���K�����7�]�$���$���m�7����P�������A�?�3®.�]�I��¢0�7���?�,±b(�m�A�]�S� �����?�?�I¢f�Â�M¢<£*�7���]�&�S£��0§K�¢0�S§Y�$�7�*��Ò��]±

|0�3�7�]���·ÃD�A���S���I¢0��½,Äo�~¦(¬ �����]�I¢0�S�*�7�m¥.¶��S�*���µ�*�������¶(�������]�~�0�������( ��I���_�����$�]�?UM�S�]½����]���A�?�&�2�]³�7���7���?���]¥ ¢0���D¢<£*�7�������µ�?��� ���zìmí?í.¸�¥��*� ¢·�¢?�7³���]�·�0�ß���.�ó�7�mè?�S�������<± å ®?�]�I¢<£h£R¥(�����P���$�?�?�I¢0�¶�¢?�¡ëjUM¤����Y³4£h��Ò?�ǽ����P���&���$�m���7�m�ï�����5�×���S�.�m�½3§º���I�Í£��?����¢0���º�����A�?�&�����]���]���×��®.�Â���m�����?���7�m�˱¤R�I�������]�A�m���Î�*�������S�]�I�7�A¢0����¢0½S£��z���������Ç ��I�7��������]�¡UM�3�]½����]���A�?�S���m�7�I�µ�¿�����A�Ó�$���P�A�?�3®.�]�I��¢0³�7���?�����?�S�*�]� ¶(�]����£h���������m�&¢f���B�$���9�7���S�?�m��¢?�A����³¢<£h£�§��AÉÐ�2�m�A���m�µ�������A£��]®O¢0�S�m¥�¢f½��7���I��¢0���µ�AÉÐ�$�I¢<®3³¢0�3¢0�S��¢f���7¶(�]�I�d�;���.� ¢K�$�]��������¢<£,����¢0�~½��3¢?�����m�éA¶��S���Â�¿�*�]¢<£��I¢<£�Ò�ë�± �(�������m¢?�S�]�T�´�T���A�;�]�$���m����óô�ëd����í7N<õ(�v�?�����I¢0���$�A�7�����I���0�ߦ�¬ �(���]�I¢f�S�´������������kì<í?í�ì��A�?�S���m�7�m¥.¶��S�*���P¢f���(�h£h£��������I¢0�7��®?�K�f������B�$�7�*��Ò��~�����]�&�S£��0§Ð�˱¦�¬ �(���]�A¢0�S�*�7�mÄo�ζ(�����S�����å�����° ��I�7�U�������]³

�7���7�*�A���m�]UM�S�]½����]���A�.�&���]�7���7���?�&�7���0¶Y������¢0�����������¢0�?�Î�0�k���?�«�7�mè.�S���������*�Ï�����S�]�m�M¥�¢U���0¶(�]��³�;�S£��$�7�*��ÒM±KÃD�  ����º���������7�h£h��Ôm¢f�7���?�Á�f�����?�D�7�]³è?�S�������z�¿�����h£*¢0�ó���ï����¢0�U�0�D�¿���k�S£*¢0�������¼�7§3��³�����ó���*�7�I¢fÒ?�m�&�f�B�3���¢f����MD¤¿�«�����º£��?���������,¥�7���$�À�����´�$Ò���¶(�h£h£k���?���7�SùÏ�A�D½S§z�����]�Â�7�A£�®?�m�Ë¥½����(�����]§&�]¢0�&½��Í�����A�?���2�?�I¢0���m�©���3�$�B�?�����]�$¶(�*�7��7���]�A�m���¿�v�S£����$�?�?�I¢0�·��¢?�¾�7�]�]�D���m�A�m����¢f��§?±K�(������I¢0���$�A�7�����I�~�0�,�����kì<í?í?¸K�A�?�S���m�7�d�����.�*�]¢0�$�K����¢0�£h���$�7£��&�����?�?�$�m������¢.��½2�]�]�D�¢?�S�&�¿�����A�DëjUM¤�����±â~�A£��0¶ã¢0�����7�?�µ�&�AÉV�A�]�$���I� ����¢0�B�·¢m§��0��®?��¢0��*�S�m¢P¢0½2�?���K�����&�2�]�7�;�.���¢0���A���0�(ÃD�A���3���A¢0��½,Äo������?�?�A¢0�Ì���Àìmí.í?¸�±,]��?�Ç�¢<§D���m¢<£h��Ô]������¢0���h��������×���S�?�K¢?�7Ò������]���¿��½S£��?¥M�S�0¶��·���B�m¢0�$���Âè.���m�7³�7���?���]¥M�����������.�?�I¢0�PÄg�(���m�7�2�?���7�m�B���]�]��]���A¢0�7�*�¢0���·���������A¢0�7�����7æ�7M

95:�;8��<�=�_`$#8%$'�(�2O(�)-!+*�#8%$3�GA.�!$/

è�V$9�����<ý��*���¥=��×ý������+�� k ��&*����+���ý+��;!mþvý � � � ��#]'Mý����&�mý��=��"+�'X�"+r�g�����4ÿoý����& � ����ýAþ���:

è�£(� +�!p���¿ÿ2������#5'9�����µÿ���þ���!.��"��+g�oý���_� �����*<�+Yý"�;�����k ��&���Y +�!<þ���fAÿoý��+Vÿ���!*����+�ÿ����vý�� �e����#j�*�mþ����2�"����&g�7ý����������+�:

O¦R

Page 38: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

(�2S4�4BG�/)8G�H�'�G�/P(�%$)�7baBG�G5cd254�RB254-(?KefR,%,H�'�/�2PI�'3�G�68G�'�%$/�2+%+4J����-���$�����g?@I�!+*&1$(@H�"�G+%$/�)�!+*0X+*BH�'H�%�2�(�"$#8%$'�(�2�(�)�!�*@(-!h)8G�H�'�G�/P(�%$)%$'gi^jlk�mFcJ�nRJ�o7P7pZ�Gq"�%&H�H�!48%�/�/�!$"�r�RB254�(�GO(s#BG�I�!�*81$(,H�G�G'$#-/�!+*�6$#�%hCBG�)-r+#8!�1&Gt"�2�'$#g'�"�!G�)8G�HK�u�P/�G@H5*WI5#gv+*BGPH�'�2�!+4WHA!+4)�!�*�/RB254�(�795:P;8�$<�=�_A`$#8%$'�(�2�(�)�!�*�#&%$3�GA.�!$/(�2S4�4BG�/)8G�H�'�G�/P(�%$)�7���-���$�����q`$#8%$'�(�!&GPH%�"�!+R8%�4�"�%+4�'%+4-)�"�%$)�7w`$#8%$'g%+4WH�"�G�/"-!+*81$(c81�G�%&H�GY)-!+*@R8!�H�'�7

@Í�0¶(�]®?�]�m¥0�S�]���]���.�����B�?� ������¢0�������$���S���0����������S���]�����.�3¢0���?�K�$���]���Â�]¢0�D�AÉS�*�7�&¢0�Á¢0�$�&�3�7�����]���æ¿�?�,�I¢0�$���]�M�h£¡£����¿���?�Mç �0���k���$��¢<£3�����S�]�I�7�A¢0���.������±���-���$�����g?�H�1�!�3�GY'$#BGAR8!&H�'25RPc8!$/�'�%�4�''$#B2S4�6'�!�)�!+*B7 Z�!�"25RPc8!$/�'�%�4�'@2�HA'$#8%�'�'-!h)-!+*B795:P;8�$<�=�>�G�H�H�G54-'�2�%�1�IS*�/�GA'�!FR�)G�x82�H�'�G54-'�2�%�1H�I5#B2Oy�!+c�#�/8G54B2�%���-���$�����q�QH�'�/825CB254�6gG�x�%+R�c&1&GA!$.'$#WG�GPH�H�G54�'82�%�1�2�(8G54�'�2�'P)�!$.�'$#BG'�"-!h'-!+4�6$*BGPHK�LG�x82�H�'�G54-'�2�%�1H�IS#B2�y�!+cP#�/�G54B2+%Kz{'�#8%$'|eoHs%+R�*BH�2S4�6|����P����-���$�����q}�!+*�C�48!$"�'$#WG!P1$(QH�%�)�254�6r.$*�4~2�H�254g'$#BG�G�)�Gh!$.�'$#BG�BGS#8!�1$(�GO/JT$��`$#8%$'�(�!�)�!+*g'$#B2S4�CB795:P;8�$<�=�>A'$#BG����n�BGS#8!�1$(�GO/|e�e 2�HA'$#WGI�GS4�'�/�%�1�2�H�H5*BGN�LI�!+4-.$*BH�2�!�4/�GP2�6$4BH��WG�I�%+*BHPG!�.�'�#BG�2�1�1+*BHP2�!+4!$.�����2�(�G54�'82�'�)|��ePe���-���$�����g?�1�!$38GsRWG54�z�48!$'�BG�I+%+*BH�G'$#WG�)g%$/�GYRBG54�z���*-'h�WG�I�%+*BHPGY'$#BG�)%$/8Gs4&!$'�"�!+RBG54D�L?�Hq'$#8%$'�'$#BG/�G+%�1/�G�%&H�!�4B795:P;8�$<�=�>�2�1�!$38G%P1�1'$#8%$',2�H�z"$#W2�I5#�#8%&HYc�/�!�($*BI�G�(ARBGA'�!!+�WH�G�/�3�Gq2�'Uz )�G�'�6�2�38G54�RBG'$#WGR8%�($4BG�H�Ht'�!�'$#W254�C,2h%+Rg(�2�H�'�2S4BI�'%+4WH%�c8%$/�'�.�/�!�RQ2O'|�

�������������,?Y#8%$3�GA'$#B2PHF.-%+4�'�%&HO)@!�.R8%+CB2S4�6g1�!$3�GA'�!'�"�!"�!�RBG54d254d!�4BG)�G�%$/�� ��%+4g)�!+*dG�1�%��8!$/�%$'8GA!+4'$#8%$'8795:�;8��<�=�>"$#�),I�!+4-.�254BGA1P!$3�GA'�!!+481$)�'�"-!�������������,?�Hq1�!$3�GA'$#WGsR&!&H�'25R�c8!�/�'�%+4�'q'$#B254�6�'�!)�!�*B7 `$#8%$'I�!+RBGPHF'-!h)-!+*�/RB254�(�"$#WG54g)�!+*d%�H5C'$#8%$'87

�¾���?�����]�(���7�*�$Ò&����¢0�~��¢?�~½��]�]�����7�m�µ�*�~�����.��³���m�A�������B�A�.�3®?�]�A��¢0�7���?�·½3§·�I¢<£�Ò.�����¢ £��?�Y¢0½2�?���¢ï�����m�S�A ����m� ���?�S�*�0± ���S�´�°��¢?�U½��]�]� ���7�m�¢0����¢0½����7�m�M¥M¢0���º�����k�.�nO,�]���]���A�&�7���0¶Y�]±�¦d���?³�?�I¢0�·������¢0�P�$���m¢0�º½3§z�7§3�S�����z®?�]��§Ç£��?���Ç���]³�7���.���7�m�(�AÉ������]�&�A£�§��¿£��O¶�£�§·�0��®?�B¢<¶�¢<§k�$�����R¢?�A�����¢0� �����]§Á¢0���µ����§.���������º���7�·���Á�����µ���3�$�]�����?³�3¢0�7���?�­�7���&�?±È@Í�O¶(�]®?�]�<¥Y�$���D¶(�������]�D�0�������ìmí?í¦R�UM�S�]½����]�D�A�?�&���]���������.�,¥B¬~�?�3®.�]�I�7�?¥������m��������A�?�3®.�]�I��¢0�7���?��³R�.�����m�A�����������m�$���S�*è?�����A¢0�����]����&�����m���¿��®?�A£�§?±�¤¿��½��]�0�����µ�����Ï���m���¿���?��½S§ ¢?��Ò3³�����������K���S���]�����?�S¢0���?�Y¢f½��?���K�7�?�&�]�$�S�����µ���3�$�]��³�m�7�7�����&����¢f����¢.�&½2�]�]�P�?�·�����K���]¶Y�~�����¾�����]®.��³�?�����S���?�S�m±�â~�A£��O¶z¢0���(�AÉ��A�]�����I� �v���?�È�$���Bìmí?í¦R�A�?�S���m�7�����A¢0�����A�7�����I�(�f��¬��.�3®?�]�A�7�7M

��������������`�G�1�1Nz�2�'|eoHY4B2PI�GA'�!hRBGPG�')�!+*�z <�1P1&2�!$'|��;B2�(g)�!+*dH�G�GA'$#8%�'H�'�!$/P)@!�4,�����,1�%�H�'4B2�6$#�'h%+�8!+*�''$#BGh1&G�H5�B2+%+4,I�!+*Pc81&GY"$#&!�I�%+RWG!�*�'%$',%`$#W2�'�GAZ�!+*BHPGsc&%$/�'�)g!+4�+*�4�(-%$)�795:�;8��<�=$��}�G�H�z�?A(�2�(��E?'$#B2S4�C,2�'R8%$)��BGq%qcP*��81&2�IP2�'�)@H�'�*�4�'�.�!$/<�1�1&GS4J���������������<�1�1&GS4;BG�6�GS4BG�/�G�Ht"�%&H�!�4BG!$.@'�#BG5R0r@H5#BGA"�%&HACB2�H�H�2S4�6F#BG�/1�!$3�GO/�[email protected]/�!+4�'g!$.g��2�1�1���1&2S4�'�!+4J�;8!�)-!+*g'$#B254�C�#BGA"�%�HF38G�/�)G5R��8%�/�/�%&H�HPG�(�795:�;8��<�=$�,?A'$#B254�C�#BGA"�%�4�'�'$#BG6-%$)3�!$'�GN�VZ�GA"�2�1�1(�!g%+4�)�'$#W254�6'�!6�G�'d2�'g%+4�(CBG�G5cd2�'��VZ�GA(�!&G�H48!$'�#8%$3�GA%,I�!+4BHPG�/�3�%$'82�3�G��8%&H�GK�

O�-

Page 39: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

���-���$�����q��/�GA)�!+*dH�'�2+1�1�%�.�/�2PG54�(!$.���2+1�1���1&254�'-!+4B795:P;8�$<�=$�g?�%+R�48!$',H5*-/�G�2�.�#BGY#8%�H%+4-)�/8G�%�1.�/�2�GS4�(�HK��Z�GY#8%&H%&IS#B2�G�3�GO(�%�1�!$'g%+4-(@1�G�.�'g%�1�!$'g!$.cBG+!+c81&G��WG5#B254�(�����-���$�����q}�!+*g/�G�%�1P1$)�(�!+4Je�'g1&2SCBG'$#WGF6�*�)�r�r$"8G�1�1Kz %�'@1�G�%&H�'�'$#8%�'|eoH(�GO.�254B2�'8G�r�r&?�'$#8!+*-6$#�'R8!&H�'cBG+!+c81&G"�GO/�G�254�(�2�.P.�G�/�G54-'!$/�4�*�R�����)48!�"|�r�r���-���$�����q`�G�1�1Kz�2�'�eoHY4B2�I�GA'�!FRBG�GO')�!�*@�P/�%&I�)|��;B2�(�)�!+*~H�G�GA'$#8%�'H�'-!$/�)g!+40�$���g1�%&HO'h4W2�6$#�'g%+�8!�*�''$#WG1�G�H5�B2�%�4,I�!+*�c&1&GA"$#8!@I�%+RBGq!+*-'%$'g%�`$#B2�'�GAZ�!�*BH�G�c8%�/�'�)g!+4�+*P4�(�%$)�795:P;8�$<�=�mA��!^�����V�P/�GA)�!+*dH�G�/�2+!+*BH�7`$#&!&7���-���$�����g?KenR�c�/�G�'P'�)R�*BI5#g'$#8%�'"�%�)�'-!$(�%$)|����!�2O(�G�%"$#8!Kz (�!)�!�*B7 Z$R�z�2A"�%&HqX+*BHO'�H+%$)�254�6<�1P1&G54�;BG�6�GS4BG�/�G�H�"�%&Hh!+4BGq!$.�'$#BGSRr@H5#BGq"�%&HYCB2�HPH�254�6F#WG�/g1�!$3�G�/,254.�/-!+4�'g!$.���2�1�1���1�254�'�!+4D��;8!)�!+*'$#W254�C�#BGA"�%&HA3�G�/P)�GSR��8%$/�/-%&H�H�G�(8795:P;8�$<�=�m�?(�!+*P��'@2�'g3�G�/�)R�*BIS#J���/-!+Rg"$#8%$',?Ke�38Gs#WG�%$/�(Uz���2�1�1^e�H�BGPG54�z (�!+4BGq%+4-(�HPG�G540X+*BH�'g%+�&!+*�'G�38G�/�)�'$#W254�6'$#WG�/�G2�Hq.�!$/g%I�!�4BH�G54�'8254�6�%$(�*81$''�!,H�G�GK����-���$�����q��/�GA)�!+*dH�'�2+1�1�%�.�/�2PG54�(!$.���2+1�1���1&254�'-!+4B795:P;8�$<�=�mA��G�3�G�/�"�%�HK����-���$�����q}�!+*g/�G�%�1P1$)�(�!+4Je�'g1&2SCBG'$#WGF6�*�)�r�r$"8G�1�1Kz %�'@1�G�%&H�'�'$#8%�'|eoH(�GO.�254B2�'8G�r�r&?�'$#8!+*-6$#�'R8!&H�'cBG+!+c81&G"�GO/�G�254�(�2�.P.�G�/�G54-'!$/�4�*�R�����)48!�"|�

¤¿���*�(�2�3���¿��½S£������Â�7�]�?¥2¢<�;�$�]���$�m¢?�.�����Â�����9�;�S£h£�$�I¢0�����A�7�����I�Ë¥K����¢0�º�����Á���$�?�?�I¢0� �$�]���m¢0�I�º������AÉ�¢?�A����¢0�µ�Y���m�����?���7�K�7�mè.���]���A�B��� �m¢?�$�]�×���S�?�

���]�3¢0�A�.£��m�$���0�B¶���¢f�Â�����]§Ç�7§3�2�P���,±�â~����������×���S�.�m�K�A�?�S£*�P���.��Ò3���0¶ï���S�*�]¥M¢0��������� �0®?�]�I¢<£h£��O,�m�A��¶�¢.�&è?�S�����T���µ�����m���¿��®?�?±å�����Ó���$�?�?�I¢0��7���]�S�B¢©£��.�K�0���������7���&�K���D�$�S�´�¾�·¢0�����]�m¥M¢0���¢<£������?���?�ª���ß�A�?�S£*�ª���?����¢0���.£����¢0�S§ÂÒ.���������f�è?���m���7���?���]¥(¶(�?���������A�?�&���]���������.�,±»�(���º�����?³�?�I¢0�ä����¢f�T�]¢f�&�ó�7�m�A�?���M¥�|?¢?�7�?�»@Í���I�����]���Ëį°ë�¦ å ¥�¶�¢?�(�&�?�$�ß�A�?�µ���]���]�S�(���P��¢0���.£h�������.��³®?�]�I�7��è.���m�7�7���?���]± ææ ± ¤¿�©¢f�3§B�]¢?���?¥?�.���$�m�A�7�����K������A�?�S®?�]�I��¢0�����.�©���]�]�Â� ���K½��Í�&�?���(�7�?���S�*�7�7�*�]¢0���m�����¢0�����]�2�m¢0�7�����P����� ���������K½�¢?�$ÒP���·����� ���3�$�]��³���?�3¢f���?�M�?�_¢?��Ò?�����?ë�UM¤[���¾³4£h��Ò?��è?���m�7�����.���]±��(����¿������¢0�7���?�ª�*���¿�����h£*¢0�Y�$�&¶�¢0�I�$�S�����&¢��$�m¢0���S£´¢<§���Â�����¾��O,�]���¿��®?���A¢0�����]������¢0�©���·�����K�S�A�;�]���×��®.�?±�K��¶�¢?���&�]�3�����.���m�P½2�A�;�.���?¥"¢f�Ó¢0�������S¢?���ª�*�

����¢0���f�Å�&���S�A£h�����Â�?��� Ò?�����ª�0�Å�2�]�I�7�?�,±~�(���?�Ãz��¢<£��]�D���S�?ÒP���S�*�K¢��7�$�]�P�v���������]�K�$��¢0��¶���¢0���¢?� ½��]�]�·�S�?���(¶(�����ªëjUG¤[���z¢0����¦��Fb�b^]«¢0����A���m¢0���m��¢0��¢?�A����¢<£S�3���¢f�k½2�A������¥.|0�S�(�����h|.¢0��³�����?�m±��Í£������?���?�D���©£��S�7�B�����DUM�S�]½����]�&�A�?�S���m�7�����ÃD�A���S���I¢0��½9���Âìmí?í.¸�¥]�����������.�?�I¢0�z¶�¢?�,è.�S������7���]�A�m���¿�v�S£R±Ãz��¢<£��]�ï���7�h£¡��Ô]�m�ú�;�����$���]�P���7�*�$ÒÐ�º¶��S�h£��Î����³

®?�]�S�7����� |0�S�?±«Ñ��.�������7�I¢0���A�?¥�|0�3�º��¢?�&¢Î��¢0��³���0¶Æ¶(�?�7£*�­®?���]¶÷�¿�����A�U���Á¶(�?��Ò��P¢f�P�S���?�S�I�]¥�S�3�m�d���?� ���m¢?� ½��S�?Ò�� �?�����]¶Y�7��¢0�2�]�I��¢0�����S�S�m����?�&¶�¢0�I�$�Á�g¼�±�¤¿�ó¢?���.���7���?�,¥�������¢.�&¢ª£¡������£���7���?�$§ó�������A£h£k¢0½2�?����½��A�����«¢?�]�A���7�m�ö�0�k�����A�v�¢0���º�v�m¢0�K�0�(£��3�¿�����P�S�*�>�×�?½,±&�����m�7�&���7�*�$ÒÐ� ¢0����¿�����h£*¢0�����������3�7���]�µ�S£��0§?�m�Î���Ç�����P�S�m�¿���?�ó�f�¦2�lb�b^]�±Ð�������·¢p�7�?�_¶(�m¢0ÒS���m��� �0�{|f�3�Y¢f�3¢<�����7��?�����]�������?�.�I¢0�Â�9¶�¢.�K����¢0� ���P�.�*�U���?�B���m���?����������?���7�mè?�S�������&¢0���Î���]�2�m¢0���m�U��������¢0�&�µ���]³�7���.���7�m�~¶����]�Ï�A�.�S�;���.�3���m�µ¶(�����Â���?�&�]���S����������.�*�S�,Ä ��Ç0ñhÀ7í�¢0½2�?���m±_â~�A£��0¶B¥?¶(�~�����Ð�S���A�¾�7�?�&��AÉV�A�]�$���I� �v���?�ï���������A¢0�����A�7�����I� ���B�S�]�S�*�A�~¶���¢0��]¢0�«�?�Ç�7���?�S���?�P¶��$�?����¶(�����«Ãz��¢<£��]�,Äo�º¢0��³�����3¢?�$�9M95:�;8��<�=$��"$#BG�/8GY(�!�)-!+*g"�!$/$CB7

è�è $��Íÿ������7þ���+��4ÿ����©!Oý$ÿ�����'X�"+9���p��,ý���~ý������� k ��&����+'9�+r�.�"�g��&IH�m�����Y =÷+��<ýIþ��I��ýAþ¼H m��"���.�"�7Y :��9����!mþvý�Iþ �"�þ���!.��"����&���#��&*&mþ���+�+���&��]ÿ����"+�HD�i�"���Y�=÷�"��&g�7ý�[!l�2�7ÿ��*��&� � ý�����Ëÿ��»�mý�g��� ��� ÿ��*�ª�Ëÿ�+��.�"�g�:D�9�]ÿ�+��7þ���"����&ò�����ÿ��g!mþ���+�+4ÿoý��ò���.�"�qW � gh¤��2�"� <��&Kÿ���������� ÿ�����*����= � ���;'9�"+�=ÿ��©�`�����=�&*���;�výg�������`�"���r���p��J���"+vý� (1������������+Mÿ�+1��þvý��$��*+��vþ ��� ÿ2�l:«�9�Ëÿ�+�+�������+���+ ���.�"�������©&���+4ÿ�����7þ�Y +©�~ÿ���&ÿ�+q�"�¾ÿ��������Iþ �e�h�7ý��g!0ý��������ý�h���*��þ���+������4ÿ����i!<þvý��Aþ �"�[+�='9�]ÿ����¾ÿ�+q�"�Íÿ������×þ���+��4ÿ��*��ÿ�&*�e�>�vý[!0ý��&*�×þ;�*!0ý��¥:

O?í

Page 40: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

���-���$�����q��'@'$#WGs*P4B2�3�G�/8H�2�'�)|�V?R8!�H�'�1$)@I+1&G�%+4g'$#BGq�$'-%+4�(�2�HS#�$*W2�1$(�254-6|�95:P;8�$<�=$�q`$#8%$'*�4B2O3�G�/�H�2O'�)�7���-���$�����A:�4B2�3�GO/�H�2�'�)h!$.�<�%&H�'�GO/$4�+4-'�%$/�2�!U�L?KenR0%@I�1&G+%+4BG�/|� ?G5RPc�'�)�'�/�%&HS#J�u��%�I5*�*�RJ��;�*BH�'��}�!�*�CP48!$"|�95:P;8�$<�=$�h%+4�(�"$#�)�(�!�'$#BG�)�"�%+4-'�'-!.�2O/�GA)�!+*B7���-���$�����g?�'|eoHqX+*BHO'h�WG�I�%+*BHPG�R�)�8!�H�H�z ��/|�E9�!�#�4BH�!+4^z�2�HYR8%$(g%$'RBGN�95:P;8�$<�=$�q"$#�),2�HF#WGsR&%$(g%$'@)�!�*B7���-���$�����g?(�2�(�4Je�'(�!48!$'$#W254�6"�/-!+4�6|���$*�'#BG'�#B254�CBHq?(�2�(��?�'�eoHq%�1�1F�BG�I�%�*BH�GA!$.g'$#8%$'�/�%�(�2�!'$#WG�)�'$#B254�Cd?�H�'�!P1&GA.�/�!+Rg'$#BG1�%��J�95:P;8�$<�=$�q'$#8%$'|e�HF'-!�!F�8%$(|� %$/8G)�!�*Q2S4,%*�4B2�!�4B7���-���$�����q`$#8%$'�"�!+*&1$(,?F'8G�1�1'$#BG*�4W2�!+4B7w�$#BG�)�"�!+4De�',H�%$)�'$#BG�)�e�/�G.�2O/�254�6FRWGF�BG�I+%+*BH�G?gH�'�!�1�GY'$#BG/�%�(�2�!^���$#BG�)|el1�1X+*BHO'hR&%+CBGY*�cH�!�RBG�G�x�I5*BHPGK�����r�r95:P;8�$<�=��A"$#8%$'�(�!&GPHs4&%$'�!@H�'�%+4-(.�!�/�7���-���$�����g?(�!+4De�'FC�48!�"|�95:P;8�$<�=��A"$#8%$'|e�HF)-!+*�/48%+RBGP7���-���$�����q`$#8%$'|e�HF)-!+*�/48%+RBGP7�7 ?(�!�4Je�'C�48!$"��u`$#8%�'�(-!0?h1�!�!+C1&2SCBG�7 �P!+RBGYCB254�(g!$.�c�/�!$.8G�H�H�!$/8795:P;8�$<�=��A`$#8%$'�"�%&HYR8%�/$Cg'�"�%&254DeoH/�G+%�1.�2�/�H�'48%�RBG�7���-���$�����qZ$*�#B7���P�95:P;8�$<�=��A"$#8%$'�(�!&GPHs#P*�#�RBG�%+4B7���-���$�����q��G�%$'�HYRBGN�95:P;8�$<�=��Y#�*�#B7

��������������`$#8%$'�(�!)�!�*�RWG�%+4B795:�;8��<�=��F�BG�%$'8H�RBGK���������������`$#8%$'8795:�;8��<�=��F#�*�#J��������������,?A(�!+4Je�'C�4&!$"|�

�¾���?�����]�Y�����I¢0���]�.§k�f�d�(���.� Ãz��¢<£��]�,¥M¢?�~������]���.���I�~���Dô Ãz��¢?í?¸<õM¶�¢?�~���������?�?�A¢0� �7�S���I¢f½S£�����m�7�2�?���7�m�Î���«�A�?�&�&�?�Èè.���m�7�7���?�����?�È�$�?�S�*�]�����¢0���2�]�?�S£��D���7��¢<£h£�§z�I¢<£�Ò»¢0½2�?����¶����]�z�����]§ ��I�7�º�&�]�]�m¥Í£h��Ò.�D�����A���P��¢0�µ�m��æ�ç0¥¾¶����]���������]§£h��®.�?¥�������¶(�m¢0�����]�<¥?�]�I�0± ¤R�~�*���.½3®.���?���¿£�§Ï¢9�?�S�Ð��*�S�m¢¾������¢<®?�������m�7���$�m�7���?�����m�,�����]��¢f���m�¾���k�]¢.�7������µ���S���]���$�?�3¢0���.�¾���S�������S���A�m���7���$�D���?�S�*�]�]±�¤¿�� ¢.�A�m¥��7�?�&�i�7���S�?�m� ¢0�k�7�.�&�ªUM�S�]½����]�Â�A�?�&�2�]³�7���7���?�����·¢0Ò?�P�.�S£�§«�7�·¢<£h£B�I¢<£�Òó�?�z�7���$�«���?��³�*�]�]±{@��0¶(�]®?�]�m¥~�?�]���]�I¢O£¡£�§Ç�����]�×���S�.�m�Â�S�U���?������m¢0�(�����K�A�?�&�2�]�7�����?�I�Í¢?�d�¡� �����]§Â¶(�]���¾���]�.�S£�������]§MÄ ®?�����m�A�]�S�7£�§ó�&�]�m±¼�(���]§»¢?��Òóè?���m�7�����.�������¢0�����.½����S§�¶��.�S£´�º¢?�7Ò·���&�2�]�?�S£��B�����]§���¢<®?��×�������&�]� æð ±�¾����¢0���]�S�7£�§?¥��$�����7���S�?�m���f�������Âìmí.í?¸DUM�S�]½�³

���]�ó�A�?�&�2�]�7���7���?�ã¶(�]���ó���.�Á®?�]�$§ï���S���]���m�����m���� |0�S�?Äo� £h�����7£��Ó�����?��§Á¢f����¢<£������?���?�������]§U¢?�S³���������m�ï����¢f������¶�¢.�������U���]��������¢<£�¶(�����ï������&�3�7�·�S���¢0�ó�2�]�I�7�?��¢O£¡���7§ïæR¶��S�*�$�»�7���?�S£*�z½2�¢&è.��¢<£h���7§·����¢0�(�����B�A�?�µ���]�7�����?�A��¢0���¾����§.�����&���¢?�$�S���]®.�?¥Y�¿�����A����¢<®?������¢D�S���¢0�Ç���]�I�7�.��¢<£h���7§�7���?�S£*�ǽ���¢0�U���3���]�.�I¢<£Y��¢0�$�k�f�ß�S���¢0��³v���m���[ç�����]§P�A¢0��Ò?�m��ÃÎ�A���S���I¢f��½,Äo�����$�?�?�I¢0�ø¢0½2�O®.�K���m±Ñ��?�·�&�?�$�T�S�]�A¢<�h£9¢0½2�?����|0�S�D¢0���°���A�&�2�]�7�;�.��³�¢0���A�·���ó�$���Dìmí?í?¸¡UM�S�]½����]�¦�����Ô]�ά��?�S���m�7�m¥�7�]�Âô û��¢.í?¸<õR±

è�é $9�����<ý��*���¥=��"+h+������?� � ýf��=���ý��1�e�"���<ý�����*+�'��7þI�����¬�����+��4ÿoý�,eãäª�p���ÿ�+�#Aý�mþ9�p��g�:§ai*:

è�ñ�¤����,ý"������� k �*&����+Mÿ���������sù�ù�J�­?ý�� � �*�7þ��7ý�g!.���4ÿ�t�4ÿoý��i�vþ4ÿ���&%�"+�<Aÿ�������"� �©���7þ���ÿ��p���h���*�;¬�����+��4ÿoý�veuä_�����#Iý�_�Iý�g#Iý�mþ�êOþ�+���� ÿ�+����������=�'9�"+�ÿ��~ÿ��T�©+��4ÿ�� <&ýAþ�����*�vý����"�4ÿ��:§ai�:r�9�*�9¬�����+��4ÿoý��ÿ�+r��� ����f�7þL��#�!��2�"���*��&¾ý���+4ÿ�������'MýAþ�&�+�� ÿ�<�lH &mþ4ÿ�fAÿ����*Y�ýIþH ���þ�Y°�$þ��g�mý�;��+���&7= � �*������²�[��"�]ÿ��*�·ÿ�+?�������þ ��þvý�� �����²�×ý����������: � f���T������~ÿ�+�+�!.����� ÿ ���¾ý�°���*��'MýAþ�&IH � ÿ����������Y7�+#H � ÿ�+����������Y<ÿ�+��(ý+��!mþvý � � � ��#~ÿ����������4ÿoý��p����:#�L�.ÿ�+°&Ëÿ��>���l�����výGÿ��>�"�$ÿ������r�7ý��t!��*���×þI!mþvý�Iþ �"�����p���'Mý����&���*+�'r�×þ�f��þ4ÿoý��+I�vþ4ÿ�� <j¬��*��+Lt�4ÿoý��*+,ý"�¿���p��r�L#�!.�= � ���9�e����ý+��9���#Aý���g^����7þ�� �7ÿ��l��# �"��#�&*�����i$��g�×þ4ÿ���"�.d 'Mý��l��& � �%� � ���²�vý]��ÿ�f�\� þ�������f�������*+�'r�×þ��výg���.�"�,ý���:

S3¹

Page 41: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

õ��'3 � �j�I�A�¬�N�p�»}q�j����N� ì �g���1�j�K�

¤¿�&����¢0�$½��?���S�m�¿���?�,¥0 ��A�7�Å¢f���¾�v�?���]�&�3���m¥O¢Í�?�S�Ð��.�I¢0�&�¢f�����S���K�*�K���m�A�m���$¢0��§?±�¨P�S�7�Y���$�?�?�I¢0�·�¢f���K�I¢0�����]�Í���S�?�(���P���S�*�Í�I¢?�7Ò�¢0���·�����A���¾���7�*�$ÒÐ��S�·���?�¾�?�&�����$�P½��]§.�?���º�����?���?�������I¢f���7���3�×��³�����.�,±B¤¿�B�7�]�]�Â�K¢·�?�S�Ð�ª�*�S�m¢��$���]�&�S£��O§º�&�?������?���S�*�7�7�*�]¢0���m� ��¢0�����I¢O£P£*¢0���?��¢0�.�«�������A�m���¿������µ�]�����Ð���˱ å ���K�·¢m§&¢0�$�?���Y�$��¢0������¢f�?�Y�f�G�2�]��³�v�m�A�¾�?�I¢0�&�·¢0�(�*�����.�ß�A�����$�*¢<£��×�����A� ���Í�´�Kè.�S������A¢0���¾����¢0���S���¢0���(�S������¢0�~���·���S�;�.���¢<£M���I¢0���7³¢.�A�7���?���]±~¤v��¢������.�?�I¢0�PÄg���$�m�7���?�����m�Y¢0�$�B�?�I¢f�&³�·¢0�7�*�]¢<£h£�§À�2�]�7�;�m�A�<¥B�7�?�&�Î���3�$�]�����?�3¢f���?�I�·�¢<§�S�m�$�*�S�U����¢0�·�����3���·¢0�À�]¢0�z���7�4ëd���0£h�*�7�À�7����&�2�m�]�]¢0½S£�§ æ ô?±%@Í�0¶��]®.�]�m¥��µ�3�7�¾�����?�?�I¢f�Â�(�]������U¶�¢m§��Í����¢0�K�0��®?�¢<¶�¢<§P�����A��� �¢?�$�S�����]³v���m�$�]à¶Í���]�D���S���]�����?�S¢0���?�I�ß�;�]�A£������]§U¢0���·�I¢<£�Ò?�����D�$�¢º�¢.���S�����?¥~�����]§�£h�����]�I¢<£h£�§{J7H�H�J��lÇ&���������?�I�S�]��$���;�S£h£�§����]®?�m¢<£����A�(�*�S�]�S�7���ק?±¾�È�?�S���P�7���A¢0���]�?§�v�?�~�����ß�Í���*�(�����.�*�7�����A¢0½S£�§�����¢0���f�G�$��§?�����&�$��·¢<���3�I¢O�����S���¢0��³v���m�$��æR�.�©¢f�B£��m¢?���&���������]��³�$�I¢<£h���ק2ç~�;�?�K¢?��£��?���Ï¢.���2�3���¿��½S£��?±B¤¿�Y�.�]�I��®.�]��§�.�hùÏ�A�S£��9�;�?�K�$���k�·¢?���S�����&�$�Â�¢fÒ?�B����� ���S���]��³�$�?�3¢0���.�,½��A£h���]®?�¾����¢0����� �*� �S���¢0�&¢<�v���]� ���p­O�7�����¢.�·�S�´�÷­m���]���������«�7�]�·�?�åéA�����¢?��Ò?�����3ëU������2�3�.�����S������±�ä�����.���*�¿����� ¢f�������3¢?�$���*�U£��m¢0���S�����������?³

�.�I¢0�Â�]±Ç�(���P���m¢.�S�]�Â�����?�S�&���m�]¢O£¡£K����¢0�·�,����³�������.�*���A�����7�m�º�����m�7� �AÉÐ�$�]���¿��®?�A£�§ æ �S±��Í£��$���?���?��������������.�?�I¢0�Â������¢0�(��¢<®?�K½��]�]���S�]®?�A£��?���m���7��R¢0�K�S�����?�B�7�]�]�ø®?�]�$§Ó�7�?���S�*�7���´�]¢f���m�M¥,�����&¢0��³���$�3¢?�$�P�*�Í£��?�0�*�]¢<£�¢f���º�*�Í£¡��Ò?�A£�§D�$�§.���A£´�Î�?�S�Ð��$�m�7�S£��I�~���������Í£��.���&�����,±~¯?�?�&�¾£��m¢0���S�����Â�$��¢0��³½2�?�I�9½��3¢?���k�$���Â�]¢0��¢?�$���7§D�����A�?�3®.�]�I�7�µ����¢0�S§�f��®.�]�z£*¢0���?��¢0�?�?± @Í�0¶��]®.�]�m¥¾�����]���Á�7�]�]�·�P�$�½2�Y¢¾���I¢.�S�]��O½��]�7¶(�]�]���������7�?���S�*�7�7�*�]¢0�����.�Ï¢0����$�����S���k½2�]���0��£*¢0���?��¢0�.�m��¢0�3§K�.������§Ð�7�$�]�ú�]¢0�£��m¢0�$�,±�¤R�Á�S�m�¿���?�S�����º��¢0�����I¢<£�£*¢0���.��¢0�?� £��m¢0����³�����K�7§��7���]�Â�]¥ËÒ3���0¶(£��m�S�?�d�;���.�»����§Ð�$���0£��?�?§B¢0����A�.�?�S���7��®?�Ï�$�$���]���A�P�]¢f�D½��·�]�&�S£��0§?�m�����U�?�I�S�]��$�Á�&���S�A£B�S���¢0�Ç£*¢0���?��¢0�?�D¢?�]è.�S�*�¿���7���?�,±¼¤R��R¢?�A�m¥~¶(�?��ÒU��¢?��½2�]�]�ö�S�.�������ó���S�*�©£h�����?¥¾½�������.�P¶(�����ï���������S���]�3�����.�À�0�&�������S���$�����À�A�?�&³

è õ ¤���� ��ÿ������þ�����e���X���p�� � � ÿ�ó�;��ý]ý"� ÿ����L���i'X�"+;�~ÿ�+Lt� �"<���ò��ýIþ©�\(1���*�÷�$þ4ÿ2�"�T!mþ4ÿ�������+�+ � ���e�"��+��²+����i+�!0ý<��� ���"� ÿ�+��%�vý]ýg'r�����°��ýAþ����.�"�4ÿ�f��:

èu$ W����jWl�����4ÿoý�\cl: /l:

�������]�D�����.�?�I¢0�Â�ª���z��¢?���º���������K±¾�¾���?�����]��?���7���?�µ�*�(���¿�������¢0�����]�¢f�7�*�]¢<£G¢0���·�7�I¢f�7�*�7�7�*�]¢<£���m�$���S�´è.���m�¾�������]�����m���]�3��¶(�?�A�Â�7�mè.���]���A�m�¾¢0��������?½�¢0½S�h£h���7���m�~�0�������]�È���]�A�����7�����¾���&�����<É3�������7§?±ÃD��½2�A£h���]®.�D�¢0�S§Á�f�ß�����P�$��¢0��½2�?�I� ���Ç�����

�;���$�����¶��¡£h£�½��·���¿�����º£��m¢0���S�����D�&�]���������]±��Í£�³���m¢?�S§?¥������S�7�«�����?�.�I¢0�Â�U����¢f�ó�S�å���?�ÇÒ?�]�]����I¢?�$Ò«�0�·����� �A���$���]�3�U�A�?�3®.�]�I��¢0�7���?�¼æR���A£�§.������7�0£��A£�§�.�ã���AÉ��������Ð�A�m�$�¿����� �$�7�*��Ò��AçÁ�2�]�7�v�?������S�?�7£�§»�A�.�&��¢0���m�°���Á�$���3�7�P�$��¢0��£��m¢0���Ç�v���?������Ç���3���]�$���?�3¢0�$�?�I�]± �K�Î�����»è.��¢<£h���ק¼�0��������A�?�S®?�]�I��¢0�����.��¢<£Å�7§��7���]�Â�������A�$�m¢?�7�?¥2����½��&�A�?�&³���]���]�S�m¥(�S�]®?�A£��?���]�A�·¶(�h£¡£¾��¢m®.�����º���S���]�?�A¢0���P¢£��m¢0���S�����ó�A�?�&�2�?���]�3�©���Ç�����A���Â���$�?�?�I¢0�·�ªJ.ñ�ò���m¢?�$�������]�ï���k¶�¢<§��,����¢f�_�¢OÉ3������Ô]�������A�����2�]��³�;�.���¢0���A�?±

å ®?�]�A¢<£h£ ¥.¶����]�&�?���~£��S�?ÒÐ�~¢0� ���������I¢f�����A�7�����I��;�$�?� �$��� UM�S�]½����]�P¦��7��Ô]�ά��?�S���m�7�I�&¢f���ó�A¢<£�Ò���Â�7�.�&�k�$��¢0��½2�?�I�]¥S�?��� ���m¢<£h��Ô]�m�¾����¢0�Y�7���]�A�m�$�7³�;�S£����$�?�?�I¢0�·�(���S���]�?�I¢0�$�B���������m�$���S�*è?���m�9�&�]��³�7���?���m�D¢0½2�0®?�?±K�(���]§P��¢<®?��¢·���]�I�7�.��¢<£h���7§�¢0����S�*�7���?��§?¥M�$���]§�����§����¢.�7ÒPè?���m���7���?���K¢0���ª���S������³¢0�������]¶ �A�.�3®?�]�A��¢0�7���?���]¥M�$���]§Ó���$�Ð�S���A�&�.�I¢0�&³�¢0�7�*�]¢<£h£�§P�A�?���$�m�A�����m�7�2�?���7�m�]¥V�����]§&��¢<®?�K�7�?�&����S�;�?�$�¢0�7���?�À¢f½��?�������m�A�]�S�P��¢f�����]�S�����3�Îæv£h��Ò?����]¶ä�&�0®?���m�]¥�¢<£�½����Â�]¥��?�S���¿���MçI¥º�����]§¼£��m¢f���¢0½��.���Y¢0���·�v���?�������¾���S���]�����.�3¢0���?�A��¢f���·¶����]������]§Ó�S�.�,Ä �YÒS���0¶À¶Í��¢0�Y�$�Ï��¢<§¦æ 9 ¥M�����]§��$��§�������m�7�2�?���&½S§Â�A�?��½S���S������¶��.�I��� �v���?�¼�����(���3�$�]��³���?�3¢f���?�mÄo�����������K���D�?�A�S�]�B���P�A�?�µ�k���ζ(�����Á¢���A£��]®O¢0�S�K¢0���7¶(�]�m±

[ � ÞI�"��Ýk�M��ÞIÛ Ú � � Ú Ü |«Û Ú � � Ý%���ÞIÛ Ú

@Y¢<®.����� ¢0��¢O£�§SÔ]�m���$���DÊ¡¸?¹º§?�m¢f�I���0�K�����P������³�����Ï���m�7�mÄ�¥S¶(�K¢0���K���0¶z�?�0�����&���&�A�?���$£����S���?����7����®?�]§�¶(������¢¾½��7���A�,£��S�?Ò&¢0���7�.�&�(�¢<���&�*�������m�¢0½��.���������k�Í�«¢0���·�0���A�?���I�7�?¥Ð���A�~�;���$�����?±

å �����7�I¢0���Ç�?�z�������*�������m�P¢0�������?��¢0�·������AÉÐ�$���]�&�m�]±�¦ �]����¢0���9���S�*�¾�*� ½��m�]¢0�����¶(�&��¢<®?����7���m������½2�&�?½��7�m�A�7��®?�����D�.���B¢0��¢<£�§Ð���m�K�0�(�����¢0���?���µ�]�3�I�d�v�?�(�?�Y¢0�S¢<�����7�(�����B���KàS���S�*�~�*�(�AÉ�³���m�A���m�z�A�?���×�´�S�]���������$���P��¢0�����$���0�ß�.���Â�I¢.�7Ò"±

èu= äª�*���%����������+��;�`�7ÿ���+�=7+výg�výg+�!p��<p:

S�ì

Page 42: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

¨º�3�����0�������K¢0���?���&�]�S�I�(�.�*���A�����7�m�Ï���P���S�*�(��¢0³�2�]�P¢0�����7�����?���2¥�¢0���°�h�k�$�m¢?�U�����S�]���]���S�]�S�7£�§?¥�]¢f�»é]�A�?�S®?�����A�mëº�����·���m¢?�S�]�m±T@Í�0¶��]®.�]�m¥2£��3�?ÒS³������¢0�&������¸?¹�§?�m¢f�I��¢?�¢T¶����0£��?¥(¶(�· ���������.�hùÏ�A�S£������U¢?�S�?����¢D�¿���&�S£��D®.���]¶Í���0���S�m±«ÃD�½2�A£h���]®.�Ó�7�?�µ�����m¢?�S�]�I�]¥d��¢m®.���������m¢?�U�����P�A����³�$�]�3�(¶(�?��ÒM¥?¶(�h£h£_¢<£*�7��½��¾���������K��¢0�&�¾���S�¿���7���?�,±ÃÎ�P¶(�h£h£B���0¶�.�*���A�������7�?�µ�����&���.���I¢0�S���*�7³

�����m�(���]�3¢0�A�.�����µ�����ß�Í�«¢0���·�����0®.�´�S�K�.�����0¶��¢f���7¶(�]�I�~����æ×¢0���µ���S���]�������]�A¢0�7���?���(�0�<çÅ�$���3�7�?± @¡ ¾°É�ò?ð4ò<���°CAð*ñ¦Å©F�C�ÀF�ÀpG�E%G*����¾«J_G�H�C�J.ñ°Å7E

Å¥J Ê EB¢ÃÎ�Á�.�*���A�����7�m�z�$�S�´�ºè?���m���7���?�À¢0�µ£��]���?���z���

¯?�m�A�����.� N�±´ì?±ø�¾�&�?���ó�$��� �A�?�µ�&�]�3�A���¢?�S��.���������*���7���Îæv�v�?� �������I¢0���A�Áô ¢Y�]��ípS?½,¥�U,¢?��í7QS¥�¾½���Q)-0õvç(¶��  ����º������½��m���K�AÉÐ�S£*¢0��¢0�����.�D���·½���$�����.����¶(�~�����0®?�*�S�m�M±�¤¿�&�����(¤¢�¥m�����(�¢.���S������*�K�7�����2�3�7�m���$��½��&¢?�¾�?�S�Ð��¢?�¾¢·�¢0��¶����µ�*��������I¢f�7�����T¢·¶(�?�·¢0�,±Â�(�S�*�9�?�]���S�]��³v½�¢?�7�m�U�S�]³�×���.�Ó�©���.�3�¾½��¢µ�&�]�������S�0£��?�0�*�]¢<£��$���0�*�A�?±KÃD�¢f����¢?��Ò?�����K�����~�¢?�$�S�����Í�����������I¢f�����7�?�&�]���S�����¶Í�S�´�$�µ���~�*�7�,Ä �<àÐ���B���d�´���?�S£�§�� ¢O���(����¢f��¶(�Y�A�?�&³��¢f���(���I�������]�A�m���(¢0�3¢<�����7��¢9�3���¢f�&¶����K�*� J�� G÷À�������I¢f�7�����Ï�7�.�&�]���S�����&¶��S�*�$�������*�7�,Ä �m±  ÿG%HL¾°Eå���4J?ñ¡ÀF�E�C�J7HvðLÀ?ñhJ)�_ò7Eãþ�ñ2ð`HvðLÀ?ñJ¢¦�¢f���I�­�0�»�,���������2Äo�ï��¢0���]� æR�����¼���]�I�A�]�S��³

¢f�?�m�]¥S�����K�����m�.�*�A�7���?���¾¢0½��.���������¾�v���������?¥��]�I�0±�ç¶(�?�S£*� �����?�µ������� ���Y½2�A£h���]®.�Y����¢f�_���~���3�$�]���S�m����¢.�&�7���$�,± @Í�0¶(�]®?�]�m¥��&�S�7�&¢0���?���&�]�S�I���7����³�$�?�����.�����������¾�*���7������¢<®?�B½2�]�]�P���S�h£��3�7�?���S�*�]¢<£R±ËÍ�A�������]�·¯?�m¢0�7£��?Äo�©¬��S�����m�7�Â�$�3�?�º¥,���?��â�£�����ÒMÄo��¾���S�_â~��½�½S£��m� �·¢?���S������¢0�������A¢?�A�7�*�]¢<£h£�§B���m¢<£h��Ô]³¢f½S£��?¥M§.�]�������]§���¢<®?�B½2�]�]�������?���S�7�m��¶(��������������S���]�S�7���?�ó�0�K���A�v���7�����Á�$���P���ã¢?�&¢T�&�m¢?�7������f�K���S���A£h£h���?�]���A�?±��Y����¢f���]�3��£�§?¥¾�����.���?���]�S�I�µ�0��������z�����?���.�3�·�AÉÐ�2�]�7���&�]�S�I��¢0���z�7�?�&�º�?�����]��A�.�&�&�]�S���?�I�d®?���]¶«�����B�Í�»¢.��¢ ���S�h£��3�7�?���S�*�]¢<£�A�����$�]�7���?�,±

¼Í���]¶(�m�P¢?�(¢ ���I¢?�A�7�*�]¢<£,���m���m¥S¶��K�7�]�K�����K���¢.���v�0£h£��O¶¾��M�¤v�k¢Î�¢?�$�S�����Ó��¢.���7�m�µ�����D������������?�S£*��½��·�?�I¢0�S���m�ª���3�$�A£¡£h���?�]���A�?±«@Í�0¶(�]®?�]�m¥V�¡������]¢0�����?�<¥3¶(�K�]¢0�����?����¢<§��v�?���7�����¾¶����]�����]�(����$�S����Ò�� �?�����?�m±�ÃÎ�½2�A£¡���]®?���$�S�´�k�´� �����·�&�3����A�.�&�&�?�P�7�A¢0���A�K���0¶�¢0�I�����$���k���K±¦d�S�h£��S�7�?���S�*�]¢<£h£�§3¥M�����K���m������¢.��½2�]�]�Ó�7��½o�×�m�A�

�$�B�¢0�S§Â�A�7���7�*�$�*�7�Â�˱�ÃD�K¢0���K¢<£h£"�R¢0���h£h�*¢0��¶(������$����¢0�S�7��³v½��]��¢<®.���.�7�*�7��¢0�$�I¢?�$ÒÐ�]± ¯?�.�&�(��¢m®.��¢<£*�7�

���?���m�Î����¢0� �����Ï�Í�ï�*��¢0�3�$�����?���.�&�?�����S�*�0±�¤¿��*�K������� ����¢0�¾�����&���­���m�7�I���;�.�Y�S���¢0�º���3�$�A£¡£h��³�?�]���A�?± ÃD���7���?�S£*�K���.�_½2���$�3��½2�?�����]���m��¢0½2�?������S�*�·�v�?�·���·�*���?�S£�§ó��¢f�����I¢<£K����¢0��¶(�D¢0���ª����³���]���m�7�$�m�º���Á�����µ�?�S£�§DÒ?�����Î�0�(���3���A£h£h���?�]���A�P¶(�Ò3���0¶ ç ` ±¨º�?���]�0®?�]�<¥B¶(�����]�m�È���.�Á¢?���7�]�$�Ó�$��¢0�������

À?ñ�� É·¶�¢<§Ó�$�Ó�.�I¢0�S�B���S���A£h£h���.�]���A�D�����¢?�$�S�����m��*�·½3§Ç�����Ó���9±�¦ �]����¢f���¢Î�?�S�Ð�°¶�¢<§U�����7�]������B��� �´�Í¢?�(¢B�µ�m¢0���~�0�_�3¢0�$���]�7�����B�����S���A�7��®?��]®?�*�S�]���A�¢f½��?�����·¢?���S����� �&�]�3�A¢<£h���7§ ç á ±�K��¶�¢?�~�&�]�S�7���?���m�º½��A�v�?���?¥V£*¢0���A£�§��&�3���Y¢0��³

�?���&�]�S�I�·�?�z���������²��¢?�µ½��]�]�«�0�������óéA��������z�?�Â�7�S���Â����ëU�7�?�$��æR�?± ��±´¥�ô�@¾¢0�(-?í.¥[UM�A�*í?¸.õvçI±ÃÇ���$�P������¢?�S®O¢0���A�m�����D�A�?�&�������]�¾���m�$�����0£��?�?§?¥�A�?�?�S���7��®?�����$���]���A�T¢f���ó¢0�����¡ "�$�*¢<£Í���S���A£h£h���?�]���A�?¥���·�´�µ�7���&������¢0�µ¶����7�7�����S£*¢0��������¢0�·¢0���I¢?�$Ò?�]�I��?�B�S�A�v�]���S�]�I�K�0���$���©�Í�«½�¢?�$ÒP���������A����¢0���?��³�&�]�S�I��¶(�����ó�7�.�&�]���S�����D�&�?�$�Â����¢f���&�]���µ����³���S���7���?�,±��(�S�*�B�S�S�m�K���?�K�µ�m¢0�D����¢0�K�]®.�]��§?�?����7���?�S£*���$��§Â�$�©�S�]®.�A£��.�Ó���(³v��¢.���¿�����Ï�A�.�&�������]������?�?�A¢0�Â�]±g@��0¶(�]®?�]�m¥V���¢0���.���¾�;�?�¾�?�Y¢f�3¢<�����7������k�Í�K¥S¶��¾½��A£h���]®?������¢0�¾¢B�µ�?���K�?�~£��m���Í���m¢<£�³��Ôm¢0½S£��k�µ�]�����Ð�ª�0����¢?���¿�����·�����K���m�7�Y�����?�S£*�P½2��7�����S£h���m�M±  ÿ"G[ñ�" H;HL¾°EÁ��� Å��Sð��2H�ÉòÀ�Á Ä"E�¾°J¥KmðLÀ7CIð G Ê ¢ÃD�¾¢0���(���?���$¢m§.�����K�����]���iG¾°À����hò�½2�Y���m���I� ���

¢?���7�m�$���¢?�$�S�����·���S���A£h£h���?�]���A�?¥�½������h�K¶(�Â��¢<®?����ó�·¢0Ò?�Á¢Ç�����0�*�A�?¥����(³4£h��Ò?�����m�7�A�P�7�]�]� �����½��m�7�K�µ�]�����Ð�ª�v�?�¾���m¢?�7�?�S�����P¢0½2�?���¾�¢?�$�S�����m�ËÄ�����������]®?�]�U�����?���?�U�����]§D¢0���·½��A�����Á¢.�]�A���7�m��0�,½��]��¢<®.���.�7�*�7�P±�¤ �G�.���ß��¢<§?¥?¶(���7���.�&�?�I¢0�S�7��������3���A£h£h���?�]���A�����U�?�����]�·�3���·¢0�ó½2�A�����S��½��]��¢<®S³���?�7�*�7�7�*�]¢<£h£�§?¥������]�U�����������A�?�S£*�U½������]�S£*¢?�A�m�½3§P���?�&�¾�?�����]���&�]�$���Ð�M±�(���ª�*�S�m¢U�0�k¢Á�Í�(³v��¢?���¿�������¢.���S��������¢<®3³

�����Á�I¢.�.�´�]¢O£¡£�§z�.��O,�]���]�S�����S�v�?���¢0�����.�������Ð�A�m�$�7³�����ß�A�?�µ��¢0���m�¾�����S���¢0���"�´�����A�������]�����]¢0��§?¥<���?����&�����?½�¢0½S£��?±Í¤v�����S�*�Í��¢0�����]���Í�?���k��¢<§?¥S���¾¶(�h£h£�×��������¢<®?�K���&½2�&Êo���m¢?����³v�?����³v�0�v³v�����]³R��¢0���MÄ´±  ÿ"G[ñ�" H;HL¾°EÁ���4H�À�À_EJpG÷É£¢�(���D���²��¢.�·½��]�]�À�A�7���7�*�$��Ô]�m�ö�;�?��½2�A�����»¢éud �¾ýIþ��7ýf�7þ�=Kÿ��µÿ�+ª�<ý��_��f����3��fAÿ�&*�����T���p��·ý�����7þ

e�<Aÿ��*&�+ui�ý"�,ÿ���������� ÿ����������²�e�"� � ���7ý��*���¿ÿ�f��& � #%���*�>�"�� �Rÿ��*��+�:g�9�*��ÿ������7þ���+�����&Bþ���"&��7þ;����#Kþ���� �7þ��vý%,��Íÿ��.-§"0��ýIþ����Aý]ý�&i&]ÿ�+�����+�+4ÿoý��ý��©���]ÿ�+�ÿ�+�+����:

éRû W����jW������4ÿoý�%/�: a�:

S°N

Page 43: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

£h���������m�Î���m�7�B�¿�����A�µ���K�]��¢0½S£��m�B�$���¢?���7�m�$�7�&�]�S��f�k�?�S£�§åéA®?�]��½�¢O£´ëÎ���S���A£h£h���.�]���A�?± @Í�0¶(�]®?�]�m¥(����S�S�m�����.� �;�0£h£��0¶��v���?�¼���S�*������¢0���$�������m�7� �*�~���S��m¢.�7§?±¦d���?�2�?���]�3�A�B�f�Y���S�*� ®?���]¶�7���.�S£´�U�A�?�&�·���

¶����$�ó¢����m¢<£h��Ôm¢0½S£��D�&���S�A£Y�0�B¢��¢?�$�S�����P����¢f���¢.���7�m�U�����«��� ¢0���������]�������0®?�Ç����¢0�U���S�*��µ�Ð�S�A£ß�S�S�m�·���?�Â�S�m���]��®?�P�$�D½����]¢<£h£��m�»���S���A£�³£h���?�]�S�m±�¤ �Å¢��¿���&�S£��ÂéA½�¢0�B�f�_���7�*�$ÒÐ��ë9��¢?���7�m�~������Í�K¥�¶(�B¢0��� ¶(�h£¡£h�����P�$�&�A�������]�B¢?�S�����¾����¢0��������Í���*�(�$�3� �m¢?�7§·�?������¢f���$���K�3���¢f�Â�������µ�*��¢�×���µ�S£���½�¢0���0�����7�*�$ÒÐ�Í¢?�(¶(�A£h£ ±�Í�v���]�ú¸.¹ã§?�m¢f�I�]¥�¢<£h£ó����¢0�«¶(�¼��¢m®.� ¢0���

���?�&��®?�]��§¾�����.���&�]�S�I¢0��§B�$��¢0��½2�?�I� æ$¯?�m�A�7���?�\QSçA¥���]���]���.���S�������.���ÁÑ~¯?��Äo�Dôgâ����´í�SOõ�¢0���­�������m¢<£h��Ô]³¢f½S£��·¬��S�����m�7�µ���3�.�Â�Bô�¯?�m¢�-?¹<õÅ¢f���P�¾���S�ßâ~��½�³½S£��m�Í�¢?�$�S�����m�Bôoâd£��.-�ì.¥Ðâd£��3í?¸fõR±  ÿG[ñ�" H�HL¾°Eå���4H�À*À�ò?ð Â��Q�.� H5¢¤¿�(�*���$��¢<£h£��]���f�����2±��(�S�*�~�*�(���7���¢0�7�h£�§P�S���B�$�

�.����£h���������m�������S�]�I���I¢0���.�����&�0�_��¢f�����I¢<£����S���A£h£¡��³�.�]���A�?¥��&�.���K�����m�$�*�7�A£�§�£*¢0���?��¢f�?�B�����S�]�I���I¢0���S³������¥(�.�]���]�I¢0�7���?�z¢0���U�������A�m���¿�����U���ó�S���¢0���]±¤¿�&�¢<§U�]®?�]���������Ç�?��������¢0�&�����m���������Ð�A�m�$�7�m�¢f���¾���&���3�$�¿��½S£������µ�&�Ð�S�A£ �?�P�A�?�&�������]�A�]±�K�~�*�(�¢f�S�¡�v�m�7���m�µ½S§Â�����K�7��¢?�A�K¶(�K�S�]®?�?���m�

�$� b��?½��]����Ñ��$�]�����,Äo�G��¢0���]�(ôoÑ��$�mí?¹<õR¥]¶(�  ����K������*�S�m¢ ����¢0�~�����K���°�´�ÍæR�$�3��ç_�.�hùÏ�A�S£��K¢0�����&�2�?��³�A¢0�3�·�?���?±ï¤×�·�$�S�´��¢��S�A "�$���]���A§«�f�B�����D���¾êËÍ�?���h�B�?�����S�3�m�µ���?�&�$�mè?�S�������7���]�A�m���©���z������Í�À¢?�Í¢&���m�A�m���$¢0��§Ó�A�.���.�������.�Ó�f���¢?�$�S����� ����³�$�A£¡£h���?�]���A�?±�¬~�?�&�������]�I�Ë¥��]®?�]��������¢m§?¥V���]�7�v�?����·¢0�3§Î�I¢?�7Ò��K����¢f�k¶(�?�S£*�U���mè.�S�����·���3�$�A£¡£h���?�]���A��h�Ï�S�.����½3§z�S���¢0���]±îb(�m�7�m¢0�A���å¢0���ï�S�]®?�A£�³�.���&�]�3� ���ó�$�S�´�k£¡�����º�*��®O¢O£���¢f½S£��D¢0���U¶(�?�$����³¶Í�S�¡£��?±µ� ��¢f�����I¢<£ £*¢0���?��¢0�?�·�7§Ð�����]�ø����¢0�B¢0��³��¶��]�A�Âè.���]�7���m���?�«¢U��¢0�$�7�*�A�S£´¢f�P���?�S�*�ª�*�P�A�]��³�A¢<���S£�§�¢����]�·¢0��ÒO¢f½S£������$�Ð�S���A�m±U¤¿�mÄo� ���?�����7�]³£��m���>�×�����K½��m�]¢0���7�©���B�]¢f�����?�K��¢?���¾�����·���K±2¤R��.�����.�S���S���?�,¥V�����ß�Í���*�(¢��7�SùÏ�$���]�S�Y�A�?���.���7���?��v�?�¾�3���·¢0��³4£h��Ò.�&���S���A£h£¡���?�]���A��æ¿�?�Y�µ�?���&¢0�������?³�����´¢f���A£�§?¥(�&�]�3�A¢<£h���7§2çK½��m�]¢0���7�º�0�Y�������$�m¢?�7�?����.���7£h�����m�z¢0½2�0®?�?±U¤R�·�¢<§D½��º���3�U�.�¡ù��A�S£����$���¢.���K���������K¥M½��������S�*���S�S�m�K���?� �����]®?�]�S�B�¾¤�v���?��½��S�h£*�.���������3�$�A£¡£h���?�]�S�K�¢?�$�S�����m�]± @¡ ¾°ÉPÄ"À7HL¾°E*C%J°Ä"À��¦HjHL¾°EÁ���¤¢�K�ï¶(� ��¢<¶B¥U�����]�$� ¢0���¼�����3�7�¼¶����²½��]³

£h���]®?�·����¢0�¾�����Â���­�*�9��¢0�����v�S£��;�.�K�Y¤Bô @YÑ�í?¸S¥

Ãz�S�´í¥Q0õR±ø¤ �Â�Y¤AÄo��¢<��� �*�º���ó�·¢0Ò?�Á�A�?�µ������³�]�I�K�2�]�7�v�?��� é$���S���A£h£¡���?�]�S�Iëº�I¢?��ÒÐ�K¢0���º�����]�$�]½3§�¢0Ò?�~£h�h�;�¾�m¢?�¿���]�d�;�?���S���¢0���Ë¥?¶(�(�?�I¢0�S�,���~����¢0����(³v��¢?�$�¿�����À�����.�?�I¢0�Â�΢0���ó���.�D®?�]��§ï���7�A�v�S£�;�$�?�ã����¢0�(�2�]�I�7���m�A����®.�?±�¾¤����m���m¢0�I�$���]�I��¢0�$�Y½2�A�����·���p�7���7�7£�§Ï¢.�]�A���7�m�

�0�Ó�·¢0��Ò?�����MÄo� � ¢O�¡£������ö��� �¢0Ò.�����¼�¢?�$�S�����m�����¢0���]¢0����¢?���Î�����»�Í�K±k���S�´�Ë¥�¶(�ó½��A£h���]®?�?¥�*�&�����m�$�*�7�A£�§Ç���������m¢?�7�.��½��]�S�����z�7�?�&���0�¾�������¢0�I�7�·���m¢?�A�����.�����$�K�����ß�Í�U�v���?�å�$���Y�¾¤��A�?�&³�����S���7§?±�ëd®?�]�D�h�Y¶(�·�I¢0Ò?�·¢0�Á�AÉ������]�µ�®.���]¶�³���0���S��¢0���K�7�7�����S£*¢0���(����¢f�,�Y¤AÄo�M�S£��7���¢0�$���.�3¢<£0�*����B���$�Ð�S���A�B����³v��¢?���¿�����B�·¢?���S�����m�]¥S¶(�Y�7���.�S£´�¢?�]�A�]���¾����¢0�����S�*���*�Y¢µ��¢0�I�·�����.½S£��]�ø¢0���ª�0��®?������µ�?�����7���&�?±d¤v�M£��m���(�¾¤_���m���m¢0�I�$���]�I�(�7�3���µ��������ǽ��m�]¢0�����Âé$�����0��®?�m�~�����Í ��A£´�º¢ ½�¢?�&��¢f�&�më�¥�¢<§3½2�B�&�.���ß�]¢f�P½����S�?���¾���P�����K�2�3�¿���7��®?���.��³���m�A�7���?�,±b(�m�]¢O£¡£ �����©é[�k§S����ë¾�0�;Ë��]¶��$�?�¢0���µ�����K¢0��³

�S£��?±,b��m�]¢<£h£��¾�I�$�S���&�m�S�m��¢0�����S�*��¢?�S®?�]�S�������m����»½�¢f���S������±»�����Ó¢0���S£��P�©���.�3�·½����¿�h£¡£�§?¥Í½�����?�I¢<®.���7§��*�Í���?�m± å ���A�?���I���?¥3�$���?����¢0�����(�f�Å�2�]�?³�S£��ó½�¢0�����?¥ �����?���$¢0�����º�0�Ï¢0���S£��m�º�R¢<£h£R±÷�(������0���S�¾�*�]¥"���?�&�]�7���&�m�¾¢Â�$�$���]�S�7�*�7�B�]¢0�ª�;���A���¾�?�¢0�Ó¢f���S£��&¢0���ª½��]�S�����º���m¥V ������?�A¢m®.���7§?±[U,¢f���]�m¥§?�?�·�¢<§ �;�?�$�?�]��¢0½2�?�����$���ߢ0���S£��?¥��.���]®?�]�·�m¢0������h��§?�?�µ£h��Ò?�?±�(���(�����¢<§K�7�]�]�­£¡��Ò?��¢Í�3¢0�&�?± â~���,����§.�����

���D�¢fÒ?�P�A�?�&�������]�A�Â�A�?�µ�k���S�*�]¢0�$��¶(�����ó�S��³�¢0���Å���·��¢0�����A¢<£�£*¢0���?��¢0�?���´�~¢K�I¢.�7ÒB����¢f���¢<§¢<£*�7�������0®?�*�S�&®0¢<£���¢0½S£��·�����¿���?�3�A�K���S�������0¶È������3���·¢0�&�������µ¶��.��ÒÐ�˱�ËÍ�O¶��$�S�´�Å£*¢0�����]� �*������¢f��³�?��¢0½S£�§��0���$�$���]�S�7�h "�·¢0�������S�h£��3�7�?���S�*�]¢<£(���3�$�]��³�m�7�m±  w Àªí�¾¦J7H�¾°JF7F�Emñ�GBñIÀ7í¥¢ÃD�d� ¢O�¡£��m� ���(�v�S£h �£V�����7������Äo�������?�����m�A§¾��� �����

 ��I�7�&¸?¹º§?�m¢0�A�K�0�Y�$���Ï���9±_ÃÎ�Ï�7���.�S£´��¢.�S���������¢0��¶(�K��¢<®?�B¢&�.�hùÏ�A�S£��¾�I¢?�7Ò�¢0�(��¢0���M±

@Í�?���A�v�S£h£�§?¥M�����K���m¢?�S�]����¢.���7�]�]�P�$��¢0�(�¢0�S§�A�7���7�*�]�&�f���$���P���È��¢<®?�·�AÉÐ�2�m�A���m�U���S���k���$�,¥���S��m¢0��£�§?± ¯?�]�A�����ø��������� ¢?�z�����¼�S£�����³�¢0���Î�?�3¢<£B�0���Y¤·¶(�h£h£&�¢0Ò?���¢0�S§z���]�¢0�$Ò3³¢0½S£��ó¢?�$�S���]®.�]�&�]�3�A��£��S�?Ò«¶(�m¢0ÒM±ø�(��� �×���$��¢0³�7���?���*�·�7�?�&�]¶Í��¢0�����]�����S�*���A�]�3�·�0�Âé]Ñ��]�$�¢0�mÄo�£*¢?�7�¾�����]�?���]�Âëk�;���.�ã�¢0�����]�·¢0�7�*�]�(¶��S�*�$�P¶�¢?������0®?�m�����m�A�]�S�7£�§�½3§��¾���S���]¶óÃÇ�h£��m�]¥�¢<�v���]���A�]��³�����7���m� �0���R¢<�h£������?±�¦��A¢?�A�7�*�]¢<£h£�§B���?½2�Ð�S§ ½��A£h���]®?�m�

S°O

Page 44: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

�$��¢0��Ñ��]���¢f����¢.�������0®?�m�µ�����B�$���]�?���]�ã¢0������������µ�P���P���A�7��½�½S£��m�«�7�.�&�]���S�����Á¢0½2�?���&£*¢?�$ÒU�0�����¢?�A�����D�����&�·¢0���0�����0���S�*�9½��S�?Ò��&�?��������¢0�O.¹?¹�§?�m¢0�A�Y¢0�.��±�¤¿�P�R¢?�A�m¥2ÃÇ�h£��m�ËÄM�����3�f��¢<£h£����S�m��$�k�·¢0�����]�¢0���´�]¢O£G�$���]�?��§·����¢0�(¶�¢?�~���?�Y�S�]®?�A£�³�.���m� ���3���¡£�£��?���K¢<�v���]��Ñ��]���¢f�Å�.���m�M±��(���(��¢0�&��©���.�3��½2�Ó�$�������0�k�����D���9±�¨�¢<§3½2��¶����¿���&³�S£�§��S�?�,Ä ����¢<®?�������·���mè.�S�´�×���$�P�����]�?�$§Á¢0�����S�*������µ� ç B ±�����k���Ç�*�¾¢<�v���]��¢<£h£ ¥M¢0½2�?���Y�¿�����S£*¢0�7�������3��³

�·¢0�����7�P�f�Y£*¢0���?��¢f�?�P½S§ �A�.�&�������]�I�]±z�(�S�*�]¥���Ç�������,¥d���S®?�0£�®?�m�©�¢0�S§ è.���m�7�7���?����M5@��0¶�S��S���¢0���Î���7�°£´¢f���?��¢0�?�°�����¿�����h£*¢0�ó�7�]���7�����3�[êÃz��¢0�Í�*�¾���������A£*¢0�7���?��½��]�7¶(�]�]�º£*¢0���?��¢0�?�&¢0����A�.�?�S���7���?�Mê�¤×� £*¢0���.��¢0�?�Y¢0���$�?���?�&�?��� ¶����$�Â���]³�����m�A�K���·�?�����]�B�A�?�.�S������®.�¢0½S�h£h�������m�[ê�@Í�0¶ú�]¢0��A�.�&�������]�I�M½2���¢.�S�����;�Sñ�ò¥E�C"G÷H�J?ñ2ò £*¢0���?��¢0�.�0êÃz��¢0�·�S�3�m�&¢Çé]�¿�����S£´¢f�7���?��ëD�µ�m¢0�,¥�¢0�S§3¶�¢<§�ê]��.�Ó�]¢0�����S����ÒP�f�Å�&�.���kè.���m�7�7���?���Í£h��Ò?�������m�7�?±�����m�7�D¢0���D¢<£h£PÄ]ð ÅDè.���m�7�7���?�����$��¢0�Â����§Ð�$���0£��?³�f�´���I�]¥��A�?�µ�������]�Y���$���]�S�7�*�7�I�]¥2���S�h£��S�7�?�����]�I�]¥V£h����³�.�S�´���I� ��¢m®.�½2�]�]�������?½S�������v�?�&�7�]®?�]�I¢<£(§?�m¢0�I�˱�K�¾�&�?�$�B£h���?�S� �´� �7���m���?���m¢?�$�Áè.���m�7�7���?�,¥�¶��¶��¡£h£K½����?�����7���]�ó�$£��3�7�]�µ���D��¢?���×�����Î�����Ó���9±ÃÎ�Y�S�?�,Ä ��ÒS���0¶ó���0¶��¢0�S§&�7�����·�7���]����¶��¡£h£M½�����m�A�m�$��¢0��§?±�¦ �]����¢0���"���G�´��½��m���_���Í���A£*¢<Ék¢0���¾���?��$�]�3¢0�I� �����K����¢?�~¢ÂéA�?�S¢<£*ë¾½�����¢.��¢¾�v�m¢0������¢f�¶��¡£h£�æv�h�_¢0��¢O£¡£vç�½��K¢?�$�S���]®?�m�&�$�����?���?�¢ �7§S�3�����]³�×�´�~�0� �?�����]���$�]�¢0��Ò0¢0½S£��¾�;�m¢0�A�]±;ë�®?�]��§.�?����¶�����A�.���¿�*�S�]�I���S���Â���A£¡��­m���]�I���A£¡��¢Pé]�A�?�.�S������®.�k���$���]��³���´���Ië·�¢<§?¥,�AÉ��S£h�´�$���7£�§U�?�¾���&�S£h�*�$����£�§?¥~½��·¶(�?��ÒS³���������0¶�¢0�I������¢?���¿�����������Y�Í�K±?¤¿�Ï¢0�S§&�]¢?�7�?¥.¶��½2�A£h���]®.�����p­O�7���·¶��.�S£´�U¢0�¾£��m¢?�7� ½��µ���3���]�$�m�7���m����º¶���¢0�(�*�(�?�f�����µ�?�����P�$���B���«¢0���]��¢V±

ÃD�²½��A£h���]®?�Æ����¢f�È��� ¢0½��.���È ��v�ק§?�m¢0�I�ËÄ��7���&�?¥ �7�?�&�]�.���&¶(�h£h£�½��µ¶��7����³�����ú¢z��¢f���]���7���7£��m�éË�,���7�����å���m�7��Mìm¹?¹�]��m¢0�I� U,¢0���]�Ië

q®7�p;������������1�{�h�1���ÃÎ��¶��.�S£´�Σh��Ò?����������¢0��Ò�z¾�m±�|?¢0�µ�m�&¨º�3�?�<¥z¾�<±_âd�h£��.�B¯3¢<§&¢0�����¾���¢0�S¢0� ]�¢m®S��Ô(�v�?�����m¢?�S³

é�V ¤1�7�7ý��<þ�+���=*!.�"+�+4ÿ����j���*�9�9�D����# � � e;ÿ��g!Oý+�+4ÿ � ���ai*=� ���;�<ý��*��ý"�9�����g�7ý��*�����7þLtú��þ�����g������+j!<þvý�!0ý+���&\+vý �`��þ+��+�����;�výg��+�� � � � ÿ�+��]+������ � � ý��&²���2�7ÿ��©:

�����ó¢0���ó�A�?�µ�&�]�3�������U�?���m¢0��£¡���]��®?�]�A�¿���?���&�f����S�*��¶(�?�$Ò"±

¦ � � � � �ÍÚ � � �

ô �¾½���Q�-0õ b(�.½��]���À¦ ±��¾½��A£*�7�.�,± ¯0���k�S£*¢0³�7���?� �0�À�7���$�*¢<£»½2�]��¢m®.���?�m± ¤¿�¢�±7U2�����SÔ]�]§Ï¢0���òë�±0�¾���?���7�?�,¥.�m�S³�����?�A�]¥¨§iJ?ñ�ò¦ÄÀ*ÀpÇ ÀeÁ w À1�<ð`J��]ÔjG�ÉQ��l¾°À�� À�Å¥ÉO¥ ��¢0�?�m��N¦R�S�©¿O.¸7Q�±(�K���.��³�7�.� ÃD�m�×£��]§?¥ b(�m¢.�.�����2¥å¨�¢?���]±�¥ìmí¥Q�-�±

ô �Í£���í.¹0õ ¢¾�]�I¢<£*���Í£����]�m±¾�È���7§������S¢0��¢<£�§Ð����I¢fÒ?�m�D�$���À�,�����������(�m�7�m± ÔjG�ÉQ��l¾°À�J?ñIJ�� ÉpHvð'�«ªgE�K<ð`E*í�¥{R7R.æIì0ç�Mo¸.í$©Q�-V¥"ì<í?í?¹�±

ô �¾����-¦Rmõ z�±¾�¾���S�]�I�7�?�,± ¤7�������z¬��S�����m�7����S�?� ���������m¢<£K���S������ê Ôj¾Sð'� ÀpG��ÀFI¾°É0¥hQ7N�M�O)-?í$©¿O?í¥O�¥�ìmí�-¦RS±

ôoâ(¢0�(-¦R<õ |0�.��� â(¢0�����m�×� ± ¦��$�3�7���m�A�A�z�v�?������¼¬�§S½��]�7�*¢?�rM ¬��]�$�I¢<���ã£h�������I��?�·�S���¢0���7�A£h�;³vÒS���0¶(£��m�S�?�¾���������¬�§S½��]�$���]�7�*�å¢0�?�?± ú�À��¦CIñIJ��iÁ�À7CHL¾°E6�9¾¦E�À7CÉ�À�Á w À1�<ð`J���Â�E�¾¦J7KmðLÀ7CA¥ìpR¦M�ìmí$©°S¦Q�¥�ìmí�-¦RS±

ôoâd���1-�-0õ ¦ ±Bâd���]�7�R± �(�S����Ò.�����È�¢?�$�S�����m�Ë¥�7�.�&�����AÖ��m�A�7���?���·�?���$���Ó�����7������(�m���m±MÔgÀ�E�Hvð���G®�hÀ<ò7J7É0¥_íSæAì0ç�M�ì�Q¥O$©ì1-¥Q�¥Mìmí�-�-�±

ôoâd£���R�-0õ ËÍ�m��âd£����$Ò"±������?��½S£��m�(¶(�����·�v�����A³�7���?��¢O£¡�*�7�º± ¤¿�ƬY±µÃÁ¢?�S�¼¯3¢<®3³¢0�.�?¥(�m�.���$�?�m¥ îÓð4ñ�ñIE�G�À7H�J w Hu�3ò.ð`ElGð4ñ HL¾¦E Ôj¾Sð'� ÀpG�ÀFh¾°É À�Á w �mðLEmñ���E<¥®?�f£����µ�kí�M(¦ �]�I�A�]���7���?�D¢0���T¬��?�?³�S���7���?�,±�RÍ�S��®?�]�I�¿���7§·�0�Ũª�������m¢0���?³£h�*�Y¦d���m���]¥2¨������,±�¥�ìmí¦R�-�±

ôoâd£��.-�ì]õ ËÍ�m�zâ�£�����ÒM±È¦��7§��$���0£��?�0�*�7� ¢0���½2�]��¢m®.���?�7�*�7�P±·Ôj¾3ð�� ÀpG�ÀFh¾3ð���J)�Jª[E��K<ð`E*í�¥�í?¹�Mo¸P©°S°O�¥�ìmí)-�ì?±

ôoâd£��3í?¸0õ ËÍ�m�Àâd£�����ÒM±Æ�(���D�©�����ï¢?�ª������7�f�;�7¶�¢0���(�0�_�$���Y½��I¢O���,±�¤R��z�± å �7³���]�I���?�,¥%U�±~¢�£��A�����¢0�,¥µ¯�±I^¾�3�$�7³£�§S�,¥°ë�±.¯?�������,¥?¢0���µ¯�±S¯?���]�$�3½2�]����¥

S7S

Page 45: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

�m�.�����.�I�]¥�½Kñ ÿIñhK<ð`H�J7HvðLÀ?ñTH�ÀT±�À�Å?ñ2ð��HvðLK�E w �<ð`E<ñ��Em±,¨º¤×��¦��$�m���]¥~¬�¢0�&³½����´�S�.�?¥"¨�¢?���˱�¥Mìmí?í?¸�±

ôgâ�����-�-0õ ¨U±�â~���S�]�,±{ë����]¢f�S�����Î�v���?�÷�����¬~�S�����m���È���3�.�P± ¤R� ±jÀ Ê F{�¦H�E�Cî¡Àmò7EQ� G À�ÁiHL¾°E îÓð4ñ�ò.±�¬�¢0��½��7�*�S�?�RÍ�S��®?�]�I�¿���7§P¦��$�m���]¥�R ±D^�±�¥Mìmí�-)-�±

ôgâ����´í¥N0õ ¯?�A£��&�]�â~�7�����3�ú�×�?�A�M± ¡ ¾°J¥H ª[À°Ä"À7HLG)±jJ?ñJ.ñ�òî±jJ?ñ�" H Â�Em± ^Í£��3¶(�]�m¥�z¾�.��³�S�$�m���S�m¥��(���%ËÍ�]�����]�7£*¢0�����Ë¥_ìmí.í7N�±

ôgâ����´í�S?õ ¯?�A£��&�]��â~�7�����3�L�7�?�I�M±�¬��.�S£´�M¥M���0¶�A�.�S£´�ï¶(�U���A£h£&�h��¥�¢0���È�7���.�S£´�ï³¢f���S���0�*���·��¢<®?�·�������]�·£¡��®?�m�[ê ¤R�^�±�¨U±(Ñ��?�A�M¥¾¬Y±�¢Í£�§3�&�.���m¥Y¢0���¦ ±p@Y¢<§?�m�Ë¥m�m�.�����?�A�]¥7½Kñ�ò¥C�À.ð*ò�×1F"ð�G��H�E Ê À�� À�Å7É0¥Î��¢0�?�m�zí7O$©"ì*N7N�±&¨º¤×�¦d���m���]¥G¬�¢0��½��7�*�S�?�?¥�¨�¢?���˱�¥�ìmí.ípS�±

ôgâ����´í¥Q0õ ¯?�A£��&�]�ãâ~�7�����3�L�7�?�I�M± �(��������³®.�]�����m�������7�����Á�(�m�7� �*�������0®O¢f½S£�§�$�m�S����³��¢f�3�m±6Ô�G÷É��À�� À1�1�¦É0¥gR?æ�N.íSçI¥(ìmí?í7QV±�S�����9M ­7­m¶�¶�¶ ±o�A�?�3���$�R±o���?���?�,±o¢.�0± ��Òh­����§Ð�A³v½S���r­m���]¶�����§�ê*R3±�N?í�±

ô�¬�����RO¸0õ ËÍ�3¢0� ¬����?�Â�7ÒS§?±¬ª[El­>E���HvðLÀ?ñoG?À?ñ/9J?ñ¦Å��¦J�Å7E<±�¦�¢0�3�$���]�?�,¥,ìmí¦R0¸�±

ô�¬[@�Ã�R3ìËõ ^¾�]�����]�$�T¨U±M¬~�0£�½3§?¥MÑ��I¢f��Ò?£h����z�±@��h£h��¥�¢0���U¯?§.£�®?�*¢ºÃD�]½2�]�m±&�¾���7�h �³�$�*¢<£(��¢0�I¢0���f�´¢V±%½iCHvð þ��mðLJ��#ÿAñhH�E1���hð��Å¥Emñ���E<¥¿NoM�ì5©¿N?¸V¥�ìmí¦RSì?±

ô�¬[@�Ã_^²R.Nfõl^¾�]�����]���D¨U±2¬��0£�½S§?¥�Ñ��I¢f��Ò?£h����z�±@��h£h��¥ï¯?§.£�®?�*¢øÃÎ�]½��]�m¥z¢0���È@Í�]³£��]��¢�¬Y±F^¾�I¢0�]�&�]�<± �����7�����?³4£h��Ò.������.�*�7�7�����?�S�*�7��¢f½S��£����7§Â���m���I�M�v�?�������®0¢<£h�*��¢0�7���?���0�Ï¢«�A�.�&�������]�D�¿���&³�S£*¢0�����.�ã�0�Ó��¢f�I¢0���0�*�¼�������A�m���7�m�]±½~C�Hvð þh�<ð`J��0ÿAñhH�E1���hð2Å¥Emñ���E<¥ O�M�ì<í?í$©N¥N7N�¥Mìmí¦R.NV±

ô�¬�£*¢?í7N0õ �9±M¬�£*¢0��ÒM±��(���B�,���������·�(�m�7�Y¢?�(¢���0®?�A£M�v�?���¼�0�_���]���&�]���]�����´�]�˱�ÿIñ��H�E*CIñIJ7HvðLÀ?ñhJ�� w Hu�Sò?ðLE�G�ð*ñ6Ôj¾Sð'� ÀpG�À��FI¾°É0¥�NpSVæIì0ç�M�ì�R�©¿O�ì0¥�ìmí?í¥N�±

ôh¬�¨�í?¸0õ ¯?���]�����]��|�± ¬~�O¶�£��]§P¢f����^K¢0�7£�Ñ(±¨�¢?�*z¾�?�$�¢0�,± ¯0���k�S£*¢0�������ï�A�?��³®?�]�A��¢0�7���?����M ����� �A�?�&�����S���?��3¢f�&�?±Ã½ ÿ«J?ñ�ò w À1�<ð`E*H�ÉO¥�íoM�ì?ì�Q$©ì�O¿R3¥Mìmí?í?¸�±

ôh¬��0£'-�ìËõ ^¾�]�����]���ȨU±K¬��f£�½S§?±Æ¨º���S�A£¡�����¢­��¢0�I¢0���f�´���������M± Â�E�¾¦J7KmðLÀ7C�J��J?ñ2ò Â�C�J?ð*ñ w �mðLEmñ��E�G]¥iS�æ�S�ç�Mo¸�ì<¸$©¸7Q.¹�¥Mìmí�-�ì?±

ôh¬��0£*í?¹fõ @ ±B¨U±&¬~�0£h£¡�����]± ½iCHvð þ��mðLJ��ª×�1�F�E�CHLG+® w À1�<ð`J��-¯BñhÀ7í�� EIò*Å7E©J?ñ�ò�ÿIñ2�H�EQ�'�hð Å7EmñIH�î¡J���¾3ð4ñhElG[±K¨º¤×�ï¦��$�m���]¥ìmí.í?¹�±

ôh¬��0£*í�ìËõ z�±�|V±D¬��f£��?± �¾���7�h "�$�*¢<£ ¤¿�3�$�A£�³£h���?�]���A�ã¢0���²���]�A�7�?��¢<£D�*�S�]�S�7���7§?±w ÉOñIHL¾°E�G�Em¥�-�-oM�O?í?í$©¦S�ìpR3¥Sìmí?í�ì.±

ôh¬��0£*í¦R<õ @ ±�¨Á±ª¬��0£h£h�����]± �(���»ë��.���7������(�m�����;�.�Á�����z�S�]�]�å�����.½S£��]� �f��¾¤I± ÔjG�É��À�� À1�Q�°É0¥�-SæIìfçI¥zìmí?í¦R3±�S�����9M ­¥­m¶�¶�¶B±g�A�?�3���$�R±o�7�.���?�,±o¢0�0± ��ÒI­���7§��A³v½S���r­m���]¶����7§2ê©-V±o¹�ì?±

ôh¬��?��í¥O0õ â¾±F|�±�¬��.���A£*¢0���M± �(���ó�A�������.����]¢?���&�0�������º¬��S�����m�7�Â�.§3�P± w ÉOñ2�HL¾°ElG÷E<¥�í?¸�M�ìpRpO$©Ì-7Q�¥2ìmí?í7OV±

ôh¬����SípS?õ U�±Í¬������$Ò?�]���m±ó�9¾°Eß���¦CAð*ñ¦Åß��ElG÷HJ?ñ2ò HL¾°E,°9C�J Ê E�ÔgC�À°Ä*� E Ê ® ½Fÿ." Gî�ð�G�H�JpÇ.E<ñ�±_ñ2ò7E�C"G�H�J?ñ�ò?ð4ñ°Å¡ÀeÁvÿIñ2�H�EQ�'�hð Å7Emñ���E<± �¾½S£��AÉ,¥{ËÍ�?��¶(�3���M¥Ë ±D|�±�¥Mìmí.ípS�±

ôDzK¢<®Ðí.¹0õ z¾�?��¢O£´�ªzK¢<®?�*���7�?�,±S�,���������2Äo�,�$�m�7�m±¤¿�c^K¢0�7��� ��±�¯3¢<�*�ï�]�Á¢O£ ±´¥��m�.��³���.�m¥0î À<ò7E1���hð*ñ¦ÅiHL¾°E(î�ð*ñ2ò?± å É3�v�?�I�RÍ�S��®?�]�I�¿���7§Ï¦d���m���]¥ å É3�v�?�I�M¥�R ±D^�±�¥ìmí.í?¹�±

ôDz¾�]��í7N0õ zK¢0�S���A£z¾�]�����]���m±]±jÀ.ñ�G*�mðLÀ��7G]ñhElG�G×��F{� J?ð4ñhEAò?±�U2�����7£��?¥�â~���0¶���²ï¬���±�¥â~�3�7�$�?�,¥�¨Ó¢.���]±�¥Mìmí?í¥N�±

ôDz¾�]¶Yí7Nfõ ��±D^�±¬z¾�]¶Y�S���]§?± �����7�����ú���m�7�m±w �mðLEmñhHvð þh��½ Ê E*CIð��J?ñ�¥�N7Q7QÐæIì0ç�M�O.¹$©O�ì.¥"ì<í?í7N�±

S3¸

Page 46: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

ô¨z¾§?�mí?¹0õ ¨U± z¾§?�]�m± ¤R��³�$�]�3�7���?��¢O£¡���7§k¢f���B�A�?�&�����A¢0�7���?��¢<£�³�*�7�5M ¨ª�������]¥&�·¢?���S�����m�]¥ª¯?�m¢0�7£��¢f���ï@¾¢0����¢.�M± ú�À��¦CIñIJ��_À�Á�×��1�F�E�CAð Ê E<ñhH�J���J?ñ�òß�1¾°E�À¥C�E*Hvð'�J��9½iCB�Hvð þh�<ð`J)�¬ÿIñhH�EQ�'�hð Å7E<ñ��Em¥]N�M�O?¹7OP©¿O�ìmí�¥ì<í?í?¹�±

ô ë�����í7Nfõ b��?½��]��� ëd���7���A���,± �(��� è.���m�7��v�?�����������S����Ò.�����Á�A�?�&�������]�<±4½ ÿî¡J�Å7J-³[ð4ñhE<¥åì�OSæ�NSç�MD-�ìO©Ðí?¸�¥­¯?���&³�µ�]�Bìmí?í7NV±

ôgÑ��A�*í7Q0õ ë~�S¶�¢0�I�Ç�k±�ÑV�A���?�]�3½�¢f���P± @Í�0¶�$���kéA¶���¢0�Aë¾½��m�A�?�&�m�d�����kéA���0¶YëV±±�À Ê]Ê �Sñ�ð��J7Hvð`À.ñ�G)À�Á3HL¾°E)½]±�î�¥O.íSæ׸Sç�Mgí¦R�©"ìm¹.¸�¥�ìmí?í7QV±

ôgÑ��]�Ií7Ofõ |.¢0�&�m� @B±·Ñ��]��Ô]�]�<± �����À������*�����.�P�����Π���¢<£k¶(�?�A�M± �9¾3ð4ñ�Ç0¥NÐæIì0ç�M�O�S�©¿O7Q�¥�ì<í?í7O�±

ôgÑ��]�Ií?¸fõ |.¢0�&�m��@ ±BÑ��]�$Ô]�]�m± ¨ª�������Á¢0����·¢?���S�����m��Møâ~�]��¢<®?���?���´���P¥P�S��¢<£�³�*�7�²¢0���·½��]§?�.���M± w H�J?ñ�Á�À7C7ò¬×��2E��*�H�C�À?ñ2ð'�´§F� Ê J?ñ2ð`HvðLE�Gµª[E*KmðLE�í�¥pS�æ�NSçI¥ì<í?í?¸�±

ôgÑ;@Yí7Qfõ ^¾�]�����]�$� Ñ��?�I�¢f���À¦�¢0�$�7�*��Ò @Y¢<§?�m�]±²�(�����,����³�����Â���m�7�~�´�q�×���7��¢?�~½�¢?�µ¶����]�·����³®.�]�����m�M±�ÔjG�É��À�� À1�Q�°É0¥¦R?æ�S°OSçI¥Sìmí?í7QV±�S�����9M ­7­m¶�¶�¶ ±o�A�?�3���$�R±o���?���?�,±o¢.�0± ��Òh­����§Ð�A³v½S���r­m���]¶�����§�ê*R3±�S°O�±

ôgÑ�£��Sí7Q0õ ¢K¢0��§PÑ�£��S�Ð�M±Í¤v���.�S£�§º�����]§P�A�?�S£*��$�S����ÒrMº¯?���?�S£*�������������7�����Á�(�m�7�½2��½S£*¢0�&�m�©�;�.�������~�¡£h£*�(����¢f�_½2�m�7�]�¢f���7�h "�$�*¢<£����S���A£h£¡���?�]���A�?±<ØiE�í w �mð¥�E<ñhHvð G÷Hv¥Mì�SSíSæ�N?¹�ì*NSç�M�O7NP©¥O.¸�¥�ìmí?í7QV±

ôgÑ�����í�ì]õ |f�]����§ä�k±ïÑ����S�?�m± ]Í��� ¢0���]K¢0���º���������º¬��S�����m�7�P���S�?�P±ª¤R�z�±�b(�3���]�3����¢O£ ¥Í�m�.�����?�m¥·�9¾°E®ØiJ��Hu�¦C�E�À�Á�HL¾°E�î�ð*ñ2ò?± å ÉS�;�.�I�ßR��S��³®.�]�I�¿���7§ ¦d���m���]¥ å ÉS�v�?�I�M¥ûRB±D^�±´¥ì<í?í�ì?±

ôgÑ��?�(-)-0õ b9±�Ñ��?�I��§3���,±¼�(���������?��½S£��D¶(������¾¤I±ÿ½iC�Hvð þh�<ð`J)��ÿIñhH�EQ�'�hð Å7Emñ���EFªgE*�K<ð`E*í�¥hNSæIìfç�M�Q¦R�©IR7R3¥�ìmí�-)-�±

ôoÑ��$�mí?¹0õ b(�.½��]���óÑV���]�����,± ¯?��½"�A�?�?�S���7���?�¢0��� �����­£h���©���A�z�0�Á�����È�����7������(�m���m± îÓð4ñ�ò?¥Èí?íSæ�O?í7OSç�Mg¸7O$©°Q?¸�¥ìmí.í?¹�±

ôoÑ��$�mí?¸0õ b(�.½��]����Ñ����]���$�,±&b��A�;���A���¿������������S�]½�¢0�$�P�?�Ç�����P�,���������ó���m�7��M�����m�����?���7�?±~Â�E�¾°J7K<ð`À¥C\J.ñ�ò�Ôj¾Sð'� ÀpG��ÀFI¾°É0¥hN7O�Mo¸.í$©¿Q?¹�¥2ìmí?í?¸V±

ôoÑ��$�mí7Q0õ b(�.½��]���ÁÑV���]���$�,± �(����¤¿�3®?�]�$���m������7�����ó�(�m�7��M��Æ�×���µ�S£��°æR�������S³£��m���Açº�����?�?�I¢f� ����¢0�D�A�?�S£*����¢?������m± Ô�G÷É��À�� À1�1�¦É0¥)R?æ�O?íSçI¥Çìmí?í7Q�±�S�����9M ­¥­m¶�¶�¶B±g�A�?�3���$�R±o�7�.���?�,±o¢0�0± ��ÒI­���7§��A³v½S���r­m���]¶����7§2ê�RS±�O?í�±

ô ¢Y�]��í�S3¢0õ |0���.�����ÿ¢Y�]���0®0¢�± b��m�7���?�����«����¾���S�]�I�7�?� ¢f��� ^¾�A�����,± w À���<ð`J��\×1F"ð�G�H�E Ê À�� ÀÅ7É0¥ -Sæ�S�ç�M�OpS2ì5©OpS¦O�¥Mìmí?ípS�±

ô ¢Y�]��í�S?½�õ |0���.������¢Y�]���0®O¢V±��,���������2Äo���7�AÉ���¢<£�?���m�$�¿�����ó�3¢0�µ�?± w À1�<ð`J)��×9F"ð G÷H�E��Ê À�� À�Å¥É0¥�-Sæ S�çM�O�ì�O$©�O7NpQ�¥�ìmí?ípS2±

ô ¢ U�í�ì]õ b(�.½��]����¨U±�¢K¢<£*¢0��Ô]�]��³ UG�]®3§?±V¬��?�&³�������]�z�&���S�A£*�«¢0���²���7§��$���3¢0��¢0³£�§S�7�*�¾�*�S�m¢?��Mgë��S�*�7���]�µ�0£��?�0�*�]¢<£�¢0��³�S£h�*�]¢0�7���?���]± w À1�<ð`E*H�É{Á�À7C ÔjG�ÉQ��l¾°À�J?ñIJ�� ÉpHvð'� ÔjG�É���¾°À7HL¾¦E�C�JF�É_Â����D�� E�Hvð4ñ�¥�QSæAì0ç�M�N7OP©¿O7O�¥�ìmí.í�ì?±

ô ¢ß�]-�-0õ ¯�±¥¢Y���]�$���?���Y¢f���]¢k±0� ¢0��½������7���S�R±�����7������Äo�¾���m���K���]®?�*�¿�����m�M±�¤¿��Ô[C�À���E�EAò?ð4ñ°Å�GªÀ�Á HL¾¦Eg¶�·�·�¸ ÿ:××�×cÿIñ2�H�E*CIñIJ7Hvð`À.ñhJ�� ±jÀ?ñ�Á�E�C�E<ñ��EDÀ?ñ w É*G��H�E Ê G5¹Æî¡J?ñ J?ñ2ò ±jÉ7ÄE*CIñIE�Hvð���G]¥®?�f£����µ�Pì?¥,��¢f�?�m�%O�-P©°S�ì?¥,â~�A���R�����¢0����¯?���]�S§3¢0����¥µ¬��S����¢�¥��¾���?���7�ìmí)-�-�±

ô ¢Y�S�'-7Ofõ ¨ª�*����¢f�A£k��±%¢¾�S�h£¡£��]�,±Ì�(���U���m�7��0���,���7������±ÛÔjG�É���¾°À�� ÀÅ7É �hÀ<ò7J7É0¥ìpR.æIì�NSç�M¨-?¹$©Ì-�ì0¥�ìmí)-7O�±

ô ¢Y���hQ�S?õ ^¾�A����� ¢Y�����S�]�I���?�,±�(���T���©���A¢0³�7���?�z�3¢f�&�?±Èî�ð*ñ2ò?¥iR.OoM�N7OpS�©�NpS3¸�¥ìmí¥QpS�±

S°Q

Page 47: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

ô ¢Y���hQ¦Rmõ ^¾�A����� ¢¾�����S�]�I�7�?�,± î¡EmñhH�J)�¡ðLH�ÉJ.ñ�ò�î¡J���¾3ð4ñhElG[±8z¾�?��½S£��m��¢<§?¥�Ë��]¶]��.��Ò"¥Iˤ]�±�¥Mìmí7Q¦RS±

ô @Y¢<£'-¦R<õ ¨U±;@¾¢<£����]���,±D�����7������Äo� ���m�7�&¢0����$���·�´�S�]�f£��.�?§��0�K�Y�����¡ "�$�*¢<£K¤R�S���A£�³£h���?�]���A�?± ½iC�Hvð þh�<ð`J)�FÿIñIH�E1���¡ð Å7E<ñ��EªgE�K<ð`E*í�¥,ì0æ�NSçM ROí$©Ðí¥O�¥�ìmí�-¦RS±

ô @Y¢0��-?í0õ ¯?�$�]®O¢0� @Y¢f����¢?�M± ¨ª�������]¥��¢0³�$�S�����m�¢f��� ¯?�m¢0�7£��?± ú�À��°CAñhJ)�ÀeÁh×��F�E�CAð Ê EmñIH�J��¦J?ñ�ò��9¾¦E�À7C�E*Hvð'�J��½~C�Hvð þh�<ð`J��²ÿAñhH�E1���hð2Å¥Emñ���E<¥MæIì0ç�Mg¸$©¿N?¸�¥ì<í�-?í�±

ô @Y¢0�Aí?¹0õ ¯?�$�]®O¢0� @Y¢f����¢?�M± �(���À��§3��½��f£�.���?�����.�����Â���$�?½S£��]�P±�Ôj¾°É*G]ð'�J�ºß¥æ�S°NSç�M�O¥O?¸$©¿OpS¦Q�¥�ìmí?í?¹V±

ô @Y¢0�Aí�ì]õ ¯?�$�]®O¢0� @Y¢0�$��¢?�M± å �����]�·½����.���m�]¥�.�����]�B����������M ���¢?�$�S�����������]¢0��³��¢f�7���?�À�f�Ï¢0�ï�0£*�«���S�h£��3�7�?���S�*�]¢<£���$�?½S£��]�P±Kî�ð*ñ2òpG%J?ñ�ò·î¡J���¾Sð*ñIE�G]¥ì¥M�S°O$©Ð¸�S�¥�ìmí.í�ì?±

ô @Y¢0�Aí7N0õ ¯?�$�]®O¢0�È@¾¢0����¢?�M± �����ú�����7��������m�7���*�����?�&¢������´�$ÒrMÏ�����7����������³�.�*�7�������.�S�´����¢0½S�h£����ק°�*�¢����$���]�S�7�h "��A�����$�]�7���?�,± w ÿ$»j½¨ªF�AÂ����'� E*Hvð*ñ2¥OÐæ S�ç�MoíP©"ìm¹�¥ å �A���.½��]��ìmí?í7N�±

ô @Y¢0�AípS?õ ¯?�$�]®O¢0�T@Y¢f����¢?�M±#z¾�S�m���©�����µ�S���?³�.§3½�¢?�$Ò��?�&���.½��?�7�*��¢f���Â�7§S��½��0£h�*��]¢f��¢?�$���ק2ê̤R�)@B±,¨º�?���0¶(����Ô&¢0���|V±·¯0�����.�]�m¥·�m�.���$�?�I�]¥6�9¾°EöîÓð4ñ�ò�¹HL¾¦ETÂ�C�J?ð*ñ¼¹%J?ñ�ò ±jÀ Ê F{� E*�T½Yò¥JF��HvðLK�E w É*G�H�E Ê G[±Í�ß���.�*�7�.�ÈÃD�m�¿£��]§?¥b��m¢?�.������¥"¨�¢?�$�]±�¥Mìmí?ípS2±

ô @Y¢0�Aí�-0õ ¯?�$�]®O¢0�»@Y¢f����¢?�M±�����7�����Ç�����.�´��³�������.�S�´����¢0½S�h£¡���7§ ¢f���÷�����²½S£h�����¶�¢0�A�����¢fÒ?�]�m± ¤R�u¢k±,¨º�S£���¢0���7�]�m¥�m�.�����.�m¥8×[K*À�� Kmð4ñ°Å ±jÀ?ñ�G*�mðLÀ��¥G[ñIE�GG[±|f�?��� â~�]�p��¢0�������]¥U�Y�·�7���]�I��¢0�º¥ì<í?í�-�±

ô @Y¢0��í¥O0õ U�¢0����§A@¾¢0���7�]�m± b(�m¢f�S�����Ì�����¶Í�S����£�¶������rM_b��]�S£�§­��� @¾¢0����¢?�MÄg�é[�?�����]�ø½����.���m�]¥ø�?�$���]�Æ��������ë�±

î�ð*ñ2òpGïJ?ñ2òøî¡J���¾3ð4ñhElG[¥{OoM�N�ìmí$©N7O¿R3¥Mìmí?í7O�±

ô�@¾¢0��í¦Rmõ U,¢f����§ @¾¢0���7�]�<±�¯?�m¢0�7£��?Äo� ¬��S�����m�7�½2�mÉ9M z¾�]½�����Ò.������$���å¬��S�����m�7����S�?�À¢f���?���&�]�S�m±.îÓð4ñ�òpGjJ?ñ2ò¾î J���l¾3ð*ñIE�G]¥IR°M�ìmí?íP©¿N7N7Q�¥�ì<í?í¦R3±

ô�@¾¢m§�í�-0õ â~�7�*¢0�È@¾¢<§?�m�]± �,���7������Äg�»���m�7�m±î®�7G�Em¥�-�¥��¾���7�h£�ìmí.í�-�±

ô�@Í�]��í?¹0õ ���I¢?�A§zâY±g@Í�]�S£��]§?±²¬~��¢0��®?���S�*�7�¢0���z���$���]���A�7M��¾���?�����]�·���]�S£�§z���¯?��¢0���.�,±²ú¿À��¦CAñhJ��lÁ÷À7C©HL¾°E·�9¾°EÀ7C�ÉÀ�Á w À1�mðLJ��¦Â�E�¾¦J7KmðLÀ7CA¥°N?¹SæAì0ç�Moí7OP©Ðí?¸�¥ìmí.í?¹�±

ô�@¾Ñ�í?¸0õ ¦�¢0�$�7�*��Ò @Y¢<§?�m�Õ¢0��� ^¾�]�����]���ÑV�?�I�M±ø�,���������«�(�m���Ó�A�?���¿�*�S�]���m���¢0�$���;�S£R±�¤¿�ßÔ[C�À1�E�EAò?ð4ñ°Å�G ÀeÁPHL¾°E°9À��¦C�H�EEmñIHL¾_ÿIñIH�E�CAñhJ7HvðLÀ?ñhJ)�;ú�À?ð4ñhH±jÀ.ñ�Á�E�C�Emñ���E©À?ñª½~C�Hvð þh�<ð`J���ÿIñIH�E1���hð��Å¥Emñ��Em¥<®?�0£����&�Kì?¥<��¢0�?�m��í¿R.N$©Ðí¦R¥R3¥ìmí.í?¸�±

ô�@©@Y¦~â�í¥N0õ ¦ ±9@¾¢m§.�m�]¥,¯�±9@¾¢0����¢.�M¥³z�±M¦ �]�7£h�´�Ë¥¢0���)Ë ±�âd£����$Ò"±)¼Í��������¢<£Y�7§S�&�2�?³�¿����� �?�®.��������¢<£K�������M±¼îÓð4ñ�òpG«J?ñ2òUî J���l¾3ð*ñIE�G]¥�OSæ�NSç�M N�ìpR�©¿O)-�¥3ì<í?í7N�±

ô�@Í�Ð��-7Ofõ �¾���S���]¶ @����S�?�m�]±¡½F� J?ñ �³�¦CIð4ñ°Å�®�9¾¦E×(ñ�ð Å Ê J?±S¯0���&�?� ²z¯3�$�3�������]�m¥ËÍ�]¶�]��?��ÒM¥hË´]k±´¥"ì<í�-7O�±

ô�@Í�0�ã-¥N0õ z¾�?���f£´¢.��bK±T@Í�0� ���I¢?�S���]�m± �(��������7����� �(�m����M � �A�íOG�]�]³v���.���7��A�?�S®?�]�I�$¢0�7���?�,± ¤¿� z�±DbK±5@��0�R�7³�I¢.�S���]�D¢0���cz�±h¬¾±lz¾�]�����]�$�m¥��m�S³�����?�A�]¥å�9¾°E�î�ð*ñ2ò#" G®ÿO®½°9J?ñhH�JpG]ðLE�GJ?ñ2òVªgE�­�E���HvðLÀ?ñ�G À?ñ w EQ� ÁÈJ.ñ�òw À��.�h¥Ì��¢0�.�m� Q?í$©Ðí?¸V±å¦ �]���?�S���â~�S�?ÒÐ�Ë¥"ì<í�-7N�±

ôD|?¢?�]í¥O?¢0õ zK¢<£�� |.¢?�]è?���]�$���?± � �����7������(�m���©�A�.�3®?�]�A��¢0�7���?�,±~Ôj¾3ð�� ÀpG�ÀFh¾°É0¥Q�-oM�N7O�ì5©�N7O7O�¥�ìmí.í7O�±

ôD|?¢?�]í¥O0½�õ zK¢<£��I|.¢?�]è?���]�$���?±�Ãz����Äg�_¢<�v�I¢<�*���f������&�(���������P���m�7�m±iÂ�El¾°J7KmðLÀ7CDJ.ñ�òÔ�¾3ð'� ÀpG�ÀFh¾¦ÉO¥IN?¹�M�Q7OP©hR�S�¥�ìmí.í7O�±

S�R

Page 48: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

ô¨^K¢0�(-7Q0õ ¬~��¢0�7£��m�;^K¢0�$�A£¡�*�]±¬b(�AÖ��m�A�7���?��� �?��$���ó�,���7�����À���m�7�m± ú¿À��¦CAñhJ���Á�À7CHL¾¦Eß�9¾°EÀ7CÉ ÀeÁ w ÀQ�mðLJ���Â�E�¾°J7K<ð`À¥CI¥ì*Q�M�ì�Q�ìO©"ìpR.N�¥�ì<í�-7Q�±

ô¨^¾���.-7Q0õ ¦ �]�$�]�;^¾���?�A£R±Â�(�S����Ò.�������¢<§º½���µ�?��������¢0�z�A�?�&�����7������± ±�À�Å?ñ2ð��HvðLÀ?ñ2¥hN7N�M�ì*O¦R�©"ìmí)-�¥�ìmí�-7QV±

ô¨^¾���3í?¹0õ ¦ �]�$�]�,^¾���?�A£R±ï¤×�©�����7���&�P�$�Á���]³�S£*¢?�A� �����7������Äo����m�7�]ê�ìmí?í?¹¾ÃD�.��ÒÐ�����?�ª½iCHvð þ��mðLJ��ÿAñhH�E1���hð2Å¥Emñ���E�®M× Ê E�C�Å?ð4ñ°Å w �<ð`E<ñ��EÀ¥C�º É0ð4ñ°Å¡½iCH¨°9À7C Ê ¥(�7�2�?���7�?���m�½S§ ¯.R?Ë´] âd�����?��¢0�����.�,Äo�z¦����?³�.�I¢0�Õ���«¦d�S�¡£��3���?���3§«¢0���ö¬��?�&³�����$�]��¢0���µ¯?§��7���]�Â��¯3�$���]���A�m�(¢0����¾�¾�Y¤A¥_ìmí.í?¹�±

ô U,¢<�'-�-0õ ¦d�S�h£¡��� |0�?�������?� U,¢<���I�M± �9¾°E±�À Ê F{�°H�E*CTJ?ñ�ò�HL¾°E�î�ð*ñ2ò?± @¾¢0��³®0¢0�I� RÍ�S��®?�]�I�¿���7§ ¦d���m���]¥�¬�¢0�&³½����´�S�.�?¥"¨�¢?���˱�¥Mìmí�-�-�±

ô U,¢?��í7Qfõ |f�m¢0�ÃU,¢?�$�7�]�?���?±�Ãz��¢0��Ò.�����ö�0������7�����P�(�m�7�K�.�*���,���7�����·��¢<®?�K����©�����2ê �hElÇ�¾3ñIE Ê J?¥¡O�M�O¦R�©�¸�-�¥ì<í?í7Q�±

ô UM�A�'-?í0õ |f���7�7��� UM�A��½��]�m± ¯?��¢0���?� �?��$���ó�,���7�����À���m�7�m± ú¿À��¦CAñhJ���Á�À7CHL¾¦Eß�9¾°EÀ7CÉ ÀeÁ w ÀQ�mðLJ���Â�E�¾°J7K<ð`À¥CI¥ì<íSæ�NSç�M N?¸¦R�©¿N.¸?íS¥�ìmí�-?í�±

ô UM�A�*í7N0õ |f���7�7��� UG�A��½2�]�m±ã�(����£h���?�S�P½��S£�½¢f���·�����ß�����7�����?³v���m�7���m�µ�¢?�$�S�����?±ú�À��¦CIñIJ��Á�À7C�HL¾°E �9¾°EÀ7CÉiÀ�Á w ÀQ�mðLJ��Â�El¾°J7KmðLÀ��¦CI¥rN7N�M N?¸$©¿O?íV¥�ìmí?í¥N�±

ô UM�A�*í?¸0õ |f���7�7���PUG�A��½2�]�m± å �Â�����7������Äo�~�,����³�����È�(�m�7�D¢0���ï¶��S§ï�������¢0���$�]��·¢0�����]�I�˱ w É0ñhHL¾°ElG÷E<¥�ìm¹?¸�Mo¸.í$©¿Q?í�¥ì<í?í?¸�±

ô UM�3�mí�S?õ @Í���?�ÿ¢Y�]���ÆUM�S�]½����]�m± ¤R�ø���]³�����?���7�?±²±jÀ Ê]Ê �Sñ�ð���J7HvðLÀ?ñoG À�Á]HL¾°E½~GG÷ÀQ�mðLJ7Hvð`À.ñ©Á÷À7C²±jÀ Ê F{�¦Hvð4ñ°Å�î¡J���l¾3ð4ñhE�CÉ0¥hO¦R°M ROí$©Ì-7NV¥�|0������ìmí?ípS�±

ô�UM����Q�ìËõ |�±¨bK±iUM���]¢?�]± ¨ª�������]¥��¢?�$�S�����m�¢0��� ¢&%�S�S�A£ ±�Ô�¾3ð'� ÀpG�ÀFh¾¦ÉO¥IO7Q�M�ì?ì*N$©ì�N¿R3¥Mìmí7Q�ì?±

ô�UM���]í7Qfõ |�±¨bK±iUM���]¢?�]± ¨ª�������]¥��¢?�$�S�����m�¢0��� ¢&%�S�S�A£�Mï� ���]�����S�7���m�A�m±Ì¤¿�¦ ±Y¨ª�h£h£h�´�]¢f� ¢f���«��±K¬�£*¢0�$Ò"¥ �m�S³�����?�A�]¥Dî¡J���¾Sð*ñIE�G{J?ñ�ò �9¾°À��pÅp¾¦Hv±å ÉS�;�.�I�WRÍ�S��®?�]�I�¿���7§¦d���m���]¥ å É�³�v�?�I�M¥�R ±D^�±�¥,ìmí.í7Q�±

ôo¨�¢<£'-¦Rmõ |�±�¬Y±�¨Ó¢O£��.���]§?±Á�(�����7���?�S�Â�7�$��Od±w ÉOñIHL¾°E�G�Em¥IRO¹oM�OpS3í$©IR.N�¥�ìmí�-¿R3±

ôo¨�¢0�Ií?¸fõ U�±(¨�¢0�7������O�± @Y¢?�µ�(���7����� �×£´¢O��������M|?¢0½�½2�]��¶(�Ð�$Ò2ê ÿIñ�Á�À7C Ê J¥Hvð'�J?¥ìmíÐæ S�ç�Mo¸Vì�O$©Ð¸7NpQ�¥�ì<í?í?¸�±

ôo¨�¢0��ípS?õ ¨ª�*����¢f�A£ ¨Ó¢f�S£´�.���,± ¬���¢f�����]��³½2�?�I�]¥��7���S§3�������«¢f���ã�����È������³�����È�(�m�7��M»ë��S���]�7�����«�$��� UM�S�]½�³���]�����7��Ô]�P�A�?�&�2�]�7���7���?�,±�¤R�6Ô[C�À���E�EAò?ð4ñ°Å�GjÀ�Á?HL¾°E ��í;E1� Á�HL¾;ØiJ7HvðLÀ?ñhJ��±jÀ.ñ�Á�E�C�Emñ���E©À?ñª½~C�Hvð þh�<ð`J���ÿIñIH�E1���hð��Å¥Emñ��Em¥Í®?�0£����&��ì?¥¾��¢0�?�m��ì*Q$©¿N�ì?¥¯?�m¢0�$�7£��?¥�Ã��k¥��¾���?���7� ìmí?ípS�±

ôo¨�¢<§Ð¸7Nfõ Ãȱ3¨�¢<§��]± ¬�¢0�·�¢?�$�S�����m���$�S����Ò2êÔ�¾3ð'� ÀpG�ÀFh¾¦ÉO¥IN¦R°M�ì�S�-$©¿Q7N�¥�ì<í?¸7N�±

ôo¨��A¤×í7Ofõ ¦�¢0�S£B¨��A¤v£�®?�]���S§?±�¬��?�����������A�7������7���$���]�7���m�z¢0������Ð�$�*¢<£��¢?�$�S�����m�lM¯?���]���S�������?�����0�,�����������7�����&�(�m�7��.�*���A�?���A�7�?±#ú�À��¦CIñIJ��hÀeÁhÿAñhH�E1���hð2Å¥EmñIHw É�G�H�E Ê G]¥�OSæ�N0³�S�çM�ì?ìmí$©Mìm¸pQ�¥�ìmí?í7OV±

ôo¨ª�*�]í?¹0õ z¾�?��¢O£´�·¨ª�*���S���?±��(���K�7�����]�I¢f���7�*�A³�S£*¢?�A§Ç�����]���?�&�]���?�Ç���«�������A�?��³���AÉ��,�0���7�0�v�7¶�¢0���,�¢f�3�S�R¢?�A�������?±0¤¿�z�±S¦�¢0�����7�*�S�?�K¢0����]k±SÃÇ�h£�ÒÐ�]¥V�m�.��³���.�I�]¥²�9¾°E¥°9À��Sñ�ò¥J7Hvð`À.ñ�G?À�Á�½iCHvð þ���<ð`J��)ÿIñIH�E1���¡ð Å7E<ñ��Em¥]��¢f�?�m�9S2ì?ì5©°S°O.í�±¨º¤×� ¦����m���Ë¥(¬�¢0��½��7�*�S�?�?¥(¨�¢?���]±�¥ìmí.í?¹�±

ôo¨ª�*�]ípS?õ z¾�?��¢O£´�Ǩª�´�$�S���?±¼¬��?�����$���?���7���m�$�¢?�K¢f�Ó�]���f�����]�]�������º�*���7���?¥���¢0����ì?±ú�À��¦CIñIJ��9À�ÁD±jÀ.ñ�G*�mðLÀ��7G]ñhElG�G w Hu�3ò��ðLE�G]¥Mì0æ�NSç�Mg¸7N$©¿Q7QV¥�ìmí?ípS�±

S.-

Page 49: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

ôg¨��*�]í?¸fõ z¾�.��¢<£*�»¨ª�*�$�S���?±�¬��?�����$���?�������m���¢.�K¢0���]���0�����]�]�7�����P�*�������?¥,��¢0���%NV±ú�À��¦CIñIJ��9À�ÁD±�À?ñ�G*�mðLÀ��¥G[ñIE�GG w Hu�3òí�ðLE�G]¥�NSæIì0çM�ì1-7N$©Mìmí?¸�¥�ìmí.í?¸�±

ôg¨��*�]í7Qfõ z¾�.��¢<£*�娪�*���S���?±ä�,���7������Äg�����m�7�¢f��� �A�.�����$���?���²�����?���?�S�m± ¤R�¦ ±K¨ª�h£¡£h�*�]¢0��¢0���«��± ¬�£*¢0��ÒM¥K�m�S³�����.�I�]¥Îî J��l¾3ð*ñIE�G J?ñ�ò �9¾°À��pÅp¾°H�®�1¾°Eø/9E�Å7J��*É À�Á ½ª� J?ñ ���¦CIð4ñ°Å.¥��¢f�?�m�îN¦R�©Ð¸�ì.± å ÉS�;�?�A� RÍ�S��®?�]��³�×���7§D¦��$�m���]¥ å ÉS�v�?�I�M¥³R ±D^�±�¥~ìmí?í7QV±å �����f����¢O£¡£�§È���7���S���m�ö���»½iCHvð þ��mðLJ��ÿAñhH�E1���hð2Å¥Emñ���EgQ?¹�M(ì]³ N7NV¥"ì<í?í7O�±

ôg¨��h£�R.O0õ ¦ ±�@¾¢0���7£��]§�¨��h£h£*¢0�m± å �������¾���0���S��f�ß������¤¿�����I¢0�7���?� ¢K¢0�&�?±ÇîÓð4ñ�ò.¥-¥N�Mo¸?í?¸P©Ð¸?í¦R3¥�ì<í¦R.O�±

ôg¨�����-?¸fõ ¨�¢0�$®?���娪�����7Ò3§?± ¬��?�µ�k���S�*�]¢0³�����.��¶(����� ¢O£¡���]�°���S���A£h£h���?�]���A�?±U¤R�ë~�S¶�¢0�I��b(�]�0�*�]¥2�m�.���$�?�m¥�×�pH�C�J¥H�E�CB�C�ElG÷H�CAð`J)��G�® w �mðLEmñ���E²J?ñ�òD½ �¡ðLEmñ·ÿIñ��H�EQ�'�hð Å7E<ñ��Em±Î¬�¢0��½��7�*�S�?�WRÍ�S��®?�]��³�×���7§Æ¦d���m���]¥Ç¬�¢0��½��7�*�S�?�?¥6RB±D^�±´¥ì<í�-?¸�±

ôg¨ ˾¨ ù ípS?õ¨]��.�����?�&�P¨º�3�.�,¥�¬d£¡�nO,�?�I�)˾¢?���Ë¥|f�?���Á¨º�?��Ò?�m�Ë¥�ëd����³�]��?������^Í���P¥¢f���Áâ¾±D|�± Ñ��?�.��±º¬��?�&�������]�A�B¢0������Ð�$�*¢<£�¢?�A�$�?�I�]±K¤¿�<Ô[C�À1�E�EAò?ð4ñ°Å�G%À�ÁHL¾¦E¡±J§IÿD±�À?ñ�Á�E�C�Emñ���E<¥���¢f�?�m�]R.NP©R�-�¥�â��S�7���?�,¥�¨º��¥Mìmí?ípS�±

ôg¨P�S��R.Qfõ |.¢0�&�m�©@B±M¨º�3�?�<±��¾�Ó¢0��¢O£�§��¿�*�Í�0��$���Ï�(�����������(�m�7�m±·Ôj¾3ð�� ÀpG�ÀFh¾3ð���J)�w Hu�3ò.ð`ElG[¥hO.¹�M�NpS3íP©¿N?¸¦R3¥�ì<í¦R.Q�±

ôg¨P�S��R�-fõ |.¢0�&�m�{@ ±P¨º�3�.�m± ë É��S£*¢<���S������A�.�&�������]��½2�]��¢m®.���?�m±�Ôj¾Sð'� ÀpG�ÀFh¾3ð¥��J�� w Hu�3ò.ð`ElG[¥�OpShM O7N?¸$©¿O¥N¦R3¥�ìmí¦R�-�±

ô ËY¢0�Aí7Q0õ ���¿���»Ë¾¢0�I¢<§3¢0��¢0�,± �(���È���S���]��³�����.��¢<£ö�7�A¢0���A�¢0���Ì�$�����������I¢0³�����.�ó�3¢0�µ�?±Á¤¿�ó¦ ±�¨ª�¡£h£h�*�]¢0�À¢0�����±S¬�£*¢0��ÒM¥0�m�.�����?�I�Ë¥Sî J��l¾3ð*ñIE�GgJ?ñ�ò�1¾°À��pÅp¾°H�® �9¾°E</9E�Å¥J���É)ÀeÁ ½;� J?ñ���¦CAð*ñ¦Å?¥z��¢0�?�m� Q7O$©hR0í�± å É3�v�?�I�RÍ�S��®?�]�I�¿���7§P¦��$�m���]¥ å É3�v�?�I�M¥�RB±D^�±´¥ì<í?í7Q�±

ôo¦�¢0�Ií.¹0õ @ ±o¨U±�¦�¢0�I�7�.���]±ã�,���������z�?�­����������7�����P�(�m�7�m±Í¤R��Ãȱ{^K¢f��¶(�O¶¾�7Ò?�¢0���ø¨U±Mb�¢0�S�����R¥��m�.�����.�I�]¥�×gC:�Å¥À?ñhÀ Ê ð���GªÀeÁ�§ É7ÄlCIð4ò«½F�¦H�À Ê J7H�EAòw É�G�H�E Ê G6ÿ:ÿI±ªëÅ£*�7�]®?���]�m¥Î�Y�·�7���]��³��¢0�º¥"ì<í?í?¹�±

ôo¦ £*¢?í.¸0õ ¬���¢f�7£��m�B¦ £*¢0�$�m±&Ãz��¢0�mÄg�(���B�µ�m¢0�����½2�&�S���¢0�,¥_¢f�3§S¶�¢m§2ê ¡ ð`C�EAò?¥�¾���7�h£�ìmí?í.¸�±

ôo¦����lR3ì]õ b~�*�$��¢0�I�¡U�±�¦d�����7�h£h£R±Yâ~�m¢0�7�����·������������I¢0�����.�D�3¢0�&�?±µîÓð4ñ�ò.¥#-?¹�M�N?í.¹$©N?í�S�¥Mìmí¦R3ì?±

ôDb�¢0��-¿Rmõ �K± U�± b�¢0��Ò.���,± �(��� �����7�������¢0�A¢?�.���?�«M � �A�7���7�*�]¢<£À¢?�$�7�m���7³�&�]�S�m±KºKðLJ�� À�Å��¦Em¥¦N?í�Mo¸.¹$©Ð¸?¸�¥.ìmí�-¦R3±

ôDb(�m¢7Q.í0õ ��±�¼�±�b(�m¢?�S�]�m± ¯?���]���È�$�O¶�¢0�A��?�]�S�S����� ¢f���7�h "�$�*¢<£����S���A£h£h���?�]���A�?±½���H�JóÔjG�É���¾°À)�2ÀÅ?ð���J.¥4N?íSæ�OSç�M�N¦R0í$©N�-.í�¥Mìmí7Q?í�±

ôDb(�]§�-7Q0õ ¢�±�b(�]§?± Ãz��¢0�mÄo�ï���m¢O£¡£�§ �?�?³�����å�.�å���ã�$���Ȭ��S�����m�7�ï���3�.��êÔ�¾3ð'� ÀpG�ÀFh¾Sð'�J�� w Hu�3ò.ð`ElG[¥U¸?¹�M�ìmí¥Q$©N�-.¸�¥Mìmí�-7Q�±

ôDb~�*�*-7N0õ bK±�¬Y±{b��´�$��¢0�I�����?�,±k�����7�����Ó���m�7�I��v�?�����S���A£h£h���?�]���A�7M[ËÍ�m�&âd£��Ð�$ÒMÄo���S�]³�v�]���7���0�Â����§Ð�$���0£��?�0�*�7�P± Ô�¾3ð'� À��G�ÀFh¾3ð��J�� w Hu�Sò?ðLE�G]¥ÈS�ì¥M�S°N�ì5©¦S°N7Q�¥ìmí)-7N�±

ôDb(�?½�í.¹0õ U�±�b(�?½2�]���I�]±ï¯?�m¢f�7£��?Äo�·�AÉÐ�$�]���¿���?��0�������µ¬��S�����m�7�����3�.�ã�����A�?�����m�A³�7���?�S�*�7� �¢?�$�S�����m�]±�ú¿À)�°CAñhJ��¦À�Á�×�1�F�E�CAð Ê EmñIH�J��jJ.ñ�ò6�9¾°EÀ7C�E�Hvð���J)�9½iC:�Hvð þh�<ð`J��ªÿIñIH�E1���hð2Å¥Emñ��Em¥]N�M�ìQ-?¸$©"ì1-¿R3¥ìmí.í?¹�±

ôh¯3¢0�TRpO0õ ¢¾�]��O,���]§ó¯3¢f�&���7�?�,±­¤R�«�S�A�;�]���A��0�Â�����7������± îÓð4ñ�ò.¥&-7NoMo¸?í7N$©�¸?ípS�¥ìmí¿R.O�±

ôh¯�¬�í7Ofõ b�¢<®.�¯?��¢0�$�¢ó¢0���0zK¢<®?�*��¬��?��³�I¢f���,± ë�®0¢<£���¢0�7�����å�AÉ����]���«�7§��7³���]�·��Må� ���]®.���]¶ �0�Ó¢0���S£h�*�]¢0½S£���$���0�*�A�m�]± ½~C�Hvð þh�<ð`J�� ÿIñhH�EQ�'�hð Å7E<ñ��EªgE�KmðLE�í�¥IR?æ�NSç�M R7R+©Ðí�ì?¥�ìmí.í7O�±

S3í

Page 50: Turing Test: !ears Later Ayse Pinar Saygin Ilyas Cicekli Varol Akman

ô�¯3����í�-fõ ¦�¢f�S£�¯3�$�3¶(�A��Ô]�]�m±K�(���&�(���S£�§��,�?³�A¢<£V�����7�����B�(�m�7�<±�î�ð*ñ2òpG[J.ñ�òKî¡J���l¾3ð4ñhE�G]¥�-�M�N7Q¥O$©¿N¦R.NV¥�ìmí?í�-�±

ô�¯?�m¢�-?¹0õ |f�?����bK±(¯?�m¢0��£��?±�¨ª�������]¥~½��I¢<�����¢f��� �����?�?�A¢0�Â�]± Â�E�¾°J7K<ð`À¥C�J)�J.ñ�ò5Â�C�J.ð*ñ w �mðLEmñ��E�G]¥rO�M�S�ìpR+©°S°NpS�¥ì<í�-?¹�±

ô�¯?�m¢?í?¹0õ |f�?��� bK±Í¯?�m¢0�7£��?±z¤7�&�����º½��I¢<���,Äo��©����� ¢ �A�?�&�������]� �����.�?�I¢0��êw �mðLEmñIHvð þ��4½ Ê E�CAð���J?ñ2¥·æ�N7Q7NÐç�M�N7Q$©OVì?¥Mìmí?í?¹�±

ô�¯?��¢�-?í0õ â~�]���S§�¯?��¢0���?�,±·�ã�¿���&�S£��P�A�?�&³�µ�]�3�,�$�]�3¢0�I�.�����������(�,���������K�(�m�7�<±ú�À��¦CIñIJ��Á�À7C�HL¾°E �9¾°EÀ7CÉiÀ�Á w ÀQ�mðLJ��Â�El¾°J7KmðLÀ7CA¥_ì<íSæ�NSç�M NpS3í$©¿N0¸7QV¥�ìmí�-?í�±

ô�¯?��¢?í�ì]õ â~�]���S§�¯?��¢0���?�,±Í¬���¢0��®.���S�´���«M(��©�´�$�.���$�m�A���m�¢.�]�A����¢0�7���?�,±�ú�À��°CAñhJ)�Á�À7C²HL¾°Eå�9¾°EÀ7C�ÉòÀ�Á w ÀQ�mðLJ��IÂ>El¾°J7K��ðLÀ7CA¥hN�ì0æ�OSç�M�O7Q.í$©¿O¦R3ì.¥3ìmí.í�ì?±

ô�¯?�S�´í�S?õ ¯?�$��¢0���ȨÁ±Î¯?�S���]½��]�m± UG�m���7�?����v���?� ¢Î���m�7�$�7�*�A���m�«�����7�����»�(�m�7�<±±�À Ê]Ê �Sñ�ð��J7Hvð`À.ñ�G{À�ÁÃHL¾°E ½~G�G�À���<ð`J¥Hvð`À?ñòÁ�À7CD±jÀ Ê F8�°Hvð4ñ°Åªî J��l¾3ð4ñ��E*C�É0¥hO¿R°M RO¹$©IR�-�¥.|f�����Âìmí?í�S�±

ô�¯?�I¢¦R�-0õ z�±gÑ(±&¯?�I¢O£�Ò.�]�m± û�S§È�¢?�$�S�����m��]¢f�,Ä �&���S����ÒrMP�ø���]�S£�§����<|?¢0�&�m�¨º�S�?�m± Ô�¾3ð'� ÀpG�ÀFh¾Sð'�J�� w Hu�Sò?ðLE�G]¥æ�OpS�ç�M�OVìpR�©¿O7N.¹�¥�ìmí¦R�-V±

ô�¯?���pR.Q0õ |f�?���È¢�±�¯?���]®.�]���7�?�,± å �������������I¢f�7���?��S¢0�&�?± Ôj¾Sð'� ÀpG�ÀFh¾3ðLJ?¥QoM�ì�O�ì5©Mì�O7O�¥�ìmí¿R.Q�±

ôg�,���I¸.¹0õ �Í£*¢0�À�����7������±ø¬~�?�&�����7�������¢0³�$�S�����]��§D¢0���ª���3���A£h£h���?�]���A�?±·îÓð4ñ�ò.¥¸.íSæ�N7O7QÐç�M�S°O7OP©°S7Q?¹�¥�ìmí?¸.¹�±

ôg�,����Q.í0õ �Í£*¢0� �����7������± ¤R�S���A£h£h��³�.�]�3���¢.���S�����]��§?±¼¤R�_z�±�¨ª�*���S���â¾±�¨º�A£���Ô]�]�m¥V�m�.���$�?�m¥2î J��l¾3ð4ñhEªÿIñ��H�EQ�'�hð Å7E<ñ��Eq¾0¥(��¢0�.�m�DO$©¿N7OV±jë��.����³½����$�?�«R��S��®?�]�I�×���7§ã¦��$�m���]¥�ìmí7Q?íV±å �����f����¢O£¡£�§?¥P¢ ˾¢0�7���?��¢<£Â¦d�3§��¿�*�]�U�¢0½��?�A¢0���?��§Mb(�]�2�?���m¥,ì<ípS.-�±

ô ÃÁ¢<£*í¦R<õ b~�*�$��¢0�I�ǯ�± ÃÁ¢<£h£*¢?�A�?±D�(���µ£�§?������3¢f�&�?± ¡ ð`C�EAò?¥��¾���?���7�Bìmí.í¦R3±

ô ÃÁ¢0�Aí7Q0õ ¯?����¢f���ÁÃU¢0���m± ˾¢<��®?�«����§Ð�$���0£�³�?�.§Æ¢0���ø�����¼���S®?�]�����m�Ì�����7������(�m���m±6ÔjG�É��À�� À1�Q�°É0¥gR.æIì�S�çI¥Íìmí?í7Q�±�S�����9M ­¥­m¶�¶�¶B±g�A�?�3���$�R±o�7�.���?�,±o¢0�0± ��ÒI­���7§��A³v½S���r­m���]¶����7§2ê�RS±�ì�S�±

ô ÃD�A�`Q7Q0õ |0�S�7�]���DÃD�A��Ô]�]�S½�¢0���P±]ëjUM¤�����ì¢ø�A�?�µ�������]�å�����.�?�I¢0� �;�.�È������7�$���S§��0�Å��¢f�����I¢<£,£*¢0���.��¢0�?�&�A�?�&³�����S�*�]¢0�7���?�ø½2�]�׶(�]�]�²�&�]�ø¢0����¢.���S�����m�]± ±�À Ê]Ê �Sñ�ð��J7Hvð`À.ñ�G«À�ÁHL¾°Ei½]±dîÓ¥�í�M�O7QP©°S3¸�¥2ìmí7Q7Q�±

ô ÃD�A��R.Q0õ |0�S�7�]��� ÃD�A��Ô]�]�S½�¢0���P± ±jÀ Ê �F{�¦H�E�CÁÔ[À7í;E*C J.ñ�ò,§F� Ê J.ñ¿ª[EJ��G�À?ñN®À°9C�À Ê ú��Sò�Å7E Ê E<ñhH_H�À�±jJ��¨��Q�.� J7HvðLÀ?ñ�±�Ãȱ;@ ±ÅÑV���]�]�¢0�,¥�¯3¢0�ÑV�I¢0���$�*���A��¥M¬~�k¥,ì<í¦R.Q�±

ô Ãz��¢?í?¸0õ �(���.� Ãz��¢<£��]�,± @Í�0¶ ¤­£��3�7������(�A�?�S���m�7�,¢0���K�$�]³v�]®O¢<£���¢0���m� �S��³�¢f�S���7§?¥,ì<í?í?¸�±

ô Ãz�S�*í7Q0õ âd£*¢<§ÂÃz�S����½S§?±Å�����B�,���7�����Â���m�7��M�¾¤IÄo�T½S���.�?�m�7�D½S£h������¢<£h£��]§2ê ¤¿�¦ ±Y¨ª�h£h£h�´�]¢f� ¢f���«��±K¬�£*¢0�$Ò"¥ �m�S³�����?�A�]¥Dî¡J���¾Sð*ñIE�G J.ñ�òø�1¾°À��pÅp¾°H�®�9¾¦Eô/XE�Å7J)��ÉÈÀeÁ ½ª� J?ñ ���°CAð4ñ°Å?¥��¢0�.�m��¸7O$©¿Q¥O�± å É3�v�?�I�åR��S��®?�]�I�×���7§¦d���m���]¥ å ÉS�;�?�A�M¥�RB±¨^�±�¥,ìmí?í¥Q�±

¸?¹