148 6
�
148
�
�����������������������������6�����"��#�!����$��� �������� ������� ��"���
��������������������������� ����� ������������
�
6���������"�������
�����!����� ������� �!����������� ���� �� �����:��� ���@�:�����!���!�����
����!��4������!�,�����+�����!����� ��� �!�� �����+������� �������!� �!���������� ��&��
�����,� ��� � �������� ��������� ��!�!���!� !���!������ �� ����������!�����������������!/!�
����� ������� !�,�+�������!! ���� ������� �� ���� 8��!�+��� �� ���� ���/����������� ����
�+��!� �� ���� ������&� � ���� �������� �� �! �� �:�����!� �! !� �� �� ���!� �+� +�! ��+�
������ �� !����! !�������!� !� /-��!� ���� ������+���&� ��������� ���� ���!� ��
�����!� !��������+�- ������+���� ������ &����������!�������!! � ��� ���� !����� � !�
!��� ��!��������+����!�����+�� ! ����� &�������� ������!��������!!�����+ +�������� !�
/-� �!� ������!�!� - ��� ��� ��!�� ������ ��� �� �� ����� ���� ������� ���� &� � ����
���� ����-� �����/�!�������� ��+�����!� ������+�!�����!���������! !���������������! !�
!����� !� �������+� �� �!� ���� ���� �� ���� ���&� � �� ���� �� ������� - ��� � ���� �����!� !�
�������+����!���� �������!! � ��� ����������+�������- ������ ����������������� �!� !�
���� ���!!� ���!! � ��� &� � �� ���� �� �+��� ��� ��� � ����� � �� �� ������ ����&� � �� ������
���� ���+��������� ,�� �� ���� ���������� ������� ���� ���� ���-�����!�� �� ���� ��
������!�+�����!��+�-��� �� !�!��� ���+�������!�!���&�����������������!����������+������� ��
�������������! !� � ��!�!����������-��:�����&� �����8��� ����� ���� �� !��!!�!!�+����
������������������ !��/�!���+��+�� ����������!!������� ��K";7L&�
������ ������ ���� !������� �-� �����/�!��!� �!� ��������� ��!�������+������!���
���!! � ��� � �� �����!! ��+��� K";5L&� � ��� ������!����� �� ���� �� !��� �� ���� ,�� ����!������������
����`��� ������������,�� ������������!�� ���������!!������&�������������:�������!�������
�������!�,�����������,�� ����!�+���+�������-����� �6� ���%�� &&���&� � ���������� ��- ��������
�!! ������+����� ����!� �������������������8� ��+����� �!��:�����- ����������������+����
Chapter 6
149
!������:�����!&���������� �� !�����������+���+� �����!���!����������� �������� �
-� ��� ��� !� �� ������ �� �+4�!������ ���������!&� '���� ���� !� ��� ��� -� ���� � ����
���- �������
� �6�� )1Q&*� � � � � � ���);&"*�
-�����*� !�����-� ����,����&����������!!���+����� ������,����!�������!�����������!��
������! !�������+����!��� !������+����� ������� �&�����������-�/��+��!��!�-�����!�����
�,�� �����������!���!��� !� ��������������� � �������, �-�+��!�!��� � ���� ��!����
�������� ������!��!�+��������!����������� ��);&"*����������- ������� ����������+���!�
��� �� � < �� ���� ���������!� � ���� ���� �� K";;L&� � �� !� �������� !� �� + !��!! � � �-�
���� ������ ���!������������-�/!�������+�D'$������+������!! � �����!�+��!��� !� ����
���� ������ 8����'2�&�
6��������������&��/��
���� ��� � � ��� ������ ��-�/� !� +�! ��+� �� � � �� ���� +�� ! � ��/ �� �� � ��� �� ����
��� �� �+� ����� �!� !��������� ��!�����!� ����� �� ���� ��,�!� !�!����� ������ �� ����!! ,����
��������+�!��������!�)+�!*&������+�!�)����!! ��������!*�������� <�+� ����
� ��� ����������� �����+ ����� ++�������!���+���� ��������������&�������+�� ����� ����
������ ��!� �� ! ���� ���� ����!�+ �� �� �� �� ���� �������!� �� ���� ���� ,������ �+� ����
������ ��������� !���+�������������!!&� ������+�� ��� ������ !� �����������+����,����
�����+�� ��������- �����������������!�����-� ���!&�����������-�/!���,�������� � �����
����: ����������:�� �������� �!�+ ����������� ����!�����!&� �0���� $+ ��! ���
��������,����������+��- �����,�� O�� ���!� ���+ ������� �!�����&������������������+��
!� ���������+� �!� ���� -� ����+� !��� �� �!� ���!� �����+� ���� ��� !���� �� ! ����� ���� ��!!�+�
������� ���� ��� ,�� � ���� � �&� � ���� ��� !��� ������!� �� � ���� +�� ! � ��+����-� ��� !�
�����+ � �+����������� ,�� ����� &�� �������� ������������� ,�� ����� ��� ���+�!��
) * ��������!��+����� �1 0
( )0
if netf net
otherwise≥�
= ��
����
1 0( )
1if net
f netotherwise
≥�= �−� � � � � � � ���);&%*
�
Extremely Fast Machine Learning Algorithms��
150
H����!�+�- ����� !���� ,�� ����� ������+�� !���!�/-��!���������&�
) * ���� +�� ���)� ���*����� �
�)��*�6���� � � � � � � � � ���);&#*�
) * ������ !� ��)! �� +*����� �
1( )1 netf net
e β− ⋅=+ � � � � � � � ���);&7*
�
) ,* ����������� ��������)! �� +*����� �
2( ) tanh( ) 11 netf net net
e ββ − ⋅= = −+ � � � � � ���);&5*
�
���� �� !� �� ���� � ��/�!� ,����!� ���-��� .� �+� "�� -�����!� ���� ����� �� ������� ��
������ !� ���-��� $"� �+� "&� � ���� ���������� F� � ���� ! �� +��� ���� !� ����!� ����
!�����!!� �� ���� ���� � ���! � � ��� <���� �+� ���� ���� !� �������� ����!��+ ��
���� � �!� F� ��������!� "�� �+� �� �� � ���� ���� � �!� F� ��������!� .&� � ������ ����
��� �� � �� ��������!� ��� ��� 8� ��� �-������ �+� ����: ����� �� ��� ���� ��� �����:�
� ����+�� ! ���+����K%L&���
� ����������� �������!� �����������-�/!���,���������!�+� � ���� � ��������&� �����
���� ������ ���!�+ !��!!�+� ��� !����������������' ����� ++��������0��+��-��+����-�/�
)'�0�*&�
6������������$�""�����!���)��")��&��"����&��/�
'�0�� !� �� ���+��-��+� ������ ��-�/�� + ��� �� ����� ���� ����� � ��-!� � ��
+ ���� � ���� ���� ������ �� ������ ������ ������� � ++�� ������ )0 ����� ;&"*&� � �������� ����
��������+�!� ����� �����������+������������� !�� :�+�� �� !��������������������� ++��
�����&��H ������� ����!����� ++��+�!���������+ �� ,���-�����'�0��- �����!� ����!����+�
!��������-�/��������!�+���!�,���������� ����+�������!&��?-�,������ !��������+���
,��� �� ��� ������� ������+�����������������8� �����&� � � /�- !��� �� ��-�� ++��
+�!� ���� �� ��� !��� � ��� �� ��+���� �+� ��!���!&� � ���������� �� ���!����� ������ ��
+�!� ����� ��, +�� ���� +�! ������ ���������� !���+� ��� �!�+&� � ��� ������� �� !� ���������� !�
+����� �+��������� �� ������, �!��:���� !����������+�����,� �������+ ��! �� ����
�����: ������������������� ����+���������,�� +�� �����++ � ���+���!���K%L&�
Chapter 6
151
�� � *������6����������$�""�����!���)��")��&��"����&��/�
'�0�� ��� ����: ����� ��� �� ��!� ���� � �+� �������� ��� ���!! � ��� �
���� ��� &� �������!�����������: ��� ������ � � �!���'�0����!����!�+���-��!����!B�
� ,��!�������: ��� ��������� ����!��!��+�����: ��� � ���!����! !� ����� ���
������ �� ��� �� !�����!� K";(L&� � � ,��!��� ����: ��� � �����!� �� ���� �� � ��� �� ����
��-�/!� �� ����: ����� ��� +�� ! � ��+���� �� ��� ������ + ��! �� ��� �+� ��� ������
�����: ���- ��� ��� ���������� ! �� � ,���+�8������������+���� �+������� !����� ���
��� ������ ����������+� ��� �����������!� K%L&� � 0�� ���� �����: ��� � � � ��� ��� ��
!����?�����+����� �K";1L�!�-������'�0��- �������!��8�� ++��+�!��+�- ������!�����
� ������� ,�� ����� �����:�����������8�+ !� ����!��,�� !&�
D,���������!�� ������+���+�!��'�0����!�����+ !��!!�+����������!�������!&� ������-�
�� �'�0������ �������!��: !�B� )"*�- ����++ � ,��� ++��+�!���+�)%*�- �����0�+�!� �����
� ++�������&��'�0����-�/����� !�- �� N� � ++��+�!������������!���+����
1
( ) ( ),N
i iNi
f gβ=
=�x x�
� � 1�∈��� F �∈��� � � � ���);&;*�
-��������+���!������ ++��+������������ ���+�F � !�����-� �������� �������� ++��
+��������������+�&��0���++ � ,��+�!����� !�+�� �+��!��
� �6��)& &1�^�� *��& �∈����� �∈��� � � � ���);&(*�
Extremely Fast Machine Learning Algorithms��
152
-�����& � !�����-� ����,��������� ������ ���� ������������ ����� ++��+����+��� !�����
� ++��+����� ,�� ����� ����� ��������! �� +����� �)0 �����;&%*&��������0���-�/� !�
�! +���+���!��� � ��'�0��-� ������� �!���0�+�!� � �!�� ++�������&���������0�+����!� �!�
-����� +�)& *��+� ������������)� *���+� �!������� !�!�����+ �����!������ ������ ���
����+ !��������-��� �����+������&��0����0�+�!�- ������ ,�� ����� ������� !�+�� �+�
�!�K";(L�
,ii
i
g gb
� − �= � �
� �
x w� & �∈����� �∈��^� � � � � � ����);&1*�
�*������6������ ��"�)��������
�������/ ������ �)� *����� �����+� �!�,�� ��!���,�������������/��������� ��
'�0�� - ��� �++ � ,�� � ++�� +�!&� � ��� !� ��! ������ �� ������ ���� �� ���� ����� �+� '����!� ��
I��+ ��� +�!���� ���/� ������ � )'I� *� !� �!� ,�� ��� ��� !�8��� ��� ���� �� ���� ��� !&��
'I� � !�����!� ���� !�-� ��� ������� �,��������!� �������������� ��� ��+�����������
��8� ��+&� � ������-�/� ! <���� 'I� ���+!� ��������+�� �+��+� � :�+&� � '�8��� ��� ���� ��
���� ���!� ���� ��!� �!�+� � ���+��-��+� ��-�/!�- ��� ��0� +�!&� � ���!�� ���+����!�����
������ ����-�/�)���*��+� �!��:��! !&����������������0�� ++��+�!� ������+� �!�
,�� ��!�����������+�� �+&�������+�����, ���:��+�+�������0 �����)�����0*�+����� ��
-������� �� �++� �� �-�+����!�+�� ���� ,������� �� �� +���&� � ��! +�!� ������� ����
��!����������� ����-�/� )����*��I�- ���+� �� �� $���0� )I� $��0*��+�II� $��0�
)I����� <�+�I� $��0*������ ! � � ����+�!�����������-�/&�����!������ ���!���8� ���
Chapter 6
153
�� ��������������������!���+� �������!����������������!���������� ��!���+��������
!�-&���������+���+������������! ��� ������++ � ,������0�+�!�K";=L&�
������-�/�- ���� :�+����� ���������+���+�����!! ��+�� ++��+�!� !������+�����
-����� ���� ������ ���������!� ���� +����� �+� ��� �+ ���� ���!�� !8����� �+� ����+ �� ��
�������;&" lim 0N Nf f→∞ − =� � ��+!��������K";(L&�
E����� RA��� ��� N Ne f f≡ −� � +���!� ���� ��! +���� ����� ���� � ��� ���� �������
��-�/ Nf � - �� N� �� ++��+�!��-�������∈�%)a*� !���������������� &�������������,�+������
� ,�������+�+��!����� ���- !���� ��!���� ,�� ����� ��B�g������++ � ,��
+�!��� ���������� ���- !���� ��!���� ,�� ����� ��B�g��)�+�q��):*+:�r�.*������0�
+�!�� ��� ��� �� ��!� ������� ���� � �� �+� ��� ��+���� �������+� !�8����{ },Ng �
lim 0N Nf f→∞ − =� � ��+!�- �������� � ����� � 12
,n nn
n
e gg
β −= �
6�(��1��� ��4��������'��$����
���� ���� �� !���+��� ���+��-��+���������-�/!� !� ���� !�-��� ������8� ��+���+� ��
��!� ���� �� ��4�� �������/� � ��� �� ���� ��� !� ��� ��!�� +���+�!&� � ���+ � ������ ���� ����
���������!� �� ���+��-��+� ��-�/� ��+� �� ��� ���+�� �+� ���!� ������ �: !�!� +���+����
����+ ������������!������������!&���������+ �����!�+�����+!���,�������!�+���������
� ��� �,�� �!����� ������ ���!�������+��-��+���-�/!&��?-�,���� �� !���������������!��
����+!��������������!�-��+������,������������� ��&������ ����� ,������ ��!���!�
���������8� ��+������ �������� ���� �����������&� � ���� !�!��� ���� ���� ������ ����
�����+��:���������� ������ ��)���*� !� ��+���+����'�0��-� ��� !�!� ������ ����� ��� !�
��8� � �� ��!�� ���+ �� � �+� ��!�!�� ����� � ��&� � '�0�� )��, �� 8� � ++�� ���!*� - ���
��+���� ��!�� ���� -� ���!� �+� � ++�� ������ � �!�!� ��� �:������ ����� 8� + !� ���
�!��,�� !&� �D����+����+4�!�����!�����������!�+�� ����� �&� �'��������� ��- ������
�:����������!���+���+���!��+������� <�� ����������&������ ����-� ���!��+�� ++��
������� �!�!���'�0����������+�����!! ��+� �� ������� ,�� � ���� !� � ����� ++�� ������
���� � ����� + ������ ����&� � �-�� '�0�� ��� ��� �! +���+� �� � ���� !�!���� �+� ���� ������
Extremely Fast Machine Learning Algorithms��
154
-� ���!���'�0������������� ������+����� �+�������������� <�+� ,��!������� �������
� ++�� ���������������� ��!&� ����$ ��!�������� <�+� ,��!���+�� ������� ���!��
!8����!�!��� ������������� ����!�!����������� ����������� �+�,��� ���������� ����
K"(.L&�
0��8���� ������+ !� ���!�����!�): ��� *��-�����: �6�K: "��: %��`��: L��∈����+�� �6�K� "��� %��`��
� �L��∈����'�0��- ���s�� ++��+�!��+���� ,�� ����� ��-�.������������� �������+���+�
�!��
1 1( ) ( )
N N
i i j i i j i ji i
g g b oβ β= =
= ⋅ + =� �x w x� �
� � � ���);&=*�
-�����& � 6� K- "��- %��`��- L�� !� ����-� ���� ,����� ���� �� ���� ���� � ++�� +�� �+� ����
+�!���+�KF "��F %��`��F �L�� !�����-� ����,��������� ������ ����� ++�������+�������
���!���+���� !���������!��+��� ����� ++��+�&��'�0��- ���s�� ++��+�!��+���� ,�� �
���� ��-�.��������: ��������!��8�!�����!�- ���<�����������!�����1
0,Nj jj
o t=
− =��
&�&���������: !��F ��& ���+����!���������
1( ) ,
N
i i j i ji
g bβ=
⋅ + =� w x t�
� 4�6�"��%��`���� � � );&".*�
������,��8��8��� !�������-� ��������������!��%F�6���
-�����
1 1 1 1
1 1 1
1 1
( ) ( )( ,.., , ,.., , ,.. )
( ) ( )
N N
NN N
N NN N NxN
g b g bH b b
g b g b
� �⋅ + ⋅ +� �= � �� �⋅ + ⋅ +
w x w xw w x x
w x w x
� �
� �
� � �
�� � �
��
1T
TN Nxm
ββ
β
� �� �= � �� � � �
� �+�
1T
TN Nxm
T� �� �= � �� �
t
t�
� � � � );&""*��
%� !������+�� ++������������������ :�� �!���������� !��������� ++��+��������- �����!�����
�� ���!�1"��1%��`��1�&������������ ,�� ����� ��� !� � �����+ ������ ������-�������,�������
������8� ��+���������� ++��+�!�s�]��&��'������� ,�� ����� !� ���+��! �� +����+ ���
��! !��! ����! ����:��� �������&�
Chapter 6
155
E����� RA���I ,����!��+��+�'�0��- ���8�� ++��+�!��+���� ,�� ����� ��B�g��-� ���
!� � �����+ ������ ����� ���� ���,�������8���� ������+ !� ���!�����!�)1 ��� *�-�����1 ∈���+�
� � ∈� ���� ��� ��� & � �+� ��� ��+���� ��!�� ���� ��� ���,��!� �� �� �+� �� ��!���� ,����
����+ �� �� ��� �� ��!� ����� � ��� + !�� ��� �� ���� - ��� ����� � ��� ��� ���� � ++��
���������������� :�%���'�0�� !� ,��� �����+ 0.β − =H T��
E����� RA=�� I ,�� ��� !����� �! � ,�� ,����� t� T� .� �+� ��� ,�� � ���� � �B�g�� -� ��� !�
� ����� + ������ ����� � ��� ���,���� ������ �: !�� s� ]� �� !���� ����� ���8� ��� ������ + !� ���
!�����!�)1 ��� *�-�����1 �∈����+�� �∈����������& ��+������+������!��������� ���,��!�
�� �� �+� �� ��!���� ,���� ����+ �� �� ��� �� ��!� ����� � ��� + !�� ��� �� ���� - ���
����� � ���� .NxmNxN NxmH Tβ ε− <� � �
����+ �� �� ������� ;&%� �+� ;&#�� ���� ����-� ���!� �+� � ++�� ������ � �!�!� ��� ���
��+�����!! ��+� ��������� ,�� ����� � !� � �����+ ������ ����&�����!�����������!���+�
�� ��� �+4�!��+� ��� ���� �+� ���� � ++�� ������ ���������� :�%� ���� !� ������+�+�� �� ����
���� �� ����!!&� � H ��� � :�+� ���� -� ���!�& � �+� � ++�� ������ � �!�!� ���� ��� �� '�0�� !�
�8� ,�������� + �������!��!8�����!��� β̂ ������� ����!�!����%F�6��&�
1 1 1 1
minˆ( ,..., , ,..., ) ( ,..., , ,..., )N N N Nb b b bβ ββ
− = −H w w T H w w T� � � �
� � );&"%*�
-���� ⋅ !� �� ��� � ���� +��� !����&� � ��� ���� ������ �� � ++�� +�!� S� !� �8���� �� ����
��������+ !� ������ ��!�����!�8�� �������� :�%� !�!8������+� ,��� ���&� ����!��'�0�����
����: ��������!����� ��!�����!�- ���<�������&� �?-�,���� ��!����!�!�������������
� ++�� +�!� !� ����� ��!!� ���� ���� ������ �� + !� ��� ��� �� !�����!� ,N N� %� !� ��
!8��������� :��+��������������: !��& ������F �) �6�"��%��`��s*�!���������%F�6��&������+ ��
���������;&7������!�����!��������!��!8����!���������,��� ����!�!���� !�
†β̂ = H T � � � � � );&"#*�
-�����%u� !��������$ ��!�������� <�+� ,��!�������� :�%���+� �!��������� ��!���!�
�!������������ ��� ��������&�
Extremely Fast Machine Learning Algorithms��
156
%��� ���� RA��������� :�9����+��� �:� � !��������$ ��!�������� <�+� ,��!�������� :���
)+���+��!��u*����+��� �:� �� ��
�9��6����9�9�6�9��)�9*��6��9��)9�*��6�9��
%��� ���� RA���1.�∈��� !�!� +��������� ����������!��!8����!�!��� ������ ����!�!�����
�1�6�!� ��������!�∈����
0 ,≤x x � { : , }N∀ ∈ − ≤ − ∀ ∈x x Ax y Az y z R �
&�&����!��� �1.� !�!� +��������� ����������!��!8����!�!��� ������ ����!�!�����1�6�!�
�� ����!�����!�����!��������������������!��!8�����!��� !&�
E����� RA>�������������: !�������� :�9�!���������9!� !���� ����������!��!8����!�!��� �
����� ����!�!�����1�6�!&������� �� !����!!�����+�!��� � ��������9�6��u���������$ ��!��
������ <�+� ,��!�������� :��&�
� �������- �������� �!������������ !��+� �, �-����� !�������&�
)"* � ���� ��� �� ����B� ���� !��� ��� !��� †β̂ = H T !� �� �� ���� ���!�� !8����!�
!��� !������������ � ����!�!����%F�6������� ������� ����!�����!�� ��� �������
������������+������ !�!��� ���!��� B�
† minβ̂ β
β− = − = −H T HH T T H T
� � � );&"7*�
)%* '�����!�������-� ���!B�����!��� ���!��� †β̂ = H T ��!�����!�����!���������
�����������!��!8����!�!��� !���%F�6��B�
������������ †ˆ , { : , }NxNβ β β β β= ≤ ∀ ∈ − ≤ − ∀ ∈H T H T Hz T z R �
� ��������������);&"5*�
)#* ����� ����������!��!8����!�!��� ���%F�6��� !�� 8����-� ��� ! †ˆ .β = H T �
6�(����4'��������$ �
I ,�� �� ��� �� !�� {( , ) | , , 1, 2,..., },n mi i i i i Nℵ = ∈ ∈ =x t x R t R ��� ,�� � ���� �
�-�.���+���������� ++��+�!�S&�
���#�B���+�����!! �� ����-� ����& ��+�� �!����� �6�"��%��`��s&�
���#�B�>�������������� ++������������������ :�%&�
���#=B�>�������������������-� ����F��
F�6�%u��
Chapter 6
157
-�������6�K�"���%��`����L�&�
� ����+ �� �� ������� ;&%�� �� !� ���� ���� -�/!� ��� ��� � ����� + ������ �����
��� ,�� ����� ��-�.&������+ �����������;&#��������������+���������������� ++��
+�!�)S*� !�8��������������+ !� ������ ��!�����!�� &�&��SN8&��'�0��- ���8�� ++��+�!�
��������8�+ !� ���!�����!��:��������+� ����� ������� !����-�+������,�������S����������!!�
����8�K"(.L&�
� ������!��������- ���������!B�
"* ���� ��!���+������� !��:����������!�&�
%* ������!�������������� <�� ������������������+ �����!�+����� ��!�����!�� &�
#* �������+ � ������!! �����+ �����!�+� ���� ������ ���!����������!�,����� !!��!� � /��
������ ���� ����������� ��������+�,��� �� ������&��������+!���������!��� !�
!��� ������-��+�- �����!������ , ��� !!��!&�
7* ���� ���+ ��� ��!�+� ���� �� ���� ���!� - ��� ��� -�/� ��� + ������ ����� ��� ,�� �
���� !�� -�����!� ���� ���+� ��� �!�+� - ��� ���� + ������ ����� ��� ,�� �
���� !&�
�6�(�����!�����)�4'�
��� �� ������!�� � ,������!������,�� ��!���������,���������!�+� K=L&� ������ ��
!�8��� ����+�������� !�� ,�� � K";=L&� ��� !����� ���� !� �������+����!�D� ��'�8��� ���
�:���������� ������ ��)D'$���*��-� �����������+�����$��$�������/$��$���/�- ���
� :�+���,��� �����/�! <�&��D���������������� ++��+�!��+�����! <�������/!������!�+�
�!� ����� ���������!&� � D'$���� !� ��!���� ���� ����� !�8��� ��� ���� �� ���� ���!� �+�
��+���!�������������� <�� ����������&���!�����������������+�� �������������� ++��
���!�+�����������+��+����� �� ������� ����-� ���!��+�� ++��� �!�!&����K"("L����
�+ � �+�+ ������ ����,��� ����� ���� !��!�+���!��������������� ���� ����-� ���!��+�
� ++�� � �!�!&� � �� !� �������� !� /-� �!� �,��� ���� �:������ ���� ������ �� )�$���*&��
�,��� �������� ���!�����- +�����!�+��!���������!����� ������+������ � <�� &���$����
!����������� �,���+������� <�� �����������- ���������������������-�/!&���
���������� <�� ��������������������!���!��+�������!! � ��� ��������+���+!�
����������������!�M���������� ++�����!�� ����-� ���!���+�� �!�,����!&����K"(%L������
Extremely Fast Machine Learning Algorithms��
158
�����!����!�+��-���������!�������>+�+�I��� ������ ������!�+�����)�>I�$���*��+�
'���!������)'$���*����!������!�����������!&���>I�$�����!�+��-����� ��������!������ !�
����!�&��������-�/���!�+����� �������������!�������������� ++�����!��+�����
-� ���� ��!�+� ���� �� ������� �,�,�!� ���� ���� -� ���� �+� � �!� ,����!&� � '$���� )�'$����
K"(#L*��-� ��� !�������� �������!!� ��! ,�������>I�$������!�!����$��+�>�!!$2�� +�� �
)>2*���!�����������������������!&��>2��������� !��!�+���!���������� ����-� ���!��+�� �!�
,����!� ��� ����� ,����������� ++��+�!�!��������� �����!� ����+������� <�� ������ !�
!����&��������� !�����!!� !��������+�- �������+��!������ ++��+�!��+�+����� �+�����
�� ������������� ++��+�!����-� ������ ���+�>2���� � �� �!������ ��&�
�� ������ �� ���� ���!� ��,�� ���� ���!�+� �� ��!�� ���� ��-�/� !��������� ��
+ ����������� ��� !&� ���������������� <�+� ����� ������+����-��+�!����� �����+��
�+� ������������� ������ ���!&����������&�K"(7L���!����!�+��� ���+�����) $���*����
����������!! � ��� ����� ��� !��-� ���!����!�- ����� ��������-�/��+������� � ���!� ����
� ++��+�!�- ����-�����,�������������!!������&������!��� !� ������ ��� ��!�����!�>� $!8�����
)v%*� �+� ����� � �� � ���� �� � <�+� �� ����/� ���� ����,���&� �� ���� ��� ��&� K"(5L� ���!���+�
D�� ������ ���+�����)D $���*�� �-� ���� ++��+�!�������/�+�������� ��!�!��!���!��
�����!! ����� ���&������� ����+��� !�!������+�������,�$�$���>2&����>!����� ,��� ++��
+�!�'����� �����+��������)>'$���*� !����!�+� �K"(;L���!�+����!���- !����-��+�
!����� � ����+&� � ��� ����� !����� ���� � ++�� +�� - ��� �� ������ ����� ��!� ���� � ���!��
������� � - ��� ���� ������� ��! +���� !� !������+&� � ���� � ++�� +�!� !����� � !��!�
������ ������-��������� �!�+�� !/��!� ��� ��� ��� �������!� �!�� ���&����K"((L�����
��� ��&� ��!� ���!�+� �� �-� '����� ���� )�'$���*� �! !� �� �� ��-��+� !����� � !����� �+�
���/-��+��� � �� �!����&������-��+�!����� ����������!���� ++��+�!�������+����
�������+� ������ !����� �+� ������������ ++��+�!�- ��� ����� ���!����� ��� ��� � !�
!������+��+��++�+��� ������-�/&� ����� !����� �����!!� !� ���� ���+�-��� ���� !��� ��
�� ��� ���� ������+ �� ��������� �,�!� �!�� ���&�������/-��+��� � �� ������� ++��
+�!�!������+� ��������, �!�!�����������, �-�+����������+� ! � � ����� ++��+�!�
�������,�+�����������-�/&�
��K";(L��?���������&�+�,����+�����������������)�$���*�� �-� ���+�!������++�+�
�������������� ++���������-� ���/��� ������������-� ���!��������: !� ��� ++��+�!�
Chapter 6
159
������+&���$������8� ��!�����-���������������!�M��������������+���: ����������
��� ++��+�!&����K"(1L������J!��,�:��� � <�� ����� ������+�K"(=L� !� �������+�
���$������+�������!��� ������ ���� !��������+����!�>,�:��$����)>�$���*&��� �����������
�$�����>�$���������������!�����������-� ���!��������: !� ��� ++��+�!����������-�� ++��
+�� !��++�+&� � ��������� �,�� ��!�����,��������������������������-�/����� ���������
������������� <�� �������������+�����!��� � ��������$���&�
��� !� ��+� ����� !����� ����� ++��+�!� � �$������������� �� ,����� �� ���� � ����
��-�/��������+��� !������,�������� ����!��������-�/������: ��&� � ���+��� ���, +�
�� !� !!����+������ ��������������-�/����� ���������?�����+��� �K"1.L����!�+���
�����+� ����+� ��� �$���� )��$���*&� � ��� ����� ���� �� !����� !�,����� � ++�� +�!� )!��� 4�
+�!�� -����� 4� !� �� �!���*� ���� ��+���� �������+� �+� ���� ����� ���� � ++�� +��
���+ �� �� ���� !�����!�� ��! +���� ����� - ��� ��� �++�+� �� ���� �: !� �� ��-�/&� � ��$���� ���
��� �,����!�����,�������������+�������������������-�/����� �������������$���&���$
���� !� �� !��� � �� ��!�� �� ��$���� -��� /� 6� "&� � I��� � ��� ��&� K"1"L� ���!�+� �� ����+� ��
������ ������+����� �� ������������� ++��+�!� ������� <�+�'�0�&� ��� !��������� !�
�������+����!������� � <�+�����)��$���*���+�����++�� ++��+�!���������������
�������&�� ��� ������-�/������������ !� ��!!����������������������� ++��+�!�- ��������
�++�+� �+� ���� ���� �� ���� ���!&� �D����- !��� � ++��+�!� ���� �++�+� �+� �������� �-�
� ++�� ���������������� :&� � ��$���� ��+���!� ���� ������� ������: ��������+�� �����
���� ������ -� ���!� ����������&� � ��� !� ����� ��!���� ���� ����� !�8��� ��@ ��������@�
��- ������ ���!���+���+�����+������� <�� ����������&�
6�2��3�������+��������1��� ��4��������'��$����
���� ���� �� ��!�+� � ���� ��8� ��!� ���� ���� +���� �� ��� ���!��� ��� ���� ��� �� ��
��� �&� � ?-�,���� ���� ��� �� +���� ���� ��� ,�� �$��$�� �� ���/$��$���/� � �����
���� ��� !&� �������- ����� !�! ���� ����!�8��� ��� ���� ��,�� ��������������+�D'$����
��� ��� �!�+&� � D'$���� �!�!� ���� +��!� �� ������ ���� �� ���&� � �� !� ���� ���� ��+��!� ����
�++ � ,�� �+� ��0� +�!� � �� � � �+� �����-�/&� � ��� !� �� ,��!�� ��� ���� �� ���� ���� � ����
���- ��!�!�&�
Extremely Fast Machine Learning Algorithms��
160
"* ������� ���!��,�� !�����!�8��� �����)�$��$�������/���� :�+���,��� ��! <�*�
���!���+����������� ������ ���&�
%* D��������-������ ,�+��!��,�� !�����!����+������+&�
#* ��� �� �!��,�� !� ���� + !���+�+� �!� !� �!� ���� ���� �� ����+���� �� �����
���� ���������/���! �����!��,�� � !��������+&�
7* ���� ���� ������ ������!���� ��/-��+���������������������!��,�� !���
������ �+���� �&�
>! +���������!������/)%*�6�s��������������� ++��+�!&���+����� !��+ � ��
%u���);&"#*� !�� ,�����
† 1( )T T−=H H H H � � � � � );&";*�
�� !� !������+�������!��+� ,��!����%�������������������%u%�6��s&��'��!� �����);&";*� �);&"#*�
1ˆ ( )T Tβ −= H H H T � � � � � );&"(*�
������,���8��� � !������+� ���!��!8����!�!��� ���%F�6��&� �'�8��� ��� ��������� ���
���!��!8����!�!��� ���!���!� �D'$���&�
I ,�������/��� � ������ ��!�� 00 1{( , )}N
i i i=ℵ = x t �+��.�b�s�� �����! +��!����!��
���������������+!����! +�������������������� � < � 0 0β −H T -�����
0 00
1 1 1 1
0
1 1
( , , ) ( , , )
( , , ) ( , , )
N N
N NN N N xN
G b G b
G b G b
� �� �= � �� �
w x w xH
w x w x
� �
� � �
�� � �
��+�
00
1
0
T
TN N xm
� �� �= � �� �
tT
t�
� � );&"1*
�
�
����������;&%������!��� � !�� ,���� (0) 10 0 0
Tβ −= K H T -���� 0 0 0.T=K H H �'���!�������-��
���� � ,�� ������ ���/� �� +��� 0 1
01 1{( , )} ,N Ni i i N
+= +ℵ = x t -����� 8�� +���!� ���� ������ ��
�!��,�� !� ��� !����/Q���������������������!�� � < ��
0 0
1 1
β� � � �−� � � �
H TH T
� � � � );&"=*�
Chapter 6
161
-����
0 0
0 1 0 11
1 1 1 1
1
1 1
( , , ) ( , , )
( , , ) ( , , )
N NN N
N N N NN N N N
G b G b
G b G b
+ +
+ + +
� �� �= � �� �
w x w x
Hw x w x
� �
� � �
�
� � �� �+
0
0 11
1
1
TN
TN N N xm
+
+
� �� �
= � �� �
t
Tt� �
>! +�� ���������/!���+��� 0ℵ �+ 1,ℵ ����������-� ����F������!�
0 0(1) 11
1 1
T
β − � � � �= � � � �
H TK
H T� � � � � );&%.*
�
-����0 0
11 1
T� � � �
= � � � �
H HK
H H�
� ���0
0 11
T T � �� �= � �
HH H
H�
� ��� 0 1 1T= +K H H �
0��!�8��� ������� ���-����,�����:���!!�F)"*��!������� ���F).*���"��%"��+��"&�
0 00 0 1 1
1 1
TT T� � � �
= +� � � �
H TH T H T
H T� � � � � � � � );&%"*
�
��� �������� 10 0 0 0 1 1
T T−= +K K H T H T �
� �������� (0)0 1 1
Tβ= +K H T �
� �������� (0)1 1 1 1 1( )T Tβ= − +K H H H T �
� �������� (0) (0)1 1 1 1 1
T Tβ β= − +K H H H T �
∴�0 0(1) 1
11 1
T
β − � � � �= � � � �
H TK
H T� � � � � � � );&%%*
�
� �������� 1 (0) (0)1 1 1 1 1 1( )T Tβ β−= − +K K H H H T �
� �������� (0) 1 (0)1 1 1 1( )Tβ β−= + −K H T H �
��� ������ < �� ���� ���, �!� �������!�� �� �����! ,�� ���� ���� ��� ��+�� �� ���!�� !8����!�
!��� �������-� �����!����-!&��H���)/^"*������/���+����!���
1
0
01 ( ) 1
{( , )}k
jjk
jj
N
k i i i N
+
=
=+ = +
�ℵ =�
x t �
!����� ,�+��-�����/�b�.��+�84O��+�����������������!��,�� !� �����)/^"*������/��-����,��
Extremely Fast Machine Learning Algorithms��
162
�� � � � � 1 1 1T
k k k k+ + += +K K H H �� � � );&%#*�
( 1) ( ) 1 ( )1 1 1 1( )k k T k
k k k kβ β β+ −+ + + += + −K H T H � � �);&%7*�
-����
0 0
1 1
0 01
1 1 ( ) 1 ( ) 1
1
1 1
( , , ) ( , , )
( , , ) ( , , )
k kj jj j
k kj jj j
k
N NN N
k
N NN NN xN
G b G b
G b G b
= =
+ +
= =+
+ +
+
� �� �� �
� �=� �� �� �
w x w x
Hw x w x
� �
� ��
�
� � ��
�
�+
0
1
01
( ) 1
1
kjj
kjj
k
T
N
kT
NN xm
=
+
=+
+
+
� ��� �
� �=� �� ��� �
t
Tt�
�
������+������������� 11k
−+K !�+�� ,�+��! ��H+������������
1 11 1 1( )T
k k k k− −
+ + += +K K H H � � � � � � � );&%5*�
��������� 1 1 1 1 11 1 1 1( )T T
k k k k k k k k− − − − −
+ + + += − + ×K K H I H K H H K �
��� 11 1,k k
−+ +=P K ����
11 1 1 1 1( )T T
k k k k k k k k k−
+ + + + += − +P P P H I H P H H P � � � � � );&%;*�
( 1) ( ) ( )1 1 1 1( )k k T k
k k k kβ β β++ + + += + −P H T H � � � � � );&%(*�
D'$���������� ��������+���!� ������-���+������� ,�!�- �����!��� � � ��������������&� � ���
������!��������D'$�����+����������� �,��!�������� ������������-�����/)%.*�6�s&��
���+�������/����/)%.*�6�s��+���/)�.*�6�s�������������� � �� <�� �+����8��!���+���
�����!!���������� ++��+��������S�K";=L&�
6�2����3:4'��������$ �
'�����������������+��)�++ � ,������0*����������!�+ ����� ,�� ����� �����+�
���� ������ �� � ++�� +�!�S&� � ���� +���� ℵ6� X)1 �� � *W1 �∈���� � �∈����� � 6� "�� %�� `Y� ��� ,�!�
!�8��� ����&� � D'$���� �! !�!� �� �-� ���!�!� M� � �� <�� � ���!�� �+� !�8��� ��� ���� ��
���!�&� � �� ���� � �� <�� � ���!��� ���� ���� :�%.� !� � ���+� ��� ��� �!�� � ���� ���� �� ���!�&��
����+ �����������;&%����/)%.*�6�s� ������� �!��S���� ��+��������+ !� ��&�����!����!�!��
Chapter 6
163
���� ������ �� ��� �� +���� ��8� ��+� � ���� � �� <�� � ���!�� ��� ��� �8���� �� ��!�� ��S&��
0��- ������ � �� <�� ����!������� �����!��������!�� ���������$��$�������/$
��$���/���! !��!�+�! ��+&��D�������+���� !��!�+�� �� !�+ !���+�+��+����!�+�������&�
'���� "*� � � �� <�� � ��!�B� � � �� <�� ���� ���� �� �! �� �� ���/� �� ��� �� +���
00 1{( , )}N
i i i=ℵ = x t ��������� ,����� ��!���ℵ6�X)1 ��� *W1 �∈����� �∈����� 6"��%��`Y���.�b�s&�
�* �!! �� ��+�� ����-� ���!�& � �+�� �!���� )��� �++ � ,��� ++��+�!*��� ������& �
�+� ���������������)�����0�� ++��+�!*�� �6�"��%��`��s&�
�* >��������� � ���� ++������������������ :�%.&�
�* �!� ��������� � ���������-� ����F).*&�
+* '���/�6�.&�
'����%*�'�8��� ������� �����!�B� ��!���)/^"*������/����-��!��,�� ! 1.k +ℵ �
�* >������������� ���� ++������������������ :�%/^"��������)/^"*������/���+��� 1.k +ℵ �
�* '����/^"�
�* >�������������������-� ����F)/^"*&�
+* '���/�6�/�^�"&���������!����%&�
H��� ����+���� ��� ,�!��$��$���������-� ���� ������ ���������+��! �� '�����$
��� !��������
1 11
1 11
Tk k k k
k k Tk k k
+ ++
+ +
= −+
P h h PP Ph P h � � � � � );&%1*
�
( 1) ( ) ( )1 1 1 1( )k k T T k
k k k kβ β β++ + + += + −P h t h � � � );&%=*�
-���� 1 1 1 1 1[ ( , , )... ( , , )].k k kN NG b G b+ + +=h w x w x� � � � ����.� 6���� ����D'$���������!� ����������
���� �� ���&� � ���!�� ������ ���� ��� ��� �! +���+� �� !��� ��� ��!�� �� D'$���� -��� ���� ����
��� ���!��,�� !��������!��� ���! �������� �� ����� &�
D'$������� �,�!��-�!����!� ���+���� ����'���!�-�����!���� ��� ���������+���
�����!�8��� ������� ������ ���!&�������!�!�-!�������������� <�� ����������&���!�����
�!� ��� �� � ��� !� �����+�� �$��$�� !�8��� ��� �+�� ��/�!� ���� ���!�� -� ��� ������
���� ������!����!��� ����+�������/��+������� �����!� ����-���K";=L&�
Extremely Fast Machine Learning Algorithms��
164
6�5���������'��$�"��)���'��$����4��������
����/���������+!�� ��+���+� �"==.�������!�+� ��� ���� �����!���� ���� ����
����� !�+ !�,���+� �����+���&�����!���-������� ����� ������ ���!��� � <������ 8��!�
������ � <�� ��!��� !� �!���+� ���� �������! !� ����� �,����: ���������� ���� ���: � � ���
�+�����������K";5L&����/����� !������� �H��!����������������1��0�∈�a�
( , ) ( ) ( )K φ φ= ⋅x z x z�� � � � );&#.*
�
-�����n� !����� �� ����+� �� �� �������� !����� )&� � ���� ���- �� ������ �!� �� ���� ���� ������������
�)1��0*��������!!�������!��������� �� !���/��������!�����������!����&��>���������������� �
��!�����!������ ���
( , ) ( ) ( ) ( ) ( ) ( , )K Kφ φ φ φ= ⋅ = ⋅ =x z x z z x z x� � � );&#"*
�
�+�!�� !������� �8��� � �!��
2 2 22( , ) ( ) ( ) ( ) ( )K φ φ φ φ= ⋅ ≤x z x z x z �
��( ) ( ) ( ) ( ) ( , ) ( , )K Kφ φ φ φ= ⋅ ⋅ =x x z z x x z z
�� � � � );&#%*�
D�� ���� �������!! �� !�������� � ���� �� ���� �� ,�,�!� ���� �� ����
�����!���� �������+���B�
1�6�):"��`��:* n)1*�6�)n")1*��`��n)1**� � � � � );&##*�
�� !�!���� !��8� ,����������� ������ ����!�����+� �����-�!������0�6�Xn)1*�W�1�∈�aY�
K";7L&� � �!���+��� ��� �� �� � �� �� � �����+���� �� ������� ���� ������� ���� ���� ����
!����������-�!����������+���������!��������+ ����� �������!����� ��! ��!� ������
��!�� ��! !� ���� !� �+� ���� �!�� �� � �����+��� � ���� �������� !����&� � �� !� !� /-� �!�
/����� �� �/&� � ���� � �����+��� � �������� !����� ����!�+!� �� �� � �����+��� � ����
!����&�������� �����/��������� � !����� ����������!����!!�������/��������� ���!������!��
����/������!� ����!��� ��/-��+������������!/&�
H�� �� ����4B� ������J!� ������� !����!� ����� ��� �� ��!�� !������ ��� �! � ,��
!�� +�� ���/����� ���� ��):���*��������:���!!�+��!���+����+���� ���� ���+ ��! ���
Chapter 6
165
!����&� � ��� �����������!� �� ���� /����� ���� �!� � �����!�������� !�����+�� �+� �� ���� /����� !�
�! � ,��!�� +�� ���� &�&��
,( , ) 0i j i j
i jK x x c c ≥�
� � � � � );*�
������� ���!��!���X:"��`��:Y���+��+�!��!���X�"��`���Y����4���!�������������: !�!������� �
n):*�-�!������� !� ��� �����+����!��������!! ����� ���+ ��! ��!���������
( , ) ( ) ( )K x y x yφ φ= ⋅ � � � � � );*�
�".��������K"1%L>�
• ����/�����+�� �!���! � ��� ������!�������-����-�+����� �!��+����!����-!���
�� ���������� ��/-��+����������������+�� &�
• �!�� ���������� ���� /����� ��� !� ���� �� ���� ����� � ����� ���� ����� ,��
�! � !������� ���!� �������������!������+���������������� ������ ���� !���!�+�
��� � ���� /����� ���� � �+� ��� ���!� ��� ���� �+� ���- ����� �:�� � �� �!�� �� ����
��������!����&��������� ��+�������������������� �������������� ����� �!� �����
/��������� :�)��I�������� :*���+��,������������� �� + , +�������� ����!&�������!��
���,����:�� � ������!� ���,����������� ������������ � ����� ���+ ��! ��� ��������
!����������/��������� ������!��!���������� ���!������&�
• ����������������� !� ��8� ��+� !������!!�� �������� ��� �� ������������
�������!&�
6�6����������������'��$����
'������ 2��������� �� )'2�*� !� �� !�!���� ��� ��� � ����� ��� �� ���� � ���� ���� ��
���� �!� �����/����� +���+���������!�����K";7L&�� ��� !���!�+��!��� !� ���� ���� ��������
K"1#L� �+� 8��+��� �� ������� �� �� � <�� &� � �� '2�� !� ��! ������ �� � ���� ���!! � ��� �+�
���� ����'2�!���������� �+���������!�!����������� ���!!����!! � ��� &� ��������������
!����!� �-� ����-����!!�!�������� ������!��������&����!������!�!����������!�� ����
���� ����+���� ��!���� �����+ ��! ���!����������+���������!�����-����� �� !� � ������
!��������&� �����������!�,�����, �-!��+�����!�+ ��-��!��� � + �������� �������� �&��
Extremely Fast Machine Learning Algorithms��
166
���� , �-!� ���-� ���� ���� �����!� � /�� � �!$,�� ���� ���+�� ���� 2�� /$>���,�/ !� )2>*�
+ ��! ��+�!����������� !/�� � <�� ��� ����+�!�� �� ������������K";5L&�
'2�!� ���� �� � +� ���� �� ���� +�� ! � ��+���� ��� ��: � < �� ���� ���� � )�! �� ��
����������������*����-���������+�� �!�)��+ ������!*���+ ����������!!�!&����+�!��
����� +�� �����!�� !����!�����������!!������+�� ��������+��������������!!� �������������
!����&� � ���!�� !����!�� �! +���+� �� ��� ���� �!�� ����� ,�� �!�� ���� �����+� !������
,����!&� �'2�!��������!� �� ���� ���� � ������ +�+�� ! ���+�� �!� ������:��+�� ������
!���������� ���+ ��! ���!����!&��������������,�������'2�!� !� ���� ���� � ������!����
/����� ���� � ������� �� ����� ���+ ��! ��� !������ �+� � +� !������ ,����!� � �����
� ��� + ��! ��� !����&� �H������/�!� '2�!� �,������ ������� !� ���� ����� ����� ����� +� ��
������� �� ����+���� ������ ������ /-� �!� /����� �� �/�� -� ��� +�!� �� ��8� ��� ���
�������� � � ���� � ��� + ��! ��� !����� K%L&� � '������ �� ���� ���!!�!� - ��� �� ������ ���� �
� � <�!� �� ��+� � ���� �:�����+� ������ <�� � ����&� � ��� ��� �� ,����!� ���� !�������+�
- ����� ����!� ��� �� �� ���� ����������� ���� �:�����+� ����� ����� � ���� ��!�� !������ !�
��+�+� ��� ���� ��� � �� ���� �:������ � �� ���� !������ ,����!� �� ���� ������ �� ��� ��
,����!&��' ����� !���� � !� +���+���������+ ��! ����������������+������� <�� �
!���������+�K"17L&�
'2�!� ���� ���� �� !�!���!� ����� �!�� �� ������! !� !����� �� � ���� ���� !� � �� � ���
+ ��! ��� �������� !����� ��� �+� - ��� �� ���� �� ���� ���� ���� �� � <�� � ������ �����
�������!��� ���� ��� �!�+�� ,�+� ����!��� !� ���� ���� �������&� ��� ������� ����������
���!�� !�!���!� !� ����� -� ��� ���� �� ���� ���� �� � �!�!� !����!��+� ��� ���� ������ <�� �
��������������!���+����!���!��+���������!���� !�������������! !����!��� �� ��:��������
��� � ������� ���!&� ��� !� !�+���������!�$���$���/���)���*��+ � !&� �����������������
'2�� !� ����� +��� �� ������J!� �+ � !� � ���� /����!�� ���� ����!�+ �� �� � <�� �
������!������,�:��+��������,��� ������ ��&� ����������� <�� �������� ,�!�������
�� +���� ����� �-� �� ����� ����� ��� �+� ����� ���,��� ,��� �� �� ��� ����� �� ����
�������������� ����!���!��-� ����� � <�� ���������, +�!������������� �������� 8��!�
���!!������� +����������!��� � < �����!�����!���!&��D����������:��������� � <������
��: �������� ���������� �+ !�� ��� ��������������!������,����!������K";7L&�
Chapter 6
167
����+ �������'2��������� !�!�����!�>!��!�! � ,�$'������2�����>��!! � ��� �)>$
'2>*��T$'2>��+ !�� ��� ��!� ��� �)�����!!�'2�*��∈$!������,����������!! �)∈$'2�*���+�
T$'2�������,� ������ ������ ���������K"15L&� �D�����!���>$'2>� !��!�+� ������������!��+�&� �����
�+,���������! ��!������,��������!! � ��� !������ ������!����!! � � �������� ������� <������
� �������!! � ��!� �� ���+ ��! ���!����!��! ����!�������� ��!��&�����,�������������
��� ��!��!�� ����� ������!�����!���!�����!������!����+���������� � < ������������� ���
��8� �����!�+�� ����!� ��K(L&�
I ,���������� :���+����� �! 1 ,TT T
NA � �= x x� �1 �6�K: "��: %��&&��: L��� 6"��%��&&������+�
���� ����!�+ �� ���!!� ,����� ��6� K�"�� �%�� &&�� ��L��� � �∈� X"�� $"Y&� � ���� � �� !� �� � +� !������ ��
��������������������-":"�^�-%:%�^�`�^�-:�M���6�.��+��-���+ ������!�����������
-":"�^�-%:%�^�`�^�-:�M���b�"��+�-":"�^�-%:%�^�`�^�-:�M���]�$"&�����������+ ������+ !�����
�� ���� � �!�� ��+ �� ���������� ���� ���� � � � !2 2 21 2
1
.. n
b
w w w
− −
+ + +�+� ���� + !����� �� ����
!��+������ !2 2 21 2
1.
.. n
b
w w w
− +
+ + +���������������+ !��������-���������+ ������������ !
2 2 21 2
2 ... nw w w+ + +
� ����� � +� ���� -� ���!�&� 6� K-"�� `�� -L�� �+� � �!� �� ����� ��: � <�!� �� !�
+ !����&� � ��: � <�� � �2 2 21 2
2.. nw w w+ + +
!� !���� �!� � � <�� � �
2 2 21 2 .. 1 .
2 2Tnw w w+ + + = w w �'��������� ��������� !�
min 1, 2
T
bw w
w � � � � � � );&#;*�
��� �� �� '2�� �! !�!� �� � + �� ���� !� ������ ,����!� ��� &� �+� �&� � ���� +�� ! �
��+���� !�&�1� M���6�.���+�+�� ! � ���� � !� �):*� 6� ! �)&�1� $� �*&� � ����������� !���! ���
!�,�+� �����!��� �!������� ��+����,�� ����!&�
H� ��� ��� ��� �� ��!�� ���� �� ��: � <�� ���� ���� � ���-��� ��+ �� ����!� �+�
� � <��������������� �!��������� ����!�����&� ��������� !�- ������!������� �!�
- �������&��'� ��+���������������������� �� ������������-� ������������-� ����� ,��
Extremely Fast Machine Learning Algorithms��
168
�� ���!������+ �� ����8� �����!&� �H������ ��1 � ��O� � ��� ��������-���������+ ��
���������!� �� ���+� �� ���� ��� ��D� ) &�&�� ��� � -�����&�1 � M� �� ]� $"*�� �++� �� �! � ,��
8��� ���w ������������������ �8��� �����!�� !��������!��� ��&�1 �M���b�"&� � ���-������!�
&�1 �M���^�w �b�"&��' � �������!�����������! � ,��8��� ���w ���������������� �8��� ������� �!� �
�D� ����� ����!����-�����+ �����������!��+� ��������� ��O&� ������8��� � ���!������
� �� !�&�1 �M���$�w �]�$"&��0������������ �!���++�w �- ���,�����.&�
�-������4��� ,�� ���� � ! 1 .2
T TC ξ +e w w ���w� !� ���� !��������� ,������!1
,N
ii
ξ=�
�+��� !� !���� �+� ��� ���� �!��� ��� ���� � ��� �� ��� �&� � ���� ��! �� ������ ��� +� '2�� !� ��
!������ ��� �� ������� ���-��� ���� ������� <�� � ����� )"@%*&�&� �+� ���� ��� �� ����!&��
� � <�� �� 12
T TC ξ +e w w-&�� ��&� �+� w� ���!�!���: ����!������ ����-�����+ ��
����!�- ���� ������������� �!���!! ����� �� ��!���� ,����+ ������!&� ����� � ���
������� � !�
min 1, , 2
T TCC
ξξ
+e w ww �� � � � );&#(*
�
' ��� ���� �4��� ,�� ���� � !� 8��+��� ��� � +� ���� !��� � ������� 8��+��� �� ������� �&��
����������� ������!����-� �����!�
1
min 1, , 2
NT
ii
Cb
ξξ =
+ �w ww � � � � );*
�
!��4������� � � � )-�n)1 *�M��*�^�w �M�"�b�.���� w �b�.��"�]� �]���
� �
'2����8� ��!�������� ���!���+����1�����+��&��1����8�8��! � ,��!�� +�� ������� :�� !�
��+���+�������_�����+���_���&�
1 1 1
1
...T TN
T
T TN N N
x x x xAA K
x x x x
� �� �= =� �� �
� � ��
� � � � � � � );&#=*
�
Chapter 6
169
���������) ��4*���������������� ! .Ti jx x ��������� :� !������+�� ����/��������� :&���� !� ��� �!�
����� ���� ���� ����� � ��+�+� ��� ��� �� !� �������+� � ���� ���� �� +�� ��+���!� �� ����
��� ��,����!&���������+���� !���� ������!���������������� �n)&*���������!�+������������
+���� � �� 1 � �� �� � ����� + ��! ��� !������ �+� ���� ���� ��� ��: ������ !������ ��
���������� � ����� !������!� �� ���!! � ��&� � ��� !���� �� !������ � !� �!! ����� '2������ ���� ���
��� ����8� ��!�n): *�n):4*�����������+�3&�����!�����:�� � ������ �� !�+���+�����+����+����
!� �����+� � ���� � ����� + ��! ��� !������ ���� ���� ������� ��� ��8� ������ !� �����
�!��� �����-���� �����+ ��! �������+������������������+����� �!� !�� ��&������/�����
�� �/� !��!�+������� ��+����+���!�- ������:�� � �������� ������+����� �!� ��� �����
+ ��! ���!����&����������'2����!�+�� �������!! � ��!���,���������- ���+,�����!B�
"* ������� ������ ���� !�����!�����!������������� �������!! � ��&�
%* ����������������!����+ ��! �� ��� !����/��+� ���! �����-��&�
�� /����� ���� � �)1 �� 14*� !� �� ���� � � ���� !����&� � ���� ��! �� �+,������ �� �! ��
/��������� ��)1 ��14*� !������ ������!��, +������� ��n):*�������&���!���+��������8� ��+�!������
��+���!� �����������!�����n)1 *�n)14*��������������+�+ ��������������� ��/����!��)1 ��14*����
� ,����� ��+����,����!� ��� ����!����&������ !�-���� �� !��!! ����������!!����:��������
� ���+ ��! �� ����� �� �������� !�����)&� � ���!�����! �� ���� ��!��/������)1 ��14*�� �� ���
�!��������'2�������������!� ���� � ���+ ��! ���!����&���� �!�! ���������� �� !�4�!����
+����+�������-������� �����������14��+����������������!������!��B��)1 ��14*�6�1 �&�14&����
/����� !������� �H�!��������B�
�)1 ��14*�6�n)1 *�n)14*� � � � � );&7.*�
���������!���!��+�����0�/����� !��!�+��
2( , ) exp( )K x y x yγ= − −� � � � � );&7"*
�
-�����γ !����! � ,����������������� ��������+ �!&�
������������ ����);*��
1 1 1
1( , , , , ) ( ( ) ) 12
N N NT T
i i i i i i ii i i
L b C u t bξ µ ξ φ ξ µ ξ= = =
� �= + − − + − − � � �w u w w w x �
Extremely Fast Machine Learning Algorithms��
170
1 1 1 1
1 ( ) ( )2
N N N NT T
i i i i i i i i ii i i i
C u u t u t b uµ ξ φ= = = =
� � � �= + − − − − +� � � �� � � �
� � � �w w x w
��
-��������f��������������������� �� ��!���+�����H����+����������� !B�
max( , , , , )
,L b ξ µ
µw u
u�
!��4������ 0,L∂ =∂w
0,Lb
∂ =∂
0,i
Lξ
∂ =∂
"�]� �]������b�.��f�b�.�
�����!��� �� 0L∂ =∂w
��� �!�
1
( )N
i i ii
u d φ=
=�w x� � � � � );&7%*
�
�����!��� �� 0Lb
∂ =∂
��� �!�
1
0N
i ii
u t=
=�� � � � � � );&7#*
�
�����!��� �� 0i
Lξ
∂ =∂
��� �!�
>�M�� �M�f �6�.�� "�]� �]��� � � � );&77*�
�����������b�.��f�b�.���+�-����,��.�]�� �]�>&�
'��!� ��� �����!����!���!� ���)&�����w�����f*��
1
1( , , , , )2
NT T
ii
L b uξ µ=
= − +�w u w w w w �
1
12
NT
ii
u=
= − +�w w �
1 1 1
1 ( ) ( )2
N N NT
i i j i j i ji i j
u t t u uφ φ= = =
= −� �� x x �
����+����������� !�
1 1 1
max 1( ) ( ) ( )2
N N NT
i i j i j i ji i j
L u t t u uφ φ= = =
= −� ��u x xu � � � );&75*
�
!��4������1
0,N
i ii
u t=
=��.�]�� �]�>��"�]� �]���
Chapter 6
171
�� !� ��� ��� �,����+� �� ��� � <�� � ������� ��� ���� �� ���� ! �� �� �4��� ,��
���� &���������� :��������� !�������� � !�
� � <��1( )2
T TL = −T u u Qu e u � ����6�.��.�]���]�>�� � );&7;*�
-�������6�K"�`�"L���K�6������+���6�+ ��)�*&�
� ������);&7;*� !�!�,�+��! ���� ����+��������� !� ��������� ����&�!�� !� �!��
1
( )N
i i ii
t u φ=
=�w x �
�+�����+�� ! ����� � !��
1s i gn( ( ) ) s ign ( , )
NT
i i ii
b t u K bφ=
� �+ = +� �� ��w x x x
� � � );&7(*�
H�� !���� ����� ,i∀ ��� ������ ���!�� !������ ,����!� �+� ����� ����� � !���� �!� /�����
���������!� ������+���������+ �� &�
� �����+ � !���,���������- ����������!�!������B�
) * ���� �6�.������w �6�.&�����!�1�� !�������������!! � �+&�
) * ���.�j�� �j�>������� )&�1 �$��*�^�w �6�"��+�w �6�.&�����!�1 � !������+�+�!������,����&��
���!������� �!����� ���������+ ������!����������!!���-� �������� �!�����&�
) * ���� �6�>������� )&�1 �$��*�^�w �6�"��+�w �T�.&�����!�1 � !�����+�+�!������,����&�����!��
���� � �!� ���� �� ��! +�� ���� ��+ �� ����� �� ���� ��!���� ,�� ���!!�!� ��-� ��� ����
� �!�����&�����.�]�w �j�"������1 � !�������������!! � �+���+� ��w �b�"�� �� !�� !���!! � �+&�
0������� ��������� ��!��� �!�-�!�������� ������ �� ��� ����!����-���.��+�>�
�������!�+&��0�����!��� �!��
��&�1 �$���6�� �
∴���6�&�1 �M�� �6�T
j j j i ij svindex
u t t∈
−� x x� � � );&71*
�
��� !���!����������������������!����� �!��+�� +������,�����&�
1 Tj j j i i
i svmindex j svindexb u t t
svmindex ∈ ∈
� �� �= −� �� �
� �� � � � x x
� � � );&7=*
�
Extremely Fast Machine Learning Algorithms��
172
-����� �&� ���� !� ���� !����� + ��!��� !������,����!�� �+� �& � ���� !� ���� !����� + ��!���
!�����!�,����!����������!���������������!�K";5L&�
6�8��'����������#�����)���������������'�
�����������-�+ ���������������!�������� ���!!����!! � ��� ����'2��M�+ ���������+�
�+� + ���������+&� � �� + ���������+��!�,������ ����'2�!������!������+��+���� ��
���������!���� +������ ������!!��-�����!�����+ ��������������! +��!���������+���� ���! ����
�� � <�� �������� &� ������������ ���!�,������ ���!!�'2��������!� ���!������!�
,�� ����!� ����� ��� �� ���� ������ �� ���!!�!&� � �� !� �������� �!�����!� 4� )������ ��
���!!�!*� �-����!!� ����!�-����� ����#��� ���� � !�������!� ��� ��,����!��� �������!!�#� ����
����� ,����!&� ?����� ������ ���� 4� +�� ! � ���� !� ���� ���� ���� ��� �+� ��� !�, �� ��
������&���� !�����+��!���!�������� ��� ��&����� ����!� �������+����� �� !��!! ��+�
���� ������������+�� ! ������������ ��+�+������ ���!������ &� ����������� ������� ���!!�'2��
����+!�� � ����� !�,����� � ���� ���!! � ��!� ��,�� �� ��� �!������+� �� �� ������� �� � <�� �
������� !���+�+&���
�+ ���������+!� �����!�� - +���� �!�+�� �+� ����� ���� ���!! � �+� �� ������ ����!B� ��
��� !�� ���� )"$,$�*�� �� ��� !�� �� )"$,$"*�� �+� ��I'2�&� � �� �� ��� !�� ����� �� � ���� '2��
���!! � ��� !��!������+������������!!�+ !�� � �� ������+����� �!�����������!!���� !������
��!�&� ����� ����'2�� !� ��� �+�- ������� �����:�����!� � ���� �������!!�- ����! � ,�� �����!���+�����
������:�����!�- ������� ,�������!&��I ,��8���� ��+����):"���"*��`��):�����*��-�����: �∈���� �6�
"��`�����+�� �∈�X"��`��/Y� !��������!!���������������'2��!�,�!��������- ��������B�
1
min 1 ( ) ( ), , 2
Ni T i i i T
ji i ij
w w C ww b
ξξ =
+ � �
( ) ( ) 1 ,i T i ij jw x bφ ξ+ ≥ − � ���4�6� �
( ) ( ) 1 ,i T i ij jw x bφ ξ+ ≤ − + � ���4�r� �
0,ijξ ≥ �4�6�"��`���� � � � � � );&5.*�
������!�, ��);&5.*������������4�+�� ! ����� !���+��� !� ��������!!�- ������������!��,�������
����+�� ! ����� �
���!!���:�L���� max(( ) ( ) )
1,...,i T iw x b
i kφ +
= � � � );&5"*�
Chapter 6
173
���� ������ !�,�� ���� +���� ������� �� );&5.*� -�!�� ������ �� ,�� ����!� !� ���� !���� �!� ����
��������+���� �);&5.*&��?�����4�8$,�� �����8��+��� ��������� ��������!�����!�,�+&����
�� !�����+�������� !����+������������ <�� ��������+�������� ��� �����!�!����!�
� ������- ���4&����������������- ���"$,$"����� ��� ��&�
D�� ��� !�� ������+� �!�����!� 4-4D�.��� ���!! � ��!� -����� ����� �� !� ��� �+� �
+���� ���� �-� ���!!�!&� � �� ��� � +���� ���� ���� ���� �+� 3��� ���!!�!�� ���� ���- �� � ����
���!! � ��� ��������������!�,�+B�
min 1 ( ) ( ), , 2
ij T ij ij ij Ttij ij ij
tw w C w
w bξ
ξ+ � �
( ) ( ) 1 ,ij T ij ijt tw x bφ ξ+ ≥ − � �����6� �
( ) ( ) 1 ,ij T ij ijt tw x bφ ξ+ ≤ − + � �����6�4�
0ijtξ ≥ �� � � � � � � );&5%*�
���� ������!�,������+������);&5%*�-�!����������,�� ����!� !�����!�����!�����������
�� +���� � �-� ���!!�!&� � ��� ����� ���!!� ��!�8�4� +���� � �!�� 4-4D�.��� 8��+��� �� ������� ��
������!����� ����� !�,�+�-������������ �������!� ������8� � ,�� ����!� K"1;L&� � ����������
+ �����������+!� �� �+���� ��!� �� � ���� � ,�� +���&� � ����� K"1(L� !����!��+� ��� ��
���!���-����!!����!! � ��!�- �������������&��0� �+���K"11L�!����!��+�����:$H !����� ���B�
�����"$,$"����!! � �����!�!���,������ �!���������+����!!���+������ �����!���� !��������!!�- ���
�����!��,��!&�
����+ !�+,��������"$,$"��������� !���������!!����� + , +�������!! � ��!���������������
������� <�+�� ���� ,������ � ���!!� ���!! � ��� !�!����- ��� ��+� �� ,��� �&� � �������� ��� �� �
����+� �+� ������:$H !� ��� �� �����+� +� �� ��,�� ��+!� � ���� ������ <�� �
����&����!������! <����"$,$"����!! � ���������-�!������ ������- ��� ���+��������������!�-�
���,��������������������!�K"17L&�
��������!������I'2������ �����!�� !�!�����!������ !��������+���+���!� ��
���!���!�!�� �����+������ ��I�����)��I*&� ������+�� �����I� !���� �������!! � ��&� �0�� ����
������ ���!!�!�;�� ��� �+� ��� ���� ���+ �� � !��������� !� !�-� � 0 �&� ;&#&� � I ,�� �� ��!�� +�����
!���� �� ��� ���� ���+���+� ����� ����+�� ! � ���� ��� ���� ���!! � ���;@�� !� �,������+&��
����+�� !������: ��+��������������+��� �� ��+�!����������;����� �����+��� �� ��+�!���
Extremely Fast Machine Learning Algorithms��
174
��������&�������:��+�J!�+�� ! ����� � !������,������+&��0 ���������� ����������!���
�����+������� + ����!��������!!������������� ����+����K";5L&���� !�����+� !����� �+� ����
����������� � ����������+� �� !�+�!�� ��+� ������:��!��� &�
�
*������6�(����"���������������9�'��6�8�������������"������"���!���������$�
�� ���� ���!!� ���� �� ���� �������� �����+� ��� ! � � �����+� ����� �� I����� )���I*� !�
��+���+� � �� !� !��� &� � 2>� ����! !� �� ���I!� !�-!� ����� ���� ���� !� ��� �,�+� ��� ����
+�� ! � +�!� �+� ���� ! <�� �� ���� ������ ���� ������� ��� �� ����������� -� ��� ����
+ ��! �� ��������� ����!�����+�!��&����� + ����!�������� �+ ������������ ���I!� �� ���
+ ��! �����������!����!����� ��+��+������� <�� ����������&�
���I� !���������-�!���+��!���,����� ���� ��+�������!&� ������+���I���!���
� 8���+��!��������� �� !��������+��-� �����!�����!�� � �� �� �&�������+�� ����
��I���!�+�!�-� �����,��� �����.���%����!����, ������&��H��- ����!�����+�� �������I!�
��+�����+�� �������!!������� !�������!�+� ����!! � ��� ���!/!&���
%��� ���� RA=B�I ,���� !�����+� �+��� !���������� ���� !���6� X�B�a�g� X.��"YY�� ����
���!!����I)�*���+�� ! ���I!��4����!!�!�,������������� !�-� ��������� ��������+�
�! �� �� ���+� � ���� ��I�- ��� 4� ���,�!� ������+� ��� ���� ���!!�!�-����� ����� �� ���� /)/$"*@%�
������+�!� !�������+�- ���������������&������+�!�����������+� ����� �����- �������
Chapter 6
175
! �������+��������������-�+�!� �����!��+��������+�!���� ������� �����������4�
���,�!&����������+�� �������4�j�/� !������+������������+�) ^"*���+�� �����)4^"*��������&�
���,������������� ���������I�@�� ����:�∈�a��!���� ������������+���+��,�������
����� ���� ���� � ������+�&� �����,������� ����+�� ! � ���� � !� ����,������!!� ���+�
- ��� ���� �����+�&� ���������� ��/�� ������� ������I� !�/-��!� �����,����� �����&� �����
������������!�����+�������������� �������+�� !�������,����� ���������&������+�� ! �
+��+ !� �� !� �����!!�!����+�3������������+����!������3�+�&���!!�� �������������������
�� ����� !� �!� ���!!�� �� !�+�� !� ���� ����+�� � ���� )/$4^ *��� ��������, +�+� �j� 4&� �' � ������� ���� 3�
+�!�������!��+�!� ,�, �����!!�3�� &�&������ ������+�!�������-�+ ����!���� ��
���������������+����3&�
���I� !� �8� ,����� �� ����� �� � �� � !�� �� ���!!�!�-����� ����� +�� �� � ���!� ��
���!!���������� !�&������!��� �� !��,������+���� !������+�� ! �+�����������!�+!�������
� �!���+���!��������!�������� !�&���������+��������!������������-����!!�!��������������!!�
!��� � ���+���������� !����+��������I������+!�����!������� �!���+�������!��������!�������
�-� � !�&� � ���I� ���� ���!� -��� ��� �� ���!!� ���� !� � ���� � !�&� � 0�� �� ������� - ����������������������
4����!!�!��4D��+�� ! �+�!�- �������,������+� ��+�����+�� ,�����!-��&�
�����������!������������ !�� !����������!�����������!�!���&��' ������ !��!����� !�����������
����� ���� �� �!! ���� ����� ������� ���� !�!����� ���� +�� ! � ������ ����� ���� ���� ����
���,��!�!� !�����I&�����I���������������� <�!��������!!���+�� ! �����!����- �����������
��� � ��������!���� �����+�+�� �!��+������ � !�������������� �+ �������������!���
���������������- ���������� ����+ �������+�� ! �����!�K"17L&�
6�8������9�'��������$ �
��I'2������ ���������!�"$,$"�'2�!���������I�+�!��+���� �!���� ����!���!���
� +��������!!&������&��������-� ����,��������������!�� �� �����+�3����!!�!���������3�+��- ���
����!��+�[&���������� ����3�+�� !�+�� �+��! ( ) ,min { , },c x i jδ θ== −w x -������-�.� !�����
���!!� �!!� ���+� �� ��� �� �:������ 1&� ���: � < �� �������� � �� ���� +�!� � �� ���I�- ���
� � <������+�� ���������� <�� �����&� � ���������������I���!� �����������+�-�!��
+�!�������: �������� ����!! � ��!�,�����/����� +���+���������!����&� �'���������I� !�
Extremely Fast Machine Learning Algorithms��
176
��� �+������� ������� �3�+����������!��!�������� ��� �!� ������+���� ���� 3&� �����
���I����� � !����� ����!����� ������� ����� !���������-� ��� !������+����������+��
�+��!! ��+�����!��� � �����!!&�
��I'2�� ������!� ���� + , +���� ���!!�!� - ��� ������ ���� &� � ��� !� !���� �� + !���+� ����
�! �����!!���������"$,$"�+�� ! ������!�������������:�����!��������! �����!!����������-���
��������+�� ! �!������&�������� ������������!!��+��� ������ !�������I� !���� �����&��D��
�!! �������� !� �� !��������������!�����8�������!!�!�������������������� � !�&� � ��� �������I�
+�� ! !�������+��� ��� �!����������+ !�� ��� ������!!������!�-��+����� � ��&�
��I'2�� !� !���� �� �� �: !� �� ���� ���!!� '2�� ���� ���!� � ���� ��� �� �+�
�,����� �� ��&����� � �������'2����� �� !��!��,�+���!�����!������ ������- ���������� ��
!���! <��8������+ �������-�����-���! ����6���e�����e�x�%�������� ���!������������!�+������
+����! � � ����+�� - ��� !��� ����� �� ��� �!���� �&� � 0�� "$,$�� ���� ���!!� '2��
��� ������ ����������� ������ ��!��� !��!�+��������������4����!! � ��!�������������� ��
� ��� !��"$,$�� 6� �/�e&� ��!!�� �� ����� �������!!�!���,�� ���� !�������������:�����!�� ��� ��
����� "$,$"� '2�� ��� ��8� ��!� %�@/� ��� �� �:�����!&� � ���!�� ��� �� 4-4D�.��� "$,$"� '2�!�
-��+���8� ���
1 21 1
( 1) 2 22v
k k NT c ck Nk
δδ δ δ− −
− −− � �= ≈� �
� � � � � );&5#*�
0�� �� ��� ���� ��!���-�����e� 6� %�� ���� ������� � ��� ��8� ��+� �� ��� � ���� �� ���� "$,$"�
'2�!� !� +���+�����4�� �+� !���� �- ��� ������� ��� ���� ! ����"$,$��'2�&� ��! ��"$,$"�
'2�!�- �������� �� ����� ���� !����!���������+������� ��� ��&��������������/�����
�,����� !� !� �� �+� + ��� � �� �,����� � � ���� �+� �� !� ���� ������ �� � 8��� !������
,����!��,�����+�,��������,����� �����!���������������I���/�����������!��!���K"17L&����
!�,�� ��!� �� � ���� �)1 �� 1*� !� ���������+� � ������ �+� ���� �!�+� � !�,����� �����!� �� +�� ! �
���� &�
� �
Chapter 6
177
6�=��#����������
����+ ����������� ������ ���!�������D'$�����+�'2����!�+�����������!���!��+������
+ !��!!�+� � �� !� �������&� � ����� ���� ��!�+� � �-� ��������!� � ���!! � ��� � M� ������
��-�/!��+�!��� !� �������� �������&���������������������� !� �������!������ ���!� !������
����� ���� �:�������� ��!�� � ����� � ��� �� �� � ��!� �� !����&� �H� ��� +�! � �� ���� ���!! � ����
��������-�/����������!���+���������+� ����� ,���&��?������-����� ���!�������+�D'$
������������!���+����'�0��-� ����!����+�����!! ��+����������!&��?������������������
� ��!� ��!���� ���� �,�� ��� ���� ���!� � /�� � &� � ����� ���� ��!� ����� �� ��, +�� �������
������ <�� ����������&��D������������+��'2�� !��,����!�����������!������ ���!� �
������� �����!�&��0������ ���!!����!! � ��� ������� ��� !���I'2��-� �����!�!�-��+�
������ <�� ����������� �������������!���,�� �!�������!&�