Spreekvaardigheidstrainingmet behulp van
Automatische Spraak-Herkenning (ASH)
Helmer Strik
Afdeling TaalwetenschapCentre for Language and Speech Technology (CLST)Radboud Universiteit Nijmegen
Radboud University Nijmegen
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 2
Overview
IntroductieASH: automatische spraakherkenningASH & CALL(computer assisted language learning)ASH & spreekvaardigheid
ProjectenConclusies
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 3
IntroductieStudenten die 1-op-1 instructie krijgen
presteren even goed als de top 2% van de studenten die traditionele klassikale instructie krijgen [Bloom 1984]
Een privé docent voor iedere leerling is niet haalbaar
è computertutor
CALL: computer assisted language learningToenemende belangstellingVeel tekst-gebaseerde systemen
Hoe zit het met spraak?
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 4
TNS: tekst-naar-spraakEr zijn wel applicaties met ‘spraak’:
Reading pen
Screen readers [:]
Mobiele telefoon: foto + OCR + TNS
Enkele zijn ook bruikbaar voor CALL TNS: tekst-naar-spraakTTS: text-to-speechKwaliteit goed genoeg?
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 5
TNS: tekst-naar-spraak (vervolg)Applicaties met ‘spraak’
Screen readers, reading pen, etc.Enkele zijn ook bruikbaar voor CALL
Echter, meestal kan de leerlingalleen luisteren (TNS: tekst-naar-spraak)of, ook spreken, maar …
geen evaluatie, ofde leerling moet zelf de evaluatie doenbijv. door te vergelijken met voorbeelden
Automatische evaluatie en feedbackè gebruik ASH, spraaktechnologieWat zijn de mogelijkheden?
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 6
ASH: automatische spraakherkenning
Decoder
AcousticModels
Lexicon LanguageModel
Speech SignalInput
W1 W2 W3 W4
WordsOutput
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 7
ASH: automatische spraakherkenningWat is ASH?
spraak-naar-tekst conversie
Applicaties:Dicteren (spreken i.p.v. typen)Command and control (PC besturen)Gesproken dialoogsystemen (informatie)etc.
ASH is niet perfect, zal dat waarschijnlijk nooit worden, zeker niet voor niet-moedertaal sprekers
Dit is ook het geval voor mensen!
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 8
Spraakherkenning
������
��
��
mii
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 9
ASH & CALLWat is al gedaan?
TNS: tekst-naar-spraakde PC ´ spreekt ´De leerling luistert
Reading tutorsde leerling leestde PC luistert
[:]
Interactive BooksVnl. leesvaardigheid
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 10
ASH & spreekvaardigheidNiet-moedertaal sprekers; projecten:
Computergestuurde SpreekvaardigheidstoetsDutch-CAPTDISCOTST-AAP
Mensen met communicatieve beperkingen
Trainen van spreekvaardigheidFeedback over fouten => ASH
ASH is niet perfect, en zal dat waarschijnlijk nooit zijnmet name voor niet-moedertaal sprekers
Weten wat wel / niet mogelijk is met ASHen daar goed rekening mee houden!
afge-lopen
nog lopend
deze presentatie
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 11
Dutch-CAPT
Dutch-CAPT project(Computer Assisted Pronunciation Training)
Trainen van spreekvaardigheid:uitspraak
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 12
Video: een voorbeeld
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 13
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 14
Maximaal 3 keer proberen
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 15
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 16
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 17
Een les
�� �������� ���������������������� �������� ��������������������
������������
������������
������������
� ������� ������
������������������� �������� �������� !������������������� �������� �������� !
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 18
Een les
�� �������� ���������������������� �������� ��������������������
������������������"!������������������"!
� ������� ������
������������
��������������
� ������� ������
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 19
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 20
Dutch-CAPT (vervolg)(CAPT: Computer Assisted Pronuciation Training)
EvaluatieExp. group: used the Dutch-CAPT systemControl group: didn’t use Dutch-CAPT
� Studenten positief (leuk, nuttig, etc.)� De verbetering (reductie in het aantal uitspraakfouten)
was significant groter voor de exp. groep die het Dutch-CAPT systeem gebruikte.
Training: slechts 4 weken x 1 sessie van 30-60 minuten
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 21
Percentage fouten
0.00%
5.00%
10.00%
15.00%
20.00%
25.00%
Exp. NiBu Exp. NiBu
11 doelklanken andere klanken
% errors (relative to type)
pre-test
post-test
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 22
2 Stevin projecten:DISCO: NT2, spreekvaardigehidTST-AAP: NT2, alfabetisering
Stevinstimuleringsprogramma voor TST voor het Nederlands gefinancierd door de Vlaamse en Nederlandse overheid gecoördineerd door de Nederlandse Taalunie (NTU)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 23
Stevin project DISCOTrainen van spreekvaardigheid
uitspraak, morfologie, syntax
� CorrectVoorbeeld Ik loop naar huis
� FoutenUitspraak Ik lop nar guisMorfologie Ik lopen naar huisSyntax Ik naar huis lopen
Fouten automatisch detecterenm.b.v. spraaktechnologie
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 24
ASR
DisplayLogic
PromptGenerator
Words
Segmentation
ErrorDetectionGrading
FeedbackGeneration
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 25
Stevin demonstratie-project TST-AAPAlfabetisering met een luisterende computer
Bestaand methode:Auteur: Ad BakkerUitgeverij: Boom
Spraaktechnologie toevoegen:Detecteren of woorden & klanken (correct) uitgesproken zijn
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 26
ASH & lerenVoordelen van spraak (t.o.v. schrijven)
‘Self-explanation’Extra informatie:
Prosodie (klemtoon, accent, vraag, etc.)Emoties‘Houding’
Andere bruikbare technieken:VTH: virtual talking head [:]
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 27
ConclusiesASH is niet perfect
Leren m.b.v. ASH is mogelijk (beperkt domein)Algemene onderwerpen: rekenen, fysica, etc.Taal i.h.a.Spreekvaardigheid
Nodig:Mix van expertise: techn., pedagogie, design, …Verbeterde ASH, spraak technologieMeer projecten: R&D
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 28
Questions?
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 29
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 30
Dutch CAPT: overzichtHet programma bevat 4 lessen die ieder bestaan uit:Video: soap-opera met Nederlandse acteurs (uit Nieuwe
Buren, een communicatieve multimediale leermethode)
3 verschillende soorten oefeningen:22 dialogen: rol spelen46 oefeningen: vragen beantwoorden38 oefeningen: woorden uitspreken
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 31
����������������������������������������������������� ���� ���� ���� ���
������������������������ ������������������������
����������������������������
������������������������������������������������
��� ��� ��� ���������������������������
��������������������������������������������
��������
���
�������������������������� �� �� ��
����������������������������
��� ��� ��� ���������������������������
��������������������������������������������
��������������������
������������������������������������
!�������"�������!�������"�������!�������"�������!�������"�������
�����#�����!�����������#�����!�����������#�����!�����������#�����!������
$���������������%$���������������%$���������������%$���������������%
�&'�$()*%�&'�$()*%�&'�$()*%�&'�$()*%
��+����+����+����+��
�����!�����������!�����������!�����������!������
����������,�������������,�������������,�������������,���
�������������������������������������������������������������$���������$���������$���������$������������%%%%
����������������������������������������������������� ���� ���� ���� ���
������������������������ ������������������������
����������������������������
������������������������������������������������
��� ��� ��� ���������������������������
��������������������������������������������
��������
���
�������������������������� �� �� ��
����������������������������
��� ��� ��� ���������������������������
��������������������������������������������
��������������������
������������������������������������
!�������"�������!�������"�������!�������"�������!�������"�������
�����#�����!�����������#�����!�����������#�����!�����������#�����!������
$���������������%$���������������%$���������������%$���������������%
�&'�$()*%�&'�$()*%�&'�$()*%�&'�$()*%
��+����+����+����+��
�����!�����������!�����������!�����������!������
����������,�������������,�������������,�������������,���
�������������������������������������������������������������$���������$���������$���������$������������%%%%