1 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Teilprojekt A3, Gesprochene Sprache Felicitas Haas, Wolfgang Hess, Bernhard Schröder.

1

Medienintensive Lehrmodule in der Computerlinguistik-

Ausbildung

Teilprojekt A3, Gesprochene Sprache

Felicitas Haas, Wolfgang Hess, Bernhard Schröder

Universität Bonn

17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 2IKP, Uni Bonn

Übersicht

• Einleitung: Motivation

• Inhalt des Moduls

• Szenario

• Multimediale Elemente

• Arbeitsplan

17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 3IKP, Uni Bonn

Motivation des Moduls

Interdisziplinärer Charakter in der Sprachtechnologie

Informationstechnik / Informatik

Computerlinguistik Phonetik

z.B. Dialogsysteme, Sprachverstehenssysteme, Sprachsynthesesysteme

17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 4IKP, Uni Bonn

Lernziel

• Überblick über die Entwicklung und den heutigen Stand von Sprachsynthese und Spracherkennung

• Verstehen und Beurteilung wichtiger Aspekte und Probleme der akustischen Mensch-Maschine-Kommunikation

17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 5IKP, Uni Bonn

Grundlagen und Umfang des Moduls

• In Bonn: 3 zweistündige Vorlesungen, 1 Seminar – Grundlagen der Sprachsignalverarbeitung– Akustische Mensch-Maschine-Kommunikation 1,2– Material aus Seminar zum Thema Fokus

• Im Projekt:Äquivalent von 4 Semesterwochenstunden ?

17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 6IKP, Uni Bonn

• Sprachausgabe: Sprachsynthese• Linguistische Aspekte der Verarbeitung gesprochener

Sprache

Inhaltliche Strukturierung

• Spracheingabe: Spracherkennung, Sprachverstehenssysteme

• Grundlagen der Sprachsignalverarbeitung[Exkurs: für die Verarbeitung gesprochener Sprache benötigte Mathematik]

• Einführung: Aufgaben und Einsatzmöglichkeiten der akustischen Mensch-Maschine-Kommunikation

17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 7IKP, Uni Bonn

• Spektrogramm

Teilmodul Sprachsignalverarbeitung

• Bau des menschlichen Sprechtrakts

• Sprachsignale und ihre Darstellung im Rechner

• Kurzzeitanalyse

• Kurzzeitspektralanalyse

17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 8IKP, Uni Bonn

Exkurs Mathematik

• Mathematische Grundlagen zur Sprachsignalverarbeitung

• Variable Ansteuerung durch das Teilmodul Sprachsignalverarbeitung

• Rücksicht auf individuellen Wissensstand der Studierenden

• Abbau der Scheu vor mathematischen Inhalten

17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 9IKP, Uni Bonn

• Hidden-Markov-Modelle

• Klassische Mustererkennungsverfahren

• Einzelworterkennung

• Erkennung von Prosodie

• Probleme der Erkennung fließender Sprache und Spontansprache

• Dynamic Time Warping

Teilmodul SpracherkennungGrundprobleme

17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 10IKP, Uni Bonn

• Anwendungen: einfacher, interaktiver, trainierbarer Spracherkenner mit geringem Wortschatz

Teilmodul SpracherkennungAnwendungen

• Spracheingabesysteme: Historische Entwicklung und Beispiele

17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 11IKP, Uni Bonn

• Akustische Synthese– Verschiedene Prinzipien akustischer Synthese

• Direkte Sprachsynthese vom Sprachkorpus– Demonstration verschiedener Synthesesysteme

• Frage der Prosodie– Demonstration der prosodischen Manipulation

synthetischer und natürlicher Sprachsignale

Teilmodul Sprachsynthese

• Synthese auf segmentaler Ebene – Verkettung

17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 12IKP, Uni Bonn

Teilmodul Sprachsynthese (2)

• Evaluierung der Qualität– Bewertung von synthetischen Stimuli

verschiedener Systeme

• Einige ausgewählte Anwendungen

17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 13IKP, Uni Bonn

• Phonem-Graphem-Verhältnis• Beschreibung der Syntax gesprochener

Sprache• Prosodie als Mittel semantischer und

pragmatischer Markierung• Spracherkennung und Äußerungskontext• Dialogverarbeitung• Korpora gesprochener Sprache

• Gesprochene vs. geschriebene Sprache

Teilmodul Linguistische Aspekte

17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 14IKP, Uni Bonn

• Individuelle Lerngeschwindigkeit und Lernziele

• Mehrere Lernpfade

• „Einstiegsmöglichkeiten“ in unterschiedlichen Kontexten

• Vernetzung mit anderen MiLCA-Modulen

Szenario

• Aufbereitung als Web Based Training

17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 15IKP, Uni Bonn

Kenntnisstand

Lernprozess im Teilmodul

A1 A2 A3 Ak.....

Lernfortschritt

17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 16IKP, Uni Bonn

Vernetzung der (Teil-)Module

Grundlagen der Sprachsignalverarbeitung

Mathematik

Spracheingabe Sprachausgabe

Linguistische AspekteAndere MiLCA-Module

17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 17IKP, Uni Bonn

Vernetzung mit anderen ModulenLinguistische Aspekte

• Beschreibung der Syntax gesprochener Sprache

• Prosodie als Mittel semantischer und pragm. Markierung

• Spracherkennung und Äußerungskontext

• Dialogverarbeitung• Korpora gesprochener

Sprache

Parsing und Grammatik

Computational Semantics

Computational Semantics

Dialogsysteme Texttechnologie

17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 18IKP, Uni Bonn

• Vokaltraktsimulator

• Graphisch unterstützte Manipulation von

Sprachsignalen (Grundfrequenz, Dauer, etc.)

• Akustische Synthetisatoren

• Spracherkenner mit begrenztem Wortschatz

Multimediale Elemente

• Virtuelles Sprachsignallabor

17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 19IKP, Uni Bonn

• Selektion von Teilsignalen

• Oszillogramm

• Spektrogramm

• Einzelspektrum

Sprachsignallabor

• Akustische Aufnahme und Wiedergabe

17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 20IKP, Uni Bonn

BeispielBreitbandspektrogramm

17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 21IKP, Uni Bonn

Vokaltraktsimulator

Mittsagittalschnitt (aus Fellbaum, 1984) und simulierter Vokaltrakt (aus Klöcker, 2001) am Beispiel des Vokals [a:]

17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 22IKP, Uni Bonn

ArbeitsplanArbeitsplan