TRAITEMENT DE LA PAROLE http://scgwww.epfl.ch/courses Dr. Andrzej Drygajlo, ELE 233 [email protected]Speech Processing and Biometrics Group (GTPB) Laboratoire de IDIAP (LIDIAP) Signal Processing Institute (ITS) Swiss Federal Institute of Technology Lausanne (EPFL) National Center of Competence in Research (NCCR) “Interactive Multimodal Information Management (IM)2” IDIAP Research Institute, Martigny
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
TRAITEMENT DE LA PAROLEhttp://scgwww.epfl.ch/courses
• Codage de la parole– Débit/coût/qualité– Standardisation
• Synthèse– Vocabulaire illimité– Intonation naturelle– Synthèse à partir de
concepts
• Reconnaissance, compréhension– Vocabulaire illimité– Système indépendant
du locuteur
Speech/Music Discrimination and Recognition
entropy
dynamism
Music/ othersounds
Speech
CRAZY JOE
Interactive Tour-Guide Robot
Face
Loud speakers
Microphone array
Buttons
SICK laser scanner
Bumpers
Mobile robot
RoboX
EXPO.02 – Robotics Exhibition
Pourquoi?
Quelle est votre définition de la parole?
• Moyen de communication par excellence.• Information qui est véhiculée par les ondes
sonores.• C’est un bruit qui a un sens.• C’est le vecteur d’information qui différencie
l’homme de l’animal.• Signal permettant la communication entre
humains.• Je ne sais pas en français. J’espere que ça sera
plus clair après ce cours.
L’homme est-il fait pour parler?
La parole
• La parole – faculté de communiquer la pensée par un système de sons articulés émis par les organes de la phonation
• La parole – expression verbale de la pensée
Le Petit Robert 1993
La voix et le langage
• La voix – ensemble de sons produits par le système phonatoire et articulatoire
• Le langage – fonction d’expression de la pensée et de communication entre les hommes, mise en œuvre au moyen d’un système de signes vocaux (parole) et éventuellement de signes graphiques (écriture) qui constitue une langue
Le cerveau et le langage
• Le langage nous aide àstructurer le monde en concepts et à reduire la complexité des structures abstraites afin de les appréhender: c’est la propriété de « compression cognitive »
• La perception – fonction par laquelle l’esprit se représente les objets
Act de communication parlée
LOCUTEUR AUDITEUR
Idée
Traitement cognitif
Comprehénsion
Traitement cognitif Traitement cognitif
Traitement linguistique et
phonétique
Production du son
Traitement linguistique et
phonétique
Traitement linguistique et
phonétique
Système auditifpériphérique
Système auditifpériphérique
Phonétique et Phonologie
• La phonétique s’intéresse à la manière dont les sons du langage sont produits, transmis et perçus par les sujets parlants
• La phonétique – branche de la linguistique qui étudie les phonèmes
• La phonologie – science qui étudie les phonèmes non en eux-mêmes, mais quant à leur fonction dans la langue
Phonème
• Phonème (notion phonologique) – unitéminimale du langage porteuse d’une signification linguistique
• Allophone – realisationd’un phonème (un phonème peut avoir plusieurs allophones)
Phonèmes utilisés en français
La parole
• La parole est un signal réel (4D), continu, d’énergie finie, non stationnaire.
• Sa structure est complexe et variable dans le temps:– Tantôt périodique (plus exactement pseudo-
périodique) pour les sons voisés,– Tantôt aléatoire pour les sons fricatifs,– Tantôt impulsionnelle dans les phases
explosives des sons occlusifs.
• Exemple: voix-parole
Speech synthesis• Synthesis by rule• Text-to-speech
Speech synthesis• Synthesis by rule• Text-to-speech
• UMTS – Universal Mobile TelecommunicationsSystem
• Le téléphone mobile de la 3e génération
UMTS - Swisscom
• L’opérateur propose depuis 16 novembre 2004 l’UMTS
• Swisscom à investi ‘plusieurs centaines’ de millions de francs pour créer son réseau UMTS fort de 12’000 antennes, parallèle au GMS actuel
• L’UMTS permet un débit maximal de 384 kbit/s
• Swisscom se vante de couvrir 89,74% de la population en UMTS, soit 45% du territoire suisse
MIT wearable computing people
Traitement automatique de la parole
Objectifs
A la fin du cours, les étudiants seront capablesd’appliquer les principales méthodes de traitement numérique du signal pour l’analyse, la compression, la synthèse et la reconnaissance de la parole.
Bibliographie
• A. Drygajlo, “Traitement de la parole”, EPFL, Lausanne, 2005
• R. Boite, H. Bourlard, T. Dutoit, J. Hancq, H. Leich, “Traitement de la parole”, PPUR, Lausanne 2000.
Bibliographie
• B. Gold, N. Morgan, “Speech and Audio Signal Processing”, John Wiley and Sons, New York, 2000
• T. Quatieri, “Discrete-TimeSpeech Signal Processing: Principles and Practice”, PrenticeHall PTR, Upper Saddle River, 2002.
• X. Huang, A. Acero, H.-W. Hon, “Spoken Language Processing”, Prentice Hall PTR, Upper SaddleRiver, 2001.
Contenu
• Production et perception de la parole• Analyse et modélisation de la parole• Reconnaissance de la parole• Reconnaissance du locuteur• Synthèse de la parole• Compression et codage de la parole• Communication vocale homme-machine
Production et perception de la parole
• Aperçu anatomique
• Mécanisme de la phonation• Phonétique articulatoire• Acoustique de la phonation
• Mécanisme de l’audition• Psychoacoustique
– Masquage– Bandes critiques
Modélisation de la parole
Analyse et modélisation de la parole
• Représentation numérique du signal vocal• Analyse temporelle• Analyse spectrale• Modélisation spectro-temporelle et
spectrogrammes• Analyse homomorphique• Modélisation basée sur la prédiction linéaire• Estimation des formants• Estimation de la période du fondamental
• Variabilité intra- et inter-locuteur• Vérification et identification du locuteur• Méthodes déterministes et statistiques• Méthodes dépendantes du texte
– Comparaison dynamique (DTW)– Modèles de Markov cachés (HMM)
• Méthodes indépendantes du texte– Quantification vectorielle (VQ)– Modèles à mélanges de gaussiens (GMM)
Identification biométrique
Empreinte digitale
Voix
Visage
Rétine
Signature
Iris
Bases de données
Trace
Population
Suspect
Population potentielle
RéférencesContrôles
Paramètres Paramètres
Affaire Données
Base des données de référence (R) du suspect
Base des données de contrôle (C) du suspect
Base des données de la population potentielle (P)
Synthèse de la parole
• Prosodie• Techniques de synthèse
– Synthèse directe– Synthèse à travers un modèle– Simulation du conduit vocal
• Systèmes de synthèse– Synthèse de messages– Synthèse à partir du texte
- Traitements linguistico-prosodiques- Synthèse par règles- Synthèse par diphones
•The DAVO articulatory synthesizer developed by George Rosen at MIT, 1958. The English Alphabet Song!
Compression et codage de la parole
• Enjeux actuels- Signal de parole dans la bande téléphonique- Signal de parole en bande élargie- Signal de parole en bande large
• Méthodes temporelles (codeurs d’onde)- MIC (PCM), MICD (DPCM), MICDA (ADPCM)- Codage en sous-bandes