1 UNIVERSITÉ DE SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 1 Bloc 2 : Notions de base Semaine 3: Introduction aux processus stochastiques GEI 756 Processus stochastiques et traitement statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 2 Définition d’un processus stochastique Moments statistiques d’un processus stochastique Corrélation et covariance: cas gaussien simple Propriétés Indépendance Orthogonalité Corrélation Stationnarité Ergodisme Processus stochastiques - cas discret Théorème de Einstein-Wiener-Khinchin Densité spectrale de puissance et décomposition de Wold Échantillonnage d’un processus stochastique Bruit « blanc » et processus à bande passante Transformée de Karhunen-Loève Processus composé ou processus stochastique double Processus périodiques et quasi-périodiques Plan du cours
39
Embed
Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Préambule: Dans le cours précédent, nous avons étudié les notions de probabilité, de variables aléatoires et de vecteurs aléatoires, ainsi que leurs propriétés statistiques. Aujourd’hui nous allons aborder le concept de processus stochastiques et de signaux aléatoires. Grossièrement, on peut considérer un processus aléatoire comme étant une suite infinie de variables aléatoires qui évolue dans le temps ou dans l’espace. On passe donc de la variable aléatoire (un seul élément) à un vecteur aléatoire (nombre fini de variables aléatoires) à un processus aléatoire (nombre infini de variables aléatoires)
Pour une expérience fixée , le signal correspondant est une fonction du temps, i.e. une réalisation du processus. Lorsque c’est le temps qui est fixé, ,nous avons alors une variable aléatoire. L’ensemble de toutes les réalisations des expériences au cours du temps forme le processus stochastique .
Soit le résultat d’une expérience aléatoire. Supposons que pour chaque résultat de l’expérience nous assignons un signal . La collection de tels signaux constitue un processus stochastique. L’ensemble des expériences et la variable t peuvent être continus ou discrets.
Un signal aléatoire temporel est une fonction de deux variables. L'une des variables prend ses valeurs dans l’espace réel ou complexe (ex. le temps), l'autre étant la réalisation d'une variable aléatoire.
À t fixé, est une v.a.
À fixé, est un signal temporel (une « trajectoire » du
processus)
Si t est à temps discret on parle alors de suite ou de séquence
aléatoire
Résultat d’une expérience aléatoire Variable indépendante, ex. : temps
Soit X(t) un signal aléatoire. Lorsque t est fixée, alors X(t) représente
une v.a. Sa distribution est donnée par,
Notez que dépend de t, puisque pour différentes valeurs de t, nous obtenons différentes v.a. car elles n’ont pas nécessairement des propriétés statistiques identiques. De plus,
Au sens large, processus faiblement stationnaire (ordre 2)
E(x(t)) indépendante de t, variance indépendante de t. Dans le cas stationnaire, la fonction de covariance ne dépend plus que de l'intervalle entre les deux variables de temps considérées
Stationnaire au sens strict Faiblement stationnaire
Inverse n’est pas vérifié sauf pour un processus gaussien Dans un contexte applicatif, on se limite, généralement aux cas
de stationnarité d'ordre 2 (au sens large). Invariance temporelle des corrélations et des covariances Pour un processus stochastique scalaire
Dans la pratique, on ne dispose souvent que d'une réalisation du phénomène aléatoire. Il devient donc difficile de caractériser statistiquement le signal aléatoire. L'hypothèse d'ergodisme consiste à admettre que l'évolution d'un signal aléatoire au cours du temps apporte la même information
qu'un ensemble de réalisations du processus à un temps fixe to.
Si un signal est stationnaire et ergodique d’ordre 2, alors,
1( ) lim ( )
2
1( ) ( ) lim ( ) ( ) , ;
2
T
TT
T
TT
E x t x t dt x xT
E x t x t x t x t dt x xT
Attention: En pratique, pour un temps T à durée finie, ces quantités
NB: On peut étendre la notion d’ergodisme pour d’autres types de moyennes arithmétiques, comme pour la corrélation et la covariance (convergence au moindres-carrés, i.e. erreur quadratique tend vers 0) .
Ergodisme Un signal aléatoire stationnaire discret est ergodique si les moments calculées à partir d’une trajectoire (moyennes temporelles) et ceux calculés à partir de moyennes d’ensemble pour un temps fixe sont égaux.
En général, on se limite aux moments d’ordre deux (cas gaussien). Selon plusieurs auteurs, pour être ergodique, un signal aléatoire doit être stationnaire au sens large. Certains auteurs récemment ont démontré qu’un signal aléatoire dans certains casparticuliers peut être ergodique sans être stationnaire. Il n’y a pas de consensus dans la littérature sur cette question. Ici nous considérons qu’en pratique un signal aléatoire ergodique est stationnaire au sens large.
Attention: Stationnarité n'implique pas nécessairement ergodisme Ergodisme implique habituellement la stationnarité au sens faible L'ergodisme simplifie grandement l'analyse de signaux aléatoires Ergodisme => Histogramme est une estimation de la PDF
Un processus stochastique discret Xn = X(nT) est une suite ou une
séquence de v.a. La moyenne et la fonction d’autocorrélation sont données par, Et la covariance par Comme auparavant, les notions de stationnarité et d’ergodisme
s’applique ici aussi. Par exemple, X(nT) est stationnaire (SSL) si,
1 1
*
1 2 1 2
{ ( )}
( , ) { ( ) ( )}
nx
xx
E X nT
R n n E X nT X n T
1 2
*
1 2 1 2( , ) ( , )xx xx n nC n n R n n
constanta nTXE ,)}({
* *[ {( ) } {( ) }] ( ) k kE X n k T X n T R k R R
De façon similaire, les matrices de corrélation et de covariance croisées (conjointes) sont données par,
Cas vectoriel
et *TR E xy
xy *T
yC E m m
xy xx - y -
Pour le cas de processus stationnaire, ces matrices ont habituellement une structure Toeplitz (tous les éléments de chacune des diagonales sont égaux). Si les matrices sont carrés, elles seront Toeplitz mais pas nécessairement la symétrie hermitienne (éléments sous la diagonale principale n’égalent pas les éléments complexes conjugués au dessus de la diagonale principale). Important: Ces deux matrices ne sont pas nécessairement carrés ni hermitienne ! Cependant la matrice de corrélation conjointe a la structure Toeplitz.
Quelques propriétés de la fonction de corrélation croisée: Les fonctions de corrélation et de covariance croisées n’ont pas de propriétés spéciales de symétrie, sauf si on inverse x et y dans le cas complexe.
* *
* *
( ) ( ), mais ( ) ( )
( ) ( ), mais ( ) ( )
xy xy xy yx
xy xy xy yx
R k R k R k R k
C k C k C k C k
1
( ) (0) (0)2
xy x yyR k R x R
1/2
( ) (0) (0)xy xx yyR k R R
Moments d’un processus stochastique discret
Par ailleurs, la magnitude de la fonction de corrélation croisée est bornée par la moyenne géométrique et la moyenne arithmétique des fonctions d’autocorrélations.
Comment définir la densité spectrale de puissance du procesus x(t) ?
A priori on serait tenter de prendre la forme suivante: Cependant, c’est incorrect car cette quantité est elle-même aléatoire et dépend de la trajectoire du processus aléatoire. De plus, cette quantité
n’a pas de sens mathématique car x(t) ne tend pas vers 0 si t tend vers
∞. En fait, un signal aléatoire ne possède pas de transformée de Fourier.
La TF d’une trajectoire (réalisation) du signal aléatoire est elle-même une quantité aléatoire. Cependant, on peut associer au processus stochastique une notion de densité spectrale de puissance (DSP). Pour ce faire, on doit définir une « transformée de Fourier moyenne » et donc de bande passante moyenne du processus.
Un grand nombre de processus aléatoires réguliers possèdent une fonction de corrélation de type exponentielle. Les processus ayant cette fonction de corrélation peuvent s’exprimer sous une forme récursive (équations de différences ou différentielles). Ils sont des processus dénommés tout-pôles et nous verrons plus tard qu’ils correspondent à des modèles dits auto-régressifs (AR). Leur fonction de corrélation est donnée par,
2
2 *
, 0( ) , , 1
( ) , 0
k
j
xx k
kR k où e
k
Pour cette famille de processus, la DSP s’exprime par,
22
2
(1 )( )
1 2 cos( )xxS
Processus ayant une fonction de corrélation de type exponentielle
En présence de singularité, il faut alors faire appel à la décomposition de Wold et considérer la partie régulière (continue) du spectre. Cette partie peut se mettre pour la plupart du temps sous la forme d’un polynôme rationnel,
Densité Spectrale de Puissance
En d’autres termes, les pôles et les zéros se produisent à des locations complexes conjuguées dans le plan du cercle unitaire complexe. De plus, pour un polynôme réel, les racines se trouvent en paires. Donc pour la DSP complexe d’un processus réel, nous avons 4 possibilités:
Ce qui implique, que pour chaque pôle ou zéro qui se trouve à se trouve aussi un pôle ou un zéro correspondant à
La transformée de Fourier de la séquence des coefficients de corrélation du processus discret est donnée par et définit la densité spectrale de puissance du processus stochastique
discret X(nT). Puisqu’il s’agit d’un signal continu échantillonné, ayant
0( ) (( ( ) )( ( ) )) ( ) ( )xx x x xxC E x t m x t m R N
2
0( )xxS N
Définition cas continu:
On appelle "bruit blanc" un processus aléatoire x(t) centré (à moyenne nulle),
stationnaire d'ordre 2, dont la DSP est constante en fréquence. Dans le cas continu, cela veut dire que le processus n’est pas limité en fréquence et donc que sa puissance moyenne tend vers l’infinie ! Il s’agit donc d’une construction mathématique qui n’a pas d’existence propre en pratique. Sa fonction de covariance est donnée par:
Interprétation : toutes les valeurs entre 2 instants sont indépendantes, peu
importe la distance entre eux. Un bruit blanc n’a aucune mémoire ! Application : modèle par excellence d’un bruit sans mémoire. La sortie d’un système excité par un bruit blanc donne habituellement un bruit coloré à la sortie. Attention: Un bruit blanc n’est pas nécessairement gaussien !
NB: R(0) n’est pas vraiment une variance proprement dit à cause de la
Pour que xB(t) soit stationnaire au sens large, il est nécessaire et suffisant que
le 2e terme à droite =0, car il est le seul qui dépend de t, donc il faut que ,
( ) ( ) 0E w t w t Satisfaire cette condition permet d’exprimer la fonction de corrélation du signal à bande étroite réel en fonction des parties réelles et imaginaires de la fonction d’autocorrélation complexe de l’enveloppe. On peut alors trouver que,
Et la fonction de corrélation du processus réel à bande passante devient,
( ) ( )cos( ) ( )sin( ) 2Re ( ) cos( ) 2Im ( ) sin( )B P P Qxx x o x x o ww o ww oR R R R R
Étant donné un processus stochastique quelconque. Est-ce que l’information qu’il contient peut être représentée en terme d’un ensemble de v.a. dont l’importance décroit selon un arrangement quelconque ? Autrement dit, pouvons-nous décomposer le processus en une combinaison de fonctions de bases orthonormales ? Il est souvent utile en traitement du signal d’avoir une base de fonctions pour laquelle les composantes du signal sont également orthogonales. Lorsque le processus est stationnaire et que le temps d’observation du signal est long par rapport à la durée non-négligeable de la fonction de corrélation, alors les exponentielles complexes de la DFT fournissent une telle base. Mais il est possible de trouver une telle expansion en série pour un temps d’observation court et pour des signaux non-stationnaires. (Karhunen-Loève) D’autres formes de décompositions existent, telles celles de Haar, Hadamar, etc.
Transformée de Karhunen-Loève Représentation en série orthonormée d’un processus stochastique
Ici nous allons étudier une transformation qui permet de décomposer un processus aléatoire en composant ortho-normaux et avec des coefficients non-corrélés or statistiquement orthogonal.
Transformée de Karhunene-Loève Représentation en série orthonormée d’un processus stochastique
Soit une séquence aléatoire, représentée par une combinaison linéaire de fonctions orthonormées,
Expansion d’un processus aléatoire discret en un ensemble de fonctions ortho-normales. ATTENTION: ce n’est pas la décomposition d’une seule trajectoire, mais bien celle du processus stochastique !
Une utilisation importante de la TKL est lorsque nous voulons trouver une
représentation optimale tronquée utilisant moins de N fonctions ortho-
normales. Une raison courante arrive lorsque nous avons un signal entaché de bruit additif et que vous voulons séparer le signal du bruit. En utilisant une version tronquée du signal, une partie importante du bruit est éliminée tout en conservant intact l’essentiel du signal. Cette approche est utilisée dans de nombreuses situations, également en analyse spectrale pour la séparation de signaux.
Transformée de Karhunene-Loève Représentation en série orthonormée d’un processus stochastique
Si les valeurs propres sont classées dans l’ordre décroissant, i.e.,
1 2 3... N
Alors l’erreur de l’approximation de x(n) par une somme partielle de M
fonctions ortho-normales, sera minimisée en moyenne quadratique
Transformée de Karhunene-Loève Représentation en série orthonormée d’un processus stochastique
Pour minimiser l’erreur quadratique moyenne, on peut montrer, utilisant les multiplicateurs de Lagrange, que nous devons trouver le zéro du gradient de l’équation suivante,
* *
1 1
(1 )N N
T T
i xx i i i i
i M i M
R
L
0 , 1, 2,...,i xx i i iR i M M N L
Ce qui donne,
Ainsi, l’ensemble optimal de fonctions de base pour une représentation
tronquée d’un signal aléatoire est constitué des vecteurs propres de Rxx
correspondant aux M plus larges valeurs propres les plus grandes.
L’utilisation des vecteurs propres de Rxx pour caractériser et séparer
les portions signal/bruit constitue l’une des pierres angulaires du traitement statistique des signaux.
On appelle un processus stochastique double ou processus composé un processus dont la densité de probabilité est-elle-même aléatoire. Par exemple, un processus où la moyenne ou la variance est une variable aléatoire.
Quelques exemples:
1) Un processus de Poisson où λ (intensité) est une v.a.
2) Un processus de Markov caché 3) Un processus ponctuel aléatoire du type,
Où les ti et les Ai suivent deux distributions différentes. Ce type de processus
décrit par exemple la sortie d’un photomultiplicateur.
Un processus aléatoire est dit périodique de période P si la PDF vérifie
Processus périodiques et quasi-périodiques
1 2 1 2 1 2 1 1 2 2( , , , , , ) ( , , , , , , )X Xn n n n nf x x x t t t f x x x t k P t k P t k P
Ceci implique que les moments statistiques sont également périodiques
* *
1 2 1 2 1 1 2 2
1 2 1 1 2 2
{ ( )} { ( )}
( , ) { ( ) ( )} { ( ) ( )}
( , ) ( , )
E X n E X n kP
R n n E X n X n E X n k P X n k P
R n n R n k P n k P
Si le processus est stationnaire SSL et périodique, alors
1 1( ) ( ), ( ) ( )R l R l k P C l C l k P
Ces expressions montrent que la matrice de corrélation d’un processus périodique est circulaire dont les éléments d’une ligne correspondent à la rotation de la ligne précédente. Or toute matrice circulaire accepte comme vecteurs propres, les vecteurs de la DFT.
Dans le cas contraire, le processus ne répète jamais exactement la même période. Pourtant sa forme semble périodique. On donne le nom quasi-périodique à ce type de signaux.
Important: On peut montrer que:
La transformée de Karhunen-Loève discrète pour la DSP d’un processus stationnaire périodique est identique à la transformée de Fourier discrète (DFT) de la fonction de corrélation.
Si la DFT de la fonction de corrélation d’un processus stochastique quelconque est calculée pour un intervalle de temps suffisamment long, le résultat est quasi-identique en pratique à la TKL discrète. (En effet lorsque le délai est suffisamment grand, la valeur des coefficients de corrélation tend vers 0 (ou les coefficients de Fourier deviennent non-corrélés).