Top Banner
1 UNIVERSITÉ DE SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 1 Bloc 2 : Notions de base Semaine 3: Introduction aux processus stochastiques GEI 756 Processus stochastiques et traitement statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 2 Définition d’un processus stochastique Moments statistiques d’un processus stochastique Corrélation et covariance: cas gaussien simple Propriétés Indépendance Orthogonalité Corrélation Stationnarité Ergodisme Processus stochastiques - cas discret Théorème de Einstein-Wiener-Khinchin Densité spectrale de puissance et décomposition de Wold Échantillonnage d’un processus stochastique Bruit « blanc » et processus à bande passante Transformée de Karhunen-Loève Processus composé ou processus stochastique double Processus périodiques et quasi-périodiques Plan du cours
39

Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

Sep 10, 2018

Download

Documents

nguyen_ngoc
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Page 1: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

1

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 1

Bloc 2 : Notions de base

Semaine 3: Introduction aux processus stochastiques

GEI 756

Processus stochastiques et traitement statistique de signaux aléatoires

Denis Gingras

Janvier 2013

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 2

Définition d’un processus stochastique

Moments statistiques d’un processus stochastique

Corrélation et covariance: cas gaussien simple

Propriétés

Indépendance

Orthogonalité

Corrélation

Stationnarité

Ergodisme

Processus stochastiques - cas discret

Théorème de Einstein-Wiener-Khinchin

Densité spectrale de puissance et décomposition de Wold

Échantillonnage d’un processus stochastique

Bruit « blanc » et processus à bande passante

Transformée de Karhunen-Loève

Processus composé ou processus stochastique double

Processus périodiques et quasi-périodiques

Plan du cours

Page 2: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

2

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 3

Définition d’un processus stochastique

Préambule: Dans le cours précédent, nous avons étudié les notions de probabilité, de variables aléatoires et de vecteurs aléatoires, ainsi que leurs propriétés statistiques. Aujourd’hui nous allons aborder le concept de processus stochastiques et de signaux aléatoires. Grossièrement, on peut considérer un processus aléatoire comme étant une suite infinie de variables aléatoires qui évolue dans le temps ou dans l’espace. On passe donc de la variable aléatoire (un seul élément) à un vecteur aléatoire (nombre fini de variables aléatoires) à un processus aléatoire (nombre infini de variables aléatoires)

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 4

Pour une expérience fixée , le signal correspondant est une fonction du temps, i.e. une réalisation du processus. Lorsque c’est le temps qui est fixé, ,nous avons alors une variable aléatoire. L’ensemble de toutes les réalisations des expériences au cours du temps forme le processus stochastique .

Soit le résultat d’une expérience aléatoire. Supposons que pour chaque résultat de l’expérience nous assignons un signal . La collection de tels signaux constitue un processus stochastique. L’ensemble des expériences et la variable t peuvent être continus ou discrets.

2( , )X t

{ }k

i

( , )k kX X t

( , )X t

t

1t

2t

),(n

tX

),(k

tX

),(2

tX

),(1

tX

),( tX

0

( )X t

( ) ( , )o oX t X t

Définition d’un processus stochastique

Page 3: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

3

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 5

Un signal aléatoire temporel est une fonction de deux variables. L'une des variables prend ses valeurs dans l’espace réel ou complexe (ex. le temps), l'autre étant la réalisation d'une variable aléatoire.

À t fixé, est une v.a.

À fixé, est un signal temporel (une « trajectoire » du

processus)

Si t est à temps discret on parle alors de suite ou de séquence

aléatoire

Résultat d’une expérience aléatoire Variable indépendante, ex. : temps

Définition d’un processus stochastique

( , )X t

( , )X t

( , )X t

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 6

( )

2

( );

;

( )

[ ( )], [ ( )],

:

, ,

x n

Soit x n n Z une suite de variables aléatoires

Pour chaque n

f densité de probabilité de x n

moments E x n E x n

si n est le temps

série temporelle ie signal aléatoire

Le modèle mathématique du processus physique s

:Remarque

pour une variable aléatoire réalisation

pour un signal aléatoire ensemble de réalisations réparties dans le temps

appe

ous - jacent

générant le signal aléatoire est appelé processus aléatoire

ou processus stochastique.

" ".lé trajectoires

Définition d’un processus stochastique

Page 4: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

4

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 7

Trajectoires d'un signal aléatoire.

Variable aléatoire x = nombre réel dont la valeur est imprévisible

avant de l'observer lors d'une expérience.

Réalisation de x = valeur prise par x lors d'une expérience.

Signal aléatoire x(t) = signal dont tel que pour tout t, x(t) est une

variable aléatoire.

Réalisation d'un signal aléatoire x(t) = ensemble des valeurs prises

par les v.a. x(t) quand t varie.

Appelé aussi trajectoire.

Définition d’un processus stochastique

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 8

Définition d’un processus stochastique

Fonction aléatoire = processus stochastique continu: t prend un continuum de valeurs sur un interval

Suite aléatoire = processus stochastique discret

On associe à chaque instant t une variable (ou un vecteur) aléatoire

Modélisation de grandeurs pour lesquelles impossible de prédire une valeur exacte à un instant futur.

{..., ,0, ,2 ,...}T T T

Page 5: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

5

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 9

Signaux aléatoires

n

n

n

x(n)

x(n)

x(n)

bruit

séquence binaire codée

tension de batterie 11.75V 12V

Exemples

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 10

n

n

n

x(n)

x(n)

E(x(n))

Bruit: trajectoire 1

Bruit: trajectoire 2

Bruit: moyenne d’ensemble de

2 trajectoires

x1(-3)

X2(-3)

E[x(-3)]

Signal aléatoire : un exemple avec 2 trajectoires

Page 6: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

6

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 11

n

n

x(n)

x(n)

Bruit: trajectoire 1

moyenne temporelle 1

Bruit: trajectoire 2

moyenne temporelle 2

x1(-3)

X2(-3)

n

E(x(n)) Bruit: moyenne d’ensemble des

2 trajectoires

moyenne temporelle

E[x(-3)]

Signal aléatoire : un exemple avec 2 trajectoires

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 12

Soit X(t) un signal aléatoire. Lorsque t est fixée, alors X(t) représente

une v.a. Sa distribution est donnée par,

Notez que dépend de t, puisque pour différentes valeurs de t, nous obtenons différentes v.a. car elles n’ont pas nécessairement des propriétés statistiques identiques. De plus,

représente la PDF (ordre 1) du processus X(t).

})({),( xtXPtxFX

),( txFX

dx

txdFtxf X

X

),(),(

Processus stochastiques

Page 7: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

7

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 13

Exemple: Soit où est une v.a.

distribuée uniformément entre -π et π, avec α et ωo constants. X(t) est un

processus aléatoire (p.a.) et dépend de t, puisque pour différentes valeurs

de t, nous obtenons différentes v.a. Pour t fixe, montrez que la PDF du 1er

ordre de la v.a. correspondante est donnée par,

0( ) cos( ),La fonction X t t

Processus stochastiques

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 14

1

0cos1

( )2

x

xd t

df x f x

dx dx

Processus stochastiques

Éléments de solution 0( ) cos( ),La fonction x t t

1

,2

f

1

0cosx

t

2 2

1 1 1 1( ) ,0

2 21 1

x

xd

df x f x

dx dxx x

0( ) cosg t

2

1 1,0 2 ,

1

xf x xx

Page 8: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

8

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 15

Pour t = t1 et t = t2, X(t) représente deux v.a. différentes X1 = X(t1) et

X2 = X(t2). Leur distribution jointe est

Et la fonction

Représente la densité de 2e ordre du processus X(t). De manière similaire la fonction représente la

densité du nième ordre du processus X(t). La détermination complète du

processus requiert la connaissance de la PDF (ordre n)

pour tout t et pour tout n (impossible en pratique)

})(,)({),,,( 22112121 xtXxtXPttxxFX

),, ,,,( 2121 nn tttxxxfX

),, ,,,( 2121 nn tttxxxfX

niti , ,2 ,1 ,

2

1 2 1 21 2 1 2

1 2

( , , , )( , , , )

X

X

F x x t tf x x t t

x x

Processus stochastiques

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 16

Fonction de distribution et densité de probabilité générales

Distribution ou fonction de répartition (Cumulative distribution function) d’un processus aléatoire

Fonction de densité de probabilité d’ordre n

1 1 1 1

i 1

( , ,..., , ) ( ( ) ,..., ( ) )

t ,...,

x n n n n

j n

F x t x t P x t x x t x

t t t ou

1 11 1

1

( , ,..., , )( , ,..., , )

...

x n nx n n

n

F x t x tf x t x t

x x

Processus stochastiques

Page 9: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

9

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 17

Moments d’un processus stochastique

Espérance mathématique

Fonction d’autocorrélation

Covariance (moment d’ordre 2) La covariance "mesure" une dépendance linéaire entre les différentes valeurs d'un signal

aléatoire.

Covariance croisée (mutuelle) entre deux processus

( ) ( , ) ( ( ))xm t xf x t dx E x t

1 2 1 2 1 2 1 1 2 2 1 2( , ) ( ( ) ( ) ) ( , , , )T T

xxR t t E x t x t x x f x t x t dx dx

1 2 1 1 2 2( , ) (( ( ) ( ))( ( ) ( ) )T

xx x xC t t E x t m t x t m t

1 2 1 1 2 2( , ) (( ( ) ( ))( ( ) ( ) )T

xy x yC t t E x t m t y t m t

NB: Ce sont des moyennes d’ensemble, pas des moyennes temporelles! Hypothèse : une infinité d'expériences dans des conditions identiques

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 18

Coefficient de corrélation du processus est défini par

Variance

Lien entre covariance et corrélation croisées

NB: Les deux processus sont orthogonaux si

Les processus sont non-corrélés si

Cas scalaire et application à la variance

( ) ( , ) (( ( ) )( ( ) ) )T

x xx x xt C t t E x t m x t m

1 2 1 2 1 2( , ) ( , ) ( ) ( )T

xy xy x yC t t R t t m t m t

2 2( ) ( ) ( )x xx xt R t m t

Moments d’un processus stochastique

1 21 2

1 1 2 2

( , )( , )

( , ) ( , )

xxxx

xx xx

C t tr t t

C t t C t t

1 2 1 2( , ) 0, ,xyR t t t t

1 2 1 2( , ) 0, ,xyC t t t t

Page 10: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

10

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 19

Moments d’un processus stochastique

où est une v.a. distribuée uniformément entre 0 et 2π , a est

également une v.a., indépendante de . Trouvons la fonction d’auto-corrélation R

0( ) cos( ),La fonction X t a t

Exemple

1 2 1 2

2

1 2 1 2

1 2 1 2

2

1 2 1 2

( , ) cos( ) cos( )

1cos( ( )) cos( 2 )

2

1cos( 2 ) cos( 2 ) 0

2

1, ( , ) cos( ( ))

2

xx o o

o o o

o o o o

xx o

R t t E a t a t

E a t t E t t

or E t t t t d

donc R t t E a t t

NB: Constante positive

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 20

Cas scalaire

Cas vectoriel

Cas d’un processus stochastique gaussien

2

2

( ( ))1( , ) exp( )

2 ( )( ) 2

xN

xx

x m tp x t

tt

1( ( )) ( )( ( ))1( , ) exp

2(2 ) det ( )

T

x x x

Nn

x

x m t C t x m tp x t

C t

Un processus x(t) est normal (gaussien) si les v.a.

sont conjointement normales. 1 2( ), ( ),... ( )nx t x t x t

Page 11: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

11

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 21

Processus stationnaire

Au sens strict les densités de probabilité jointe de tout les v.a. sont invariantes dans le temps.

1 1 1 1( , ,..., , ) ( , ,..., , )

pour tout réel et pour tout entier n

n n n nf x t x t f x t x t

Définition

Le comportement statistique d'une processus aléatoire n'est pas

nécessairement identique à un temps t1 et t2 quelconque. Pour

s'affranchir de cette difficulté, on définit la notion de stationnarité d'un signal

Les caractéristiques statistiques sont indépendantes du temps.

Cette hypothèse est difficile à vérifier dans le cas pratique

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 22

Au sens large, processus faiblement stationnaire (ordre 2)

E(x(t)) indépendante de t, variance indépendante de t. Dans le cas stationnaire, la fonction de covariance ne dépend plus que de l'intervalle entre les deux variables de temps considérées

Stationnaire au sens strict Faiblement stationnaire

Inverse n’est pas vérifié sauf pour un processus gaussien Dans un contexte applicatif, on se limite, généralement aux cas

de stationnarité d'ordre 2 (au sens large). Invariance temporelle des corrélations et des covariances Pour un processus stochastique scalaire

Processus stationnaire

1 2 1 2( , ) ( ) ( ) ,xx xx xxC t t C t t C

2| ( ) |xx xC

Définition

, , ,| ( ) |xx ij xx ii xx jjC C C

Page 12: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

12

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 23

Vérifions si ce processus est stationnaire.

a) Au sens large (SSL) ordre 1

0 0( ) cos( ) sin( ),

2 . . .

Soit la fonction x t a t b t

où a et b sont v a réelles

Exemple:

( ) cos( ) sin( )

( ) ( ) 0 0.

o oE x t E a t E b t

E a et E b sont des constantes

x t est stationnaire SSL uniquement si E a et E b

Processus stationnaire

Au sens large (SSL) ordre 2

2 2 2 2

2 2 2

1 1( ) ( ) ( ) cos( ) ( ) cos(2 ) sin(2 )

2 2

0, ,

o o o o o

xx

E x t x t E a b a b t ab t

donc R est indépendante de t ssi

E ab et E a E b constante

Autrement dit, x(t) est SSL seulement si a et b sont 2 v. a. à moyenne

nulle, non-corrélées et de même variance.

2( ) cos( )xx oR

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 24

b) Au sens stricte (SSS) Posons,

Exemple:

Processus stationnaire

1 1 0 1 0 1

2 0 2 2 1 1 0 1 0 1

0 0

( ) cos( ) sin( ),

/ 4 , ( ) ( ) sin( ) cos( ),2 2

x t a t b t

si t T alors x t x t a t b t

Vérifions si le processus est stationnaire.

1 1 1 1

1 2 1 1 1 2

0 0

( , ,..., , ) ( , ,..., , ) ' ,

( , ; , ) ( , ;0, )2 2

n n n nf x t x t f x t x t peut s écrire

f x x t t f x x

2 2 2 2

1 2 1 1 1 2

0

( , ; , )2

f x x t t g x x g a b

Le membre de droite est la PDF conjointe fab(a,b) car x1(0)=a et

x2(Π/2ωo)=b. Le membre de gauche est indépendant de t1 si la

fonction

Il revient à dire que si x(t) est stationnaire (SSS), alors fab(a,b) est

circulairement symétrique. Montrez que l’inverse est aussi vrai.

Page 13: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

13

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 25

0 1 2

1 2

1 1

:

( )

,

[ ( ) ( ) ( ).... ( )]

[ ( ) ( )] ( )

l l l lM

M

xx

Stationnarité définition cas discret

les propriètés statistiques sont indépendantes du temps n

ie

E x n x n k x n k x n k est indépendant de n

autocorrelation E x n x n k R k

n

x(n)

1 6 3 5 8 7 4 2

)4()1()1()7()4()2()6()3()1( xxxxxxxxx

fff

Processus stationnaire

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 26

Ergodisme

Dans la pratique, on ne dispose souvent que d'une réalisation du phénomène aléatoire. Il devient donc difficile de caractériser statistiquement le signal aléatoire. L'hypothèse d'ergodisme consiste à admettre que l'évolution d'un signal aléatoire au cours du temps apporte la même information

qu'un ensemble de réalisations du processus à un temps fixe to.

Si un signal est stationnaire et ergodique d’ordre 2, alors,

1( ) lim ( )

2

1( ) ( ) lim ( ) ( ) , ;

2

T

TT

T

TT

E x t x t dt x xT

E x t x t x t x t dt x xT

Attention: En pratique, pour un temps T à durée finie, ces quantités

sont elle-mêmes des v.a. !

converge avec probabilité 1

Page 14: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

14

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 27

Processus faiblement stationnaire ergodique Moyennes d’ensemble = Moyennes temporelles

1

1( ( )) lim ( )

2

1ˆ ( )

T

xT

T

N

x

i

m E x t x t dtT

m x iN

1

( ) ( ( ) ( ) )

1 lim ( ( ) )( ( ) )

2

1ˆ ( ) ( ( ) )( ( ) )

T

xx

T

T

x xT

T

N kT

xx x x

i

C E x t x t

x t m x t m dtT

C x i k m x i m cas discret finiN

Ergodisme

NB: On peut étendre la notion d’ergodisme pour d’autres types de moyennes arithmétiques, comme pour la corrélation et la covariance (convergence au moindres-carrés, i.e. erreur quadratique tend vers 0) .

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 28

Exemples

Cas ergodique

Fonction du résultat d'un jet de dé toutes les minutes. Le processus est stationnaire et ergodique

Cas non-ergodique

Le processus est stationnaire mais non ergodique

Ergodisme

( , )i i

i

f t

où l'expérience suit une loi

uniforme entre 0 et 1.

Page 15: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

15

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 29

1( ) ' 1

1[ ( ) ( ] ( ) lim ( ) ( )

2 1

' 2

n

si seulement m x alors ergodicité d ordre

si de plus E x n x n k R k x n x n kN

alors ergodicité d ordre

Ergodisme Un signal aléatoire stationnaire discret est ergodique si les moments calculées à partir d’une trajectoire (moyennes temporelles) et ceux calculés à partir de moyennes d’ensemble pour un temps fixe sont égaux.

En général, on se limite aux moments d’ordre deux (cas gaussien). Selon plusieurs auteurs, pour être ergodique, un signal aléatoire doit être stationnaire au sens large. Certains auteurs récemment ont démontré qu’un signal aléatoire dans certains casparticuliers peut être ergodique sans être stationnaire. Il n’y a pas de consensus dans la littérature sur cette question. Ici nous considérons qu’en pratique un signal aléatoire ergodique est stationnaire au sens large.

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 30

Stationnarité vs Ergodisme

Attention: Stationnarité n'implique pas nécessairement ergodisme Ergodisme implique habituellement la stationnarité au sens faible L'ergodisme simplifie grandement l'analyse de signaux aléatoires Ergodisme => Histogramme est une estimation de la PDF

Signal aléatoire

s.a. ergodique

s.a. stationnaire

Page 16: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

16

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 31

Processus stochastiques discrets

Un processus stochastique discret Xn = X(nT) est une suite ou une

séquence de v.a. La moyenne et la fonction d’autocorrélation sont données par, Et la covariance par Comme auparavant, les notions de stationnarité et d’ergodisme

s’applique ici aussi. Par exemple, X(nT) est stationnaire (SSL) si,

1 1

*

1 2 1 2

{ ( )}

( , ) { ( ) ( )}

nx

xx

E X nT

R n n E X nT X n T

1 2

*

1 2 1 2( , ) ( , )xx xx n nC n n R n n

constanta nTXE ,)}({

* *[ {( ) } {( ) }] ( ) k kE X n k T X n T R k R R

i.e., R(n1, n2) = R(n1 – n2) = R*(n2 – n1)= R(k).

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 32

La propriété semi-positive définie de la séquence d’ autocorrélation permet de l’exprimer sous forme de matrice Toeplitz Hermitienne comme suit:

0, 1, 2, , .k

0 1 2

*

1 0 1 1 *

* * *

1 1 0

k

k T

k k

R R R R

R R R RR R

R R R R

Processus stochastiques discrets

Dans le cas d’un processus discret (SSL) X(nT ) ayant une séquence

d’autocorrélation provenant d’un processus continu X(t ) échantillonné, on a les relations suivantes:

{ } ,kR

( ) ( ) ( ) ( )X n X nT X t t nT

*( ) ( ) ( ) ( ) ( ) ( )XX

R k R kT E x nT x nT kT R kT

Page 17: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

17

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 33

Ensemble fini de points n=[-N/2,N/2]: on doit se

contenter d’une estimation.

/2

/2

/22

/2

/2

/2

1ˆ ( ) ( )

2 1

1ˆvar( ) ( ) [ ( ) ( ) ( )]

2 1

'

1ˆ ( ) ( ) ( )2 1

N

n N

N

n N

N k

SB

n N

Estimateur de la moyenne m x x nN

Estimateurs de la Variance x x n x n x n m xN

Estimateurs de la fonction d autocorrélation

R k x n k x n sans biaN

/2

/2

1ˆ ( ) ( ) ( )2 1

N k

ASB

n N

is

R k x n k x n asymptotiquement sans biaisN k

Moments d’un processus stochastique discret

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 34

Quelques propriétés de la fonction d’autocorrélation

1 0

*

*

1 1 0 0

( ) ( ),

( ) ( ) ( ) 0, ( ),

( )

(0) ( ) , 0

xx xx

xxn n

xx xx

R k R k symétrie

a n R n n a n a n

définie semi positive ou non négative

R R k k

Moments d’un processus stochastique discret

Page 18: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

18

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 35

Pour le cas vectoriel, les matrices de corrélation et de covariance sont définies respectivement par,

*TR E xxxx

0 0 1 0 2 0 1

0 0 1 0 2 0 1

( ), ( ), ( ),... ( )

( ), ( ), ( ),... ( )

T

N

T

N

x n x n x n x n

m m n m n m n m n

x x x x x

x

*T

xC E m m xx xx - x -

Moments d’un processus stochastique discret

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 36

Pour un processus stationnaire, elle est donc de forme Toeplitz. Pour le cas complexe, elle est hermitienne, i.e.,

(0) ( 1) ( 2) ( 1)

(1) (0) ( 1) ( 2)

( 1)

R R R R N

R R R R NR

R N R

xx xx xx xx

xx xx xx xx

xx

xx ( 2) ( 3) (0)N R N R

xx xx xx

Lorsque le processus est stationnaire, la matrice de corrélation est de la forme,

*TR Rxx xx

Cas vectoriel

Moments d’un processus stochastique discret

Page 19: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

19

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 37

On s’aperçoit que est une v.a. dont la moyenne est donné par,

Exemple

Soit l’estimé de la moyenne d’un processus discret stationnaire.

On s’aperçoit que est une v.a. dont la moyenne est donné par, ˆxm

1ˆ ( ), 2 1

M

x

i M

m x i N MN

ˆ ,xE m E x donc un estimé non biaisé Et sa variance est,

2 * *

ˆ 2

1( ( ) )( ( ) )

x

M M

m

i M k M

E x i x kN

22 * *

ˆ 2

1ˆ ( ( ) ) ( ( ) )

x

M M

m x

i M k M

E m E x i x kN

22

ˆ 2 . .2 0

1 1 1( ) ( )(1 ), 0 , ( ) 0.

2 1x

M M M M

m xx xx xxM S

i M k M m M m

mC i k C m ssi C m

N N M M

-M

-M

M

M m

2 1M m

k

i

Moments d’un processus stochastique discret

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 38

Ce qui implique que la matrice inverse R-1xx

existe presque toujours. Si

nous appliquons l’opération de renversement au vecteur x, i.e.,

Soit a un vecteur quelconque de N éléments, la version matricielle de ,

* 0Ta R a xx

Cas vectoriel

1 0

*

1 1 0 0( ) ( ) ( ) 0, ( ),xxn na n R n n a n a n

devient

0 1 0 2 0 1 0( ), ( ),..., ( ), ( )T

N Nx n x n x n x n x

alors

TR R R xxxx xx

Moments d’un processus stochastique discret

Page 20: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

20

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 39

La matrice Rxx de dimension N x N peut être répartie de deux façons

possibles,

Cas vectoriel

devient

avec

* *

1

1

(0)

(0)

T

N

TN

r r R rR R ou

r R r r

xx N

(0) (0),

(1),..., ( 1)

( 1),..., (1)

T

T

r R

r R R N

r R N R

xx

xx xx

xx xx

Ces équations sont très utiles pour déterminer la structure en treillis de filtres adaptatifs.

Moments d’un processus stochastique discret

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 40

Moments d’un processus stochastique

De façon similaire, les matrices de corrélation et de covariance croisées (conjointes) sont données par,

Cas vectoriel

et *TR E xy

xy *T

yC E m m

xy xx - y -

Pour le cas de processus stationnaire, ces matrices ont habituellement une structure Toeplitz (tous les éléments de chacune des diagonales sont égaux). Si les matrices sont carrés, elles seront Toeplitz mais pas nécessairement la symétrie hermitienne (éléments sous la diagonale principale n’égalent pas les éléments complexes conjugués au dessus de la diagonale principale). Important: Ces deux matrices ne sont pas nécessairement carrés ni hermitienne ! Cependant la matrice de corrélation conjointe a la structure Toeplitz.

avec 0 0 1 0 2 0 1

0 0 1 0 2 0 1

( ), ( ), ( ),... ( )

( ), ( ), ( ),... ( )

T

N

T

y y y y y N

y y n y n y n y n

m m n m n m n m n

Page 21: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

21

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 41

Quelques propriétés de la fonction de corrélation croisée: Les fonctions de corrélation et de covariance croisées n’ont pas de propriétés spéciales de symétrie, sauf si on inverse x et y dans le cas complexe.

* *

* *

( ) ( ), mais ( ) ( )

( ) ( ), mais ( ) ( )

xy xy xy yx

xy xy xy yx

R k R k R k R k

C k C k C k C k

1

( ) (0) (0)2

xy x yyR k R x R

1/2

( ) (0) (0)xy xx yyR k R R

Moments d’un processus stochastique discret

Par ailleurs, la magnitude de la fonction de corrélation croisée est bornée par la moyenne géométrique et la moyenne arithmétique des fonctions d’autocorrélations.

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 42

Réalisation de deux séquences aléatoires a) x[n]; b) x[n] versus x[n+5]; c) la fonction d'autocovariance.

Signal aléatoire :exemple de corrélation

Page 22: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

22

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 43

Moyenne, variance, écart type, histogramme d’un

processus stochastique stationnaire ergodique: une

seule trajectoire suffit.

0 500 1000-3

-2

-1

0

1

2

3

-4 -2 0 2 40

5

10

15

20

25

30

35

40

45

50

Moyenne

Écart type

X1

X2

Moments d’un processus stochastique

X1 X2

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 44

Comment définir la densité spectrale de puissance du procesus x(t) ?

A priori on serait tenter de prendre la forme suivante: Cependant, c’est incorrect car cette quantité est elle-même aléatoire et dépend de la trajectoire du processus aléatoire. De plus, cette quantité

n’a pas de sens mathématique car x(t) ne tend pas vers 0 si t tend vers

∞. En fait, un signal aléatoire ne possède pas de transformée de Fourier.

La TF d’une trajectoire (réalisation) du signal aléatoire est elle-même une quantité aléatoire. Cependant, on peut associer au processus stochastique une notion de densité spectrale de puissance (DSP). Pour ce faire, on doit définir une « transformée de Fourier moyenne » et donc de bande passante moyenne du processus.

Densité Spectrale de Puissance

22( ) ftx t e dt

Page 23: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

23

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 45

Densité Spectrale de Puissance

Le terme 1/2A évite la divergence de l’intégrale. L’opérateur E reflète le caractère

moyen de cette définition.

Important: Mauvais, car l’écart-type est de l’ordre de Sxx(f) si A est grand.

Thèoreme de Einstein-Wiener-Kintchine

La densité spectrale de puissance SXX(ω) d'un processus aléatoire stationnaire

s'obtient comme la transformée de Fourier de sa fonction d'auto-corrélation.

( ) ( ) ,j

xx xxS R e d

( ) ( )d d j k

xx xx

k

S R k e

2

21( ) lim ( )

2

A

j ft

xxA

A

S f E x t e dtA

Une manière de faire est d’utiliser la forme suivant. Notez que l’opérateur d’espérance mathématique est nécessaire.

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 46

Densité Spectrale de Puissance

De plus, la variance d’un processus centré peut s’exprimer par,

1(0) ( ) ,

2x xx xxR S d

1(0) ( )

2

d d d

x xx xxR S d

Si le signal est ergodique, l’estimé de la fonction d'auto-corrélation peut être obtenu à partir d'une seule réalisation du signal.

NB: L’intégrale de la densité spectrale de puissance (DSP) correspond à de la puissance (watt).

Décomposition de Wold

De façon générale, une DSP peut s’exprimer par 2 composants,

'( ) ( ) 2 ( )xx xx i i

i

S S P

Une partie régulière (continue) et une partie singulière (impulsions périodiques)

Page 24: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

24

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 47

Densité Spectrale de Puissance

1

*

1 1

( ) (0) ( ) ( ) (0) 2 Re ( )j k j k j k

xx xx xx xx xx xx

k k k

S R R k e R k e R R k e

Quelques propriétés:

( ) , . . ( ) 0xx xxS est non négatif i e S

( ) ,xxS est réel

En effet,

Par ailleurs,

Cette propriété vient du fait que,

1

2

0

1( ) lim ( ) , ( ) ( )

Nj n

xxN

n

S E X où X x n eN

1 1 1

2

0 0 1

1 1( ) ( ) 1 ( )

N N Nj n k j k

xx xx

n k k N

kE X R n k e R k e

N N N

Et

La quantité se nomme le périodogramme. On verra plus en détails ses propriétés à la 13e semaine.

21( )E X

N

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 48

Densité Spectrale de Puissance

Un grand nombre de processus aléatoires réguliers possèdent une fonction de corrélation de type exponentielle. Les processus ayant cette fonction de corrélation peuvent s’exprimer sous une forme récursive (équations de différences ou différentielles). Ils sont des processus dénommés tout-pôles et nous verrons plus tard qu’ils correspondent à des modèles dits auto-régressifs (AR). Leur fonction de corrélation est donnée par,

2

2 *

, 0( ) , , 1

( ) , 0

k

j

xx k

kR k où e

k

Pour cette famille de processus, la DSP s’exprime par,

22

2

(1 )( )

1 2 cos( )xxS

Processus ayant une fonction de corrélation de type exponentielle

Page 25: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

25

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 49

Densité Spectrale de Puissance

Processus ayant une fonction de corrélation de type exponentielle

Pour le cas où le processus est réel, nous avons, et la DSP devient,

2( ) ( ) ,k

xx xxR k R k

2 2

2

(1 )( )

1 2 cos( )xxS

Notez que la fonction de corrélation est strictement positive lorsque,

1

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 50

Densité Spectrale de Puissance

Exemple: reprenons le processus stochastique avec 2( ) ,

k

xxR k

2 2 2

0 1

( )n n n n n n

xx

n n n

S z z z z

2

2 2 1 1

10 0

, 11

nn n

n n

z z z ou zz

Le premier terme de droite correspond à une série géométrique. On sait que

1

1

1, 1

1

nn

k

k

a qaq q

q

Par substitution (attention aux domaines de validité!) on obtient pour n positif ou = 0

Page 26: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

26

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 51

Densité Spectrale de Puissance

1 0

2 2 2

1

, 1/n nn n

n n n

z z z z z

NB: La transformée en z de Rxx existe seulement si 1

La DSP complexe devient alors,

22

1

(1 )( ) , 1

1 1xxS z z

z z

Pour n négatif, le deuxième terme s’écrit,

20

2 2

0

, 1/1

n n

n n

zz z z z z

z

Pour ce domaine de validité, ceci est équivalent à,

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 52

Densité Spectrale de Puissance

( ) ( ) j k

xy xy

k

S R k e

1( ) ( )

2

j k

xy xyR k S e d

La DSP croisée entre x(n) et y(n) s’exprime par,

Quelques propriétés:

Le spectre croisé mesure la corrélation entre les 2 processus à une fréquence donnée ωo

* *( ) ( ) , ( ) ( ) .xy xy xy xyS S et S S si les processus sont réels

Pour un processus réel, la DSP est aussi une fonction paire en ω, i.e.,

( ) ( )xx xxS S

Et une fonction périodique si le processus est discret.

( 2 ) ( )xx xxS S

Page 27: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

27

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 53

Densité Spectrale de Puissance

La fonction de cohérence est définie par le spectre normalisé

2

2 ( )( )

( ) ( )

xy

xy

xx yy

S

S S

Elle possède la propriété suivante,

0 ( ) 1xy

( )( )

( ) ( )

xy

xy

xx yy

S

S S

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 54

Densité Spectrale de Puissance

La DSP est évalué sur le cercle unitaire.

( ) ( ) k

xx xx

k

S z R k z

11( ) ( )

2

k

xx xxC

R k S z z dzj

La densité spectrale complexe dans le domaine de la transformée en z est

également très importante.

Son inverse est donnée par,

( )xxS z

Où le contour d’intégration C se prend dans le sens antihoraire et dans la région de

convergence. Utilisant la symétrie complexe conjuguée de la fonction de corrélation, on peut montrer que

* * 1( ) (1/ ), ( ) ( )xx xx xx xxS z S z et S z S z pour le cas réel

NB: En présence de singularité, ni la transformée en z, ni son cas particulier, la

transformée de Fourier, n’existent à strictement parler.

Page 28: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

28

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 55

En présence de singularité, il faut alors faire appel à la décomposition de Wold et considérer la partie régulière (continue) du spectre. Cette partie peut se mettre pour la plupart du temps sous la forme d’un polynôme rationnel,

Densité Spectrale de Puissance

En d’autres termes, les pôles et les zéros se produisent à des locations complexes conjuguées dans le plan du cercle unitaire complexe. De plus, pour un polynôme réel, les racines se trouvent en paires. Donc pour la DSP complexe d’un processus réel, nous avons 4 possibilités:

Ce qui implique, que pour chaque pôle ou zéro qui se trouve à se trouve aussi un pôle ou un zéro correspondant à

'( ) ( ) 2 ( )xx xx i i

i

S S P

1 *1 1o oz z z z

oj

o oz z e

* 11/

oo j

o

zz e

* *1/ 1/o o o oz z z z

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 56

Densité Spectrale de Puissance

Voici graphiquement, les 4 cas possibles de positions des racines d’une DSP complexe (les x sont des pôles, les ronds=zéros)

x x

x x 1/r1 1/r2

r2 r1

Processus complexe Processus réel

x

x

x

x

x

x

Utilisant la définition de la DSP complexe et sachant que Rxx(n) est non-causal, on

peut montrer que la région de convergence de Sxx(z) est un anneau limité par,

1, 1R R

R

r z où rr

Page 29: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

29

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 57

Densité Spectrale de Puissance

La DSP est évalué sur le cercle unitaire.

( ) ( ) k

xy xy

k

S z R k z

11( ) ( )

2

k

xy xyC

R k S z z dzj

La densité spectrale croisée complexe est définie de façon similaire

Son inverse est donnée par,

( )xyS z

On peut montrer que

* * 1( ) (1/ ), ( ) ( )xy yx xy yxS z S z et S z S z pour le cas réel

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 58

Exemples

Réalisation de deux signaux aléatoires a) le signal; b) la fonction d'autocovariance; et c) la densité spectrale de puissance

Densité Spectrale de Puissance

Page 30: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

30

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 59

Échantillonnage de signaux aléatoires Soit un processus aléatoire continu x(t) que nous allons échantillonner pour

obtenir le processus x(nT) où T est la période d’échantillonnage.

Si la bande passante de la DSP du processus x(t) est limitée [-B, B],

et si T < 1/2B , alors le théorème de Nyquist-Shannon est vérifié,

. .

( )sin

( )( ) lim sinc

( )M S kn

t nT

t nTTx t x nT x nT

t nT T

T

*( ) ( ) ( ) ( )xx xxR k E x nT x nT kT R kT

La fonction de corrélation du processus échantillonné est,

La fonction de corrélation du processus continu peut être reconstruite selon le théorème de Nyquist,

. .

( ) lim ( )sincxx xxM S k

k

kTR R kT

T

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 60

La transformée de Fourier de la séquence des coefficients de corrélation du processus discret est donnée par et définit la densité spectrale de puissance du processus stochastique

discret X(nT). Puisqu’il s’agit d’un signal continu échantillonné, ayant

une bande passante de –B à +B avec

Alors, est une fonction périodique,

( ) 0,XX

j T

kk

S R e

( )XX

S

( ) ( 2 / )XX XX

S S T

12 .B

T

Échantillonnage de signaux aléatoires

Page 31: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

31

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 61

Échantillonnage de signaux aléatoires

Processus continu à DSP borné

Processus continu échantillonné

Processus discret

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 62

Bruit blanc

2

0( ) (( ( ) )( ( ) )) ( ) ( )xx x x xxC E x t m x t m R N

2

0( )xxS N

Définition cas continu:

On appelle "bruit blanc" un processus aléatoire x(t) centré (à moyenne nulle),

stationnaire d'ordre 2, dont la DSP est constante en fréquence. Dans le cas continu, cela veut dire que le processus n’est pas limité en fréquence et donc que sa puissance moyenne tend vers l’infinie ! Il s’agit donc d’une construction mathématique qui n’a pas d’existence propre en pratique. Sa fonction de covariance est donnée par:

Interprétation : toutes les valeurs entre 2 instants sont indépendantes, peu

importe la distance entre eux. Un bruit blanc n’a aucune mémoire ! Application : modèle par excellence d’un bruit sans mémoire. La sortie d’un système excité par un bruit blanc donne habituellement un bruit coloré à la sortie. Attention: Un bruit blanc n’est pas nécessairement gaussien !

NB: R(0) n’est pas vraiment une variance proprement dit à cause de la

singularité. Sa DSP est donnée par:

Page 32: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

32

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 63

Bruit blanc

0 2xx x x xxC (τ)= E((x(t+τ)-m )(x(t)-m ))= R (τ)=2BN sinc Bτ

( ) ,

0,

xx oS N B

ailleurs

Et pour la DSP, on a,

Donc, une suite (ou séquence) blanche aléatoire est un processus stochastique discret correspondant au cas échantillonné et limité en

fréquence avec T=1/2B, stationnaire SSL, tel que,

On considère d’abord un bruit blanc continu, avec une DSP constante =

N0, mais limitée en fréquence entre –B et +B. La fonction de covariance

devient donc,

2

02 pour 0 ( ) ( )

0 pour 1, 2,...

xx

xx xx

BN kR k C k

k

2( )d

xx xxS

Définition cas discret:

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 64

Processus à bande passante étroite

Soit un processus réel à bande passante qui s’exprime par la forme canonique

0 0( ) cos( ) sin( ),B P Qx t x t x t

Où xP et xQ sont des processus à bande limitée [-B,B] et la fréquence centrale

fo est supposée >> B. Associé à ce processus à bande passante, on peut

associer le processus complexe (enveloppe) et sa fréquence porteuse f0

1( ) ( ) ( )

2P Qw t x t jx t

Donc, 0 0 02 2 2*( ) 2Re ( ) ( ) ( )i f t i f t i f t

Bx t w t e w t e w t e

On peut calculer sa fonction d’autocorrélation, qui donne,

0022

( ) ( ) ( )

2Re ( ) 2 Re ( ) ( )

Bxx B B

i f ti f

ww

R E x t x t

R e E w t w t e

Page 33: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

33

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 65

Donc,

Processus à bande passante étroite

( ) ( ) 2Re ( )

( ) ( ) 2 Im ( )

P Q

P Q Q P

x x ww

x x x x ww

R R R

et R R R

* 1 1( ) ( ) ( ) ( ) ( )

2 2P P Qww x x xR E w t w t R j R

Pour que xB(t) soit stationnaire au sens large, il est nécessaire et suffisant que

le 2e terme à droite =0, car il est le seul qui dépend de t, donc il faut que ,

( ) ( ) 0E w t w t Satisfaire cette condition permet d’exprimer la fonction de corrélation du signal à bande étroite réel en fonction des parties réelles et imaginaires de la fonction d’autocorrélation complexe de l’enveloppe. On peut alors trouver que,

Et la fonction de corrélation du processus réel à bande passante devient,

( ) ( )cos( ) ( )sin( ) 2Re ( ) cos( ) 2Im ( ) sin( )B P P Qxx x o x x o ww o ww oR R R R R

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 66

Étant donné un processus stochastique quelconque. Est-ce que l’information qu’il contient peut être représentée en terme d’un ensemble de v.a. dont l’importance décroit selon un arrangement quelconque ? Autrement dit, pouvons-nous décomposer le processus en une combinaison de fonctions de bases orthonormales ? Il est souvent utile en traitement du signal d’avoir une base de fonctions pour laquelle les composantes du signal sont également orthogonales. Lorsque le processus est stationnaire et que le temps d’observation du signal est long par rapport à la durée non-négligeable de la fonction de corrélation, alors les exponentielles complexes de la DFT fournissent une telle base. Mais il est possible de trouver une telle expansion en série pour un temps d’observation court et pour des signaux non-stationnaires. (Karhunen-Loève) D’autres formes de décompositions existent, telles celles de Haar, Hadamar, etc.

Transformée de Karhunen-Loève Représentation en série orthonormée d’un processus stochastique

Page 34: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

34

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 67

Ici nous allons étudier une transformation qui permet de décomposer un processus aléatoire en composant ortho-normaux et avec des coefficients non-corrélés or statistiquement orthogonal.

Transformée de Karhunene-Loève Représentation en série orthonormée d’un processus stochastique

Soit une séquence aléatoire, représentée par une combinaison linéaire de fonctions orthonormées,

1*

1 0

( ) ( ), ( ) ( ),N N

i i i i

i n

x n c n où c x n n

L’expansion est orthonormée si,

1*

0

1,( ) ( )

0

N

i j

n

i jn n

i j

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 68

Transformée de Karhunene-Loève Représentation en série orthonormée d’un processus stochastique

i.e., si x(n) est centré, les variables aléatoires ci sont non-corrélées. Sous forme

matricielle, nous aurons la transformée de Karhunene-Loève et son inverse

* 2

i j j ijE c c

On désire trouver les fonctions de base tel que,

1 *, Tx c c x = x = =

* 1T I

* 2

i j iiE c c diag

Page 35: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

35

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 69

Transformée de Karhunene-Loève Représentation en série orthonormée d’un processus stochastique

i.e., si x(n) est centré, les variables aléatoires ci sont non-corrélées. Sous

forme matricielle, nous aurons,

La matrice de corrélation des coefficients aléatoires ci s’exprime par,

* * * *T T T

xxE cc E xx R

* 2T

xx iiR diag

On voit que nous avons la même forme que la décomposition en vecteur

propres et en valeurs propres de la matrice de corrélation. La transformée de

KL est unique et l’ensemble des fonctions orthonormées correspond aux vecteurs propres de la matrice de corrélation. 2E et ii i xx i iR ou

0

( ) ( ) ( )N

xx i i i

k

R n k k n

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 70

Transformée de Karhunene-Loève

Expansion d’un processus aléatoire discret en un ensemble de fonctions ortho-normales. ATTENTION: ce n’est pas la décomposition d’une seule trajectoire, mais bien celle du processus stochastique !

Page 36: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

36

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 71

Transformée de Karhunene-Loève

Les quatre premiers vecteurs propres du processus stochastique ayant pour fonction d’auto-corrélation

( ) 0.5l

xxR l

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 72

Une utilisation importante de la TKL est lorsque nous voulons trouver une

représentation optimale tronquée utilisant moins de N fonctions ortho-

normales. Une raison courante arrive lorsque nous avons un signal entaché de bruit additif et que vous voulons séparer le signal du bruit. En utilisant une version tronquée du signal, une partie importante du bruit est éliminée tout en conservant intact l’essentiel du signal. Cette approche est utilisée dans de nombreuses situations, également en analyse spectrale pour la séparation de signaux.

Transformée de Karhunene-Loève Représentation en série orthonormée d’un processus stochastique

Si les valeurs propres sont classées dans l’ordre décroissant, i.e.,

1 2 3... N

Alors l’erreur de l’approximation de x(n) par une somme partielle de M

fonctions ortho-normales, sera minimisée en moyenne quadratique

1

ˆ( ) ( ),M

i i

i

x n c n où M N

Page 37: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

37

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 73

Transformée de Karhunene-Loève Représentation en série orthonormée d’un processus stochastique

L’erreur quadratique moyenne est,

1 12 2

0 01

ˆ( ) ( ) ( )N

N N

in ni M

E e n E x n x n

En effet, puisque,

1 1

ˆ( ) ( ) ( ) ( )M N

i i i i

i i M

x n c n c n x n

Et * * *

1 1

2* *

1 1 1

N NT T T

i i j j

i M j M

N N NT T

i i xx i i

i M i M i M

E e e E c c

E e e E c R

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 74

Transformée de Karhunene-Loève Représentation en série orthonormée d’un processus stochastique

Pour minimiser l’erreur quadratique moyenne, on peut montrer, utilisant les multiplicateurs de Lagrange, que nous devons trouver le zéro du gradient de l’équation suivante,

* *

1 1

(1 )N N

T T

i xx i i i i

i M i M

R

L

0 , 1, 2,...,i xx i i iR i M M N L

Ce qui donne,

Ainsi, l’ensemble optimal de fonctions de base pour une représentation

tronquée d’un signal aléatoire est constitué des vecteurs propres de Rxx

correspondant aux M plus larges valeurs propres les plus grandes.

L’utilisation des vecteurs propres de Rxx pour caractériser et séparer

les portions signal/bruit constitue l’une des pierres angulaires du traitement statistique des signaux.

Page 38: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

38

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 75

Processus stochastique double

On appelle un processus stochastique double ou processus composé un processus dont la densité de probabilité est-elle-même aléatoire. Par exemple, un processus où la moyenne ou la variance est une variable aléatoire.

Quelques exemples:

1) Un processus de Poisson où λ (intensité) est une v.a.

2) Un processus de Markov caché 3) Un processus ponctuel aléatoire du type,

Où les ti et les Ai suivent deux distributions différentes. Ce type de processus

décrit par exemple la sortie d’un photomultiplicateur.

( ) ( )i i

i

x t A t t

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 76

Un processus aléatoire est dit périodique de période P si la PDF vérifie

Processus périodiques et quasi-périodiques

1 2 1 2 1 2 1 1 2 2( , , , , , ) ( , , , , , , )X Xn n n n nf x x x t t t f x x x t k P t k P t k P

Ceci implique que les moments statistiques sont également périodiques

* *

1 2 1 2 1 1 2 2

1 2 1 1 2 2

{ ( )} { ( )}

( , ) { ( ) ( )} { ( ) ( )}

( , ) ( , )

E X n E X n kP

R n n E X n X n E X n k P X n k P

R n n R n k P n k P

Si le processus est stationnaire SSL et périodique, alors

1 1( ) ( ), ( ) ( )R l R l k P C l C l k P

Ces expressions montrent que la matrice de corrélation d’un processus périodique est circulaire dont les éléments d’une ligne correspondent à la rotation de la ligne précédente. Or toute matrice circulaire accepte comme vecteurs propres, les vecteurs de la DFT.

Page 39: Processus stochastiques et traitement statistique de ... 3 Processus... · statistique de signaux aléatoires Denis Gingras Janvier 2013 UNIVERSITÉ DE 2 -janv. 13 D Gingras UdeS

39

UNIVERSITÉ DE

SHERBROOKE 17-janv.-13 D Gingras - UdeS - GEI 756 Bloc 2 Semaine 3 77

Un processus est dit périodique si

Processus périodiques et quasi-périodiques

Dans le cas contraire, le processus ne répète jamais exactement la même période. Pourtant sa forme semble périodique. On donne le nom quasi-périodique à ce type de signaux.

Important: On peut montrer que:

La transformée de Karhunen-Loève discrète pour la DSP d’un processus stationnaire périodique est identique à la transformée de Fourier discrète (DFT) de la fonction de corrélation.

Si la DFT de la fonction de corrélation d’un processus stochastique quelconque est calculée pour un intervalle de temps suffisamment long, le résultat est quasi-identique en pratique à la TKL discrète. (En effet lorsque le délai est suffisamment grand, la valeur des coefficients de corrélation tend vers 0 (ou les coefficients de Fourier deviennent non-corrélés).

0 / 2 ,ensemble des nombres rationels