Introduction aux processus aléatoires : caractérisation et estimation

1

Introduction aux processus aléatoires :caractérisation et estimation

B. DavidATIAM, TSA,Septembre 2006

B. DavidATIAM, TSA,Septembre 2006

IntroductionDéfinitionsCaractérisationFiltrageEstimation

IntroductionDéfinitionsCaractérisationFiltrageEstimation

2Oct. 2006 ATIAM, TSA-aléatoire

Exemples : signal de parole

0 1 2 3 4 5-0.6

-0.5

-0.4

-0.3

-0.2

-0.1

0

0.1

0.2

0.3voix homme

temps (s)0.94 0.95 0.96 0.97 0.98 0.99 1 1.01

-0.35

-0.3

-0.25

-0.2

-0.15

-0.1

-0.05

0

0.05

0.1

0.15

voix homme

temps (s)

Introduction


Exemples : « bruits »

0.14 0.16 0.18 0.2 0.22 0.24

-20

-10

0

10

20

Bruit coloré bf

temps (s)

0.126 0.128 0.13 0.132 0.134 0.136-4

-2

0

2

4

Bruit blanc

temps (s)

Introduction


Vocabulaire

Déterministe vs aléatoire

déterministe : on dispose d’une règle de calcul

aléatoire : présente une variabilité qu’un modèle déterministe est inefficace à représenter car

non parcimonieux pas ou peu prédictif

Déterministe vs aléatoire

déterministe : on dispose d’une règle de calcul

aléatoire : présente une variabilité qu’un modèle déterministe est inefficace à représenter car

non parcimonieux pas ou peu prédictif

Problèmes posés

Comment caractériser (modéliser) ?

Comment estimer les paramètres du modèle ?

Problèmes posés

Comment caractériser (modéliser) ?

Comment estimer les paramètres du modèle ?

Introduction


exemple : estimer la dépendance au passé

-4 -2 0 2 4

-3

-2

-1

0

1

2

3

X(n)

X(n

+1

)Bruit blanc

Introduction


exemple : estimer la dépendance au passé

-20 -10 0 10 20

-20

-15

-10

-5

0

5

10

15

X(n)

X(n

+1

)Bruit coloré

Introduction


Notions et notations

Processus aléatoires à temps discret

chaque échantillon est une variable aléatoire (V.A.), indexée par le temps discret

définies sur un espace probabilisé

un des possibles = une épreuve (notée 2 = une réalisation ou trajectoire du processus

Processus aléatoires à temps discret

chaque échantillon est une variable aléatoire (V.A.), indexée par le temps discret

définies sur un espace probabilisé

un des possibles = une épreuve (notée 2 = une réalisation ou trajectoire du processus

Définitions


Exemple d’un processus autorégressif

Définitions

0 200 400 600 800-2

0

2

X(

t ,

1)

4 Réalisations d'un proc. AR1

0 200 400 600 800-2

0

2

X(

t ,

2)

0 200 400 600 800-2

0

2

X(

t ,

3)

0 200 400 600 800-2

0

2

X(

t ,

4)

temps discret

générationgénération

ergodicité

moyenne temporelle

moyenne statistique

important si 1 seuleréalisation

ergodicité

moyenne temporelle

moyenne statistique

important si 1 seuleréalisation


loi de probabilité

loi temporelle d’un processus

processus à support temporel fini : vecteur aléatoire de dimension k finie, constitué de valeurs du processus prises à k instants successifs. Décrit par sa loi de répartition conjointe :

souci en dimension infinie : par exemple, quelle est la probabilité de dépassement d’un débit limite dans une conduite ? (Important pour son dimensionnement) → il faut décrire le processus

Heureusement il y a Kolmogorov : les lois conjointes pour tout k fini suffisent.

loi temporelle d’un processus

processus à support temporel fini : vecteur aléatoire de dimension k finie, constitué de valeurs du processus prises à k instants successifs. Décrit par sa loi de répartition conjointe :

souci en dimension infinie : par exemple, quelle est la probabilité de dépassement d’un débit limite dans une conduite ? (Important pour son dimensionnement) → il faut décrire le processus

Heureusement il y a Kolmogorov : les lois conjointes pour tout k fini suffisent.

Caractérisation


moments d’ordre 1 et 2

ordre 1

moyenne d’un processus

dépend a priori du temps

définition du processus centré associé

exemples: tracer qques trajectoires, calculer mX et Xc pour rampe bruitée

processus harmoniques

ordre 1

moyenne d’un processus

dépend a priori du temps

définition du processus centré associé

exemples: tracer qques trajectoires, calculer mX et Xc pour rampe bruitée

processus harmoniques

Caractérisation


moments d’ordre 1 et 2

ordre 2

covariance de deux v.a :

Rque : E(XY*) définit un produit scalaire dans l’espace de Hilbert des v.a. de carré intégrable.

(auto)covariance d’un processus

exemple : calculer RXX pour

ordre 2

covariance de deux v.a :

Rque : E(XY*) définit un produit scalaire dans l’espace de Hilbert des v.a. de carré intégrable.

(auto)covariance d’un processus

exemple : calculer RXX pour

Caractérisation


ordre 2

propriétés de la covariance

avec égalité lorsque X(n) est p.s. déterministe Soit T une va positive, montrer (inégalité de Markov)

en déduire (Tchebyshev), pour Y v.a. de moyenne m et variance 2

conclure

symétrie hermitienne

Inégalité de Schwarz positivité

propriétés de la covariance

avec égalité lorsque X(n) est p.s. déterministe Soit T une va positive, montrer (inégalité de Markov)

en déduire (Tchebyshev), pour Y v.a. de moyenne m et variance 2

conclure


Inégalité de Schwarz positivité

Caractérisation > moments d’ordre 1 et 2


Stationnarité

définitions

caractérise la permanence des propriétés statistiques du processus au cours du temps

stationnarité stricte : la loi temporelle est invariante par décalage

stationnarité au sens large (SSL) : v.a de carré intégrable stationnarité au premier ordre stationnarité au deuxième ordre

définitions

caractérise la permanence des propriétés statistiques du processus au cours du temps

stationnarité stricte : la loi temporelle est invariante par décalage

stationnarité au sens large (SSL) : v.a de carré intégrable stationnarité au premier ordre stationnarité au deuxième ordre

Caractérisation


Stationnarité

ordre 1

la moyenne statistique est indépendante du temps

ordre 1

la moyenne statistique est indépendante du temps

Caractérisation

ordre 2

la covariance ne dépend que de l’écart temporel k = n1 – n2

ordre 2

la covariance ne dépend que de l’écart temporel k = n1 – n2


Cas SSL

propriétés de la covariance dans le cas SSL

avec égalité si X(n) est p.s. une constante


atteint son maximum en k = 0

positivité

Rque : puissance d’un processus SSL = moment d’ordre 2 à l’origine.

propriétés de la covariance dans le cas SSL

avec égalité si X(n) est p.s. une constante


atteint son maximum en k = 0

positivité

Rque : puissance d’un processus SSL = moment d’ordre 2 à l’origine.

Caractérisation > stationnarité


Cas SSL

matrice de covariance

définition


RX définie positive montrer que RX peut se mettre sous la forme E( xxH ) où x est un

vecteur d’échantillons à préciser, en déduire la propriété ci-dessus.

matrice de covariance

définition


RX définie positive montrer que RX peut se mettre sous la forme E( xxH ) où x est un

vecteur d’échantillons à préciser, en déduire la propriété ci-dessus.



densité spectrale de puissance d’un processus SSL

définition et propriétés

la dsp est la TFtd de la séquence d’autocovariance

c’est un réel positif 8 formule d’inversion : donner l’expression de RXX en fonction de SXX

en déduire la puissance du processus, PX en fonction de SXX

définition et propriétés

la dsp est la TFtd de la séquence d’autocovariance

c’est un réel positif 8 formule d’inversion : donner l’expression de RXX en fonction de SXX

en déduire la puissance du processus, PX en fonction de SXX



exemples

étudier la stationnarité des processus suivants, et calculer le cas échéant leur covariance et leur dsp.

le bruit blanc

la rampe bruitée

une combinaison linéaire finie du processus B(n).

les processus harmoniques suivants

étudier la stationnarité des processus suivants, et calculer le cas échéant leur covariance et leur dsp.

le bruit blanc

la rampe bruitée

une combinaison linéaire finie du processus B(n).

les processus harmoniques suivants



exemples

On étudie le processus AR1, solution de carré intégrable de

avec |a| < 1. Mettre sous la formeoù l’on précisera Rp(n).

On posemontrer que Xp(n) converge p.s. vers X(n) qd p ! 1.

On note cette limite. En déduire que X(n) est stationnaire à l’ordre 1 et préciser sa moyenne.

Calculer la covariance RXX(n+k,n) et en déduire que X(n) est stationnaire au 2e ordre.

Calculer sa dsp.

On étudie le processus AR1, solution de carré intégrable de

avec |a| < 1. Mettre sous la formeoù l’on précisera Rp(n).

On posemontrer que Xp(n) converge p.s. vers X(n) qd p ! 1.

On note cette limite. En déduire que X(n) est stationnaire à l’ordre 1 et préciser sa moyenne.

Calculer la covariance RXX(n+k,n) et en déduire que X(n) est stationnaire au 2e ordre.

Calculer sa dsp.



Filtrage des processus

Principaux résultats

Soit le processus X(n) supposé SSL, et h(n) une séquence absolument sommable (RI d’un filtre stable) alors le processus

existe et est SSL

sa moyenne

sa covariance

Principaux résultats

Soit le processus X(n) supposé SSL, et h(n) une séquence absolument sommable (RI d’un filtre stable) alors le processus

existe et est SSL

sa moyenne

sa covariance

Filtrage


principaux résultats

relations entrée/sortie

covariance entrée/sortie application à l’identification cas d’un bruit blanc en entrée

dsp

interspectre

relations entrée/sortie

covariance entrée/sortie application à l’identification cas d’un bruit blanc en entrée

dsp

interspectre

Filtrage


Estimation des propriétés statistiques

Généralités sur l’estimation

on cherche à estimer une grandeur scalaire q à partir des données on définit un estimateur

cet estimateur est une variable aléatoire en général obtenue à l’aide d’une règle de calcul en fonction des observations

Estimateur sans biais

Risque (quadratique) d’un estimateur :

Existence d’une borne inf. pour R dite de Cramer-Rao pour les estimateurs sans biais.

Généralités sur l’estimation

on cherche à estimer une grandeur scalaire q à partir des données on définit un estimateur

cet estimateur est une variable aléatoire en général obtenue à l’aide d’une règle de calcul en fonction des observations

Estimateur sans biais

Risque (quadratique) d’un estimateur :

Existence d’une borne inf. pour R dite de Cramer-Rao pour les estimateurs sans biais.

Estimation


Estimation de la moyenne

on étudie un processus SSL X(n), observé pour n=0,...,N-1

on suppose RXX(k) absolument sommable

estimateur de la moyenne

montrer que cet estimateur est non-biaisé.

montrer que son risque quadratique vaut asymptotiquement N-1SXX(0)

on étudie un processus SSL X(n), observé pour n=0,...,N-1

on suppose RXX(k) absolument sommable

estimateur de la moyenne

montrer que cet estimateur est non-biaisé.

montrer que son risque quadratique vaut asymptotiquement N-1SXX(0)

Estimation


Estimation de la covariance

on définit, pour un processus centré, les estimateurs

étudier le biais de chacun des estimateurs.

Montrer, pour X iid, gaussien, de variance 2 que

conclure sur la convergence de l’estimateur en moyenne quadratique

on définit, pour un processus centré, les estimateurs

étudier le biais de chacun des estimateurs.

Montrer, pour X iid, gaussien, de variance 2 que

conclure sur la convergence de l’estimateur en moyenne quadratique

Estimation

aide : formule des moments d’ordre 4 pour 4 variables gaussiennes E(ABCD) = E(AB)E(CD) + E(AC)E(BD) + E(AD)E(BC)


Estimation de la dsp

on suppose X(n) centré, SSL

à partir de l’estimateur biaisé des covariances on est amené à définir le périodogramme :

montrer que le périodogramme peut s’écrire en fonction de la TF de la séquence X(n) sous la forme :

montrer que l’estimateur est asymptotiquement sans biais.

en revanche on montre que cet estimateur n’est pas convergent en moyenne quadratique.

idée de tronquer le périodogramme (en fait la séquence R) idée de moyenner le périodogramme (Welch)

on suppose X(n) centré, SSL

à partir de l’estimateur biaisé des covariances on est amené à définir le périodogramme :

montrer que le périodogramme peut s’écrire en fonction de la TF de la séquence X(n) sous la forme :

montrer que l’estimateur est asymptotiquement sans biais.

en revanche on montre que cet estimateur n’est pas convergent en moyenne quadratique.

idée de tronquer le périodogramme (en fait la séquence R) idée de moyenner le périodogramme (Welch)

Estimation


dsp du bruit blanc

Estimation > estimation de la dsp

0 0.2 0.4 0.6 0.8 1-40

-30

-20

-10

0

10

I(

ej2

)

N = 256 N = 4096

0 0.2 0.4 0.6 0.8 1-40

-30

-20

-10

0

10

I(e

j2

)

Introduction aux processus aléatoires : caractérisation et estimation

Documents

Transcript of Introduction aux processus aléatoires : caractérisation et estimation