Post on 07-Apr-2018
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
1/274
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
2/274
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
3/274
Processus stochastiques discrets
et filtrages optimaux
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
4/274
LAVOISIER, 2005LAVOISIER
11, rue Lavoisier75008 Paris
www.hermes-science.com
www.lavoisier.fr
ISBN 2-7462-1201-3
Tous les noms de socits ou de produits cits dans cet ouvrage sont utiliss des fins
didentification et sont des marques de leurs dtenteurs respectifs.
Le Code de la proprit intellectuelle n'autorisant, aux termes de l'article L. 122-5, d'une
part, que les "copies ou reproductions strictement rserves l'usage priv du copiste et non
destines une utilisation collective" et, d'autre part, que les analyses et les courtes citations
dans un but d'exemple et d'illustration, "toute reprsentation ou reproduction intgrale, ou
partielle, faite sans le consentement de l'auteur ou de ses ayants droit ou ayants cause, est
illicite" (article L. 122-4). Cette reprsentation ou reproduction, par quelque procd que ce
soit, constituerait donc une contrefaon sanctionne par les articles L. 335-2 et suivants du
Code de la proprit intellectuelle.
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
5/274
Processusstochastiques discrets
et filtrages optimaux
Jean-Claude Bertein
Roger Ceschi
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
6/274
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
7/274
A nos familles
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
8/274
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
9/274
TABLE DES MATIRES
Avant-propos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
Chapitre 1. Vecteurs alatoires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.1. Dfinitions et proprits gnrales . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151.2. Les espacesL1(dP) etL2(dP) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
1.2.1. Dfinitions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321.2.2. Proprits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
1.3. Esprance mathmatique et applications. . . . . . . . . . . . . . . . . . . . . . . . 351.3.1. Dfinitions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351.3.2. Fonctions caractristiques dun vecteur alatoire. . . . . . . . . . . . . . 45
1.4. Variables et vecteurs alatoires du second ordre . . . . . . . . . . . . . . . . . . 50
1.5. Indpendance linaire des vecteurs deL2
(dP) . . . . . . . . . . . . . . . . . . . . 571.6. Esprance conditionnelle (cas des vecteurs densit) . . . . . . . . . . . . . . 611.7. Exercices du chapitre 1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
Chapitre 2. Vecteurs gaussiens. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
2.1. Quelques rappels sur les variables alatoires gaussiennes . . . . . . . . . . . 712.2. Dfinition et caractrisation des vecteurs gaussiens. . . . . . . . . . . . . . . . 732.3. Rsultats relatifs lindpendance . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
2.4. Transformation affine dun vecteur gaussien . . . . . . . . . . . . . . . . . . . . 792.5. Existence des vecteurs gaussiens . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 812.6. Exercices du chapitre 2. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
10/274
8 Processus stochastiques et filtrages optimaux
Chapitre 3. Gnralits sur les processus temps discret . . . . . . . . . . . . . . . 99
3.1. Dfinition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 993.2. Processus stationnaires du deuxime ordre et mesure spectrale. . . . . . . 111
3.2.1. Densit spectrale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1113.3. Reprsentation spectrale dun processus stationnairedu deuxime ordre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
3.3.1. Problme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1153.3.2. Rsultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
3.3.2.1. Processus accroissements orthogonauxet mesure associe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
3.3.2.2. Intgrale stochastique de Wiener . . . . . . . . . . . . . . . . . . . . 1173.3.2.3. Reprsentation spectrale . . . . . . . . . . . . . . . . . . . . . . . . . . 1183.4. Gnralits sur le filtrage numrique . . . . . . . . . . . . . . . . . . . . . . . . . 1193.5. Exemple important : processus autorgressif . . . . . . . . . . . . . . . . . . . 1313.6. Exercices du chapitre 3. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
Chapitre 4. Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
4.1. Position du problme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1434.2. Estimation linaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
4.3. Meilleure estimation Esprance conditionnelle. . . . . . . . . . . . . . . . . 1564.4. Exemple : prdiction dun processus autorgressif AR (1) . . . . . . . . . . 1644.5. Processus multivaris . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1664.6. Exercices du chapitre 4. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
Chapitre 5. Le filtre de Wiener . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
5.1. Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1795.1.1. Position du problme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
5.2. Rsolution et calcul du filtreFinite Impulse Response (FIR) . . . . . . . . 1815.3. Evaluation de lerreur minimale . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1825.4. Rsolution et calcul du filtreInfinite Impulse Response (IIR) . . . . . . . . 1845.5. Evaluation de lerreur minimale . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1875.6. Exercices du chapitre 5. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
Chapitre 6. Filtrage adaptatif : algorithme du gradient et du LMS . . . . . . 193
6.1. Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1936.2. Position du problme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1956.3. Reprsentation des donnes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1966.4. Minimisation de la fonction cot . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
6.4.1. Calcul du cot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2006.5. Algorithme du gradient. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
11/274
Table des matires 9
6.6. Estimation du gradient et algorithme LMS . . . . . . . . . . . . . . . . . . . . . 2056.7. Interprtation gomtrique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207
6.8. Stabilit et convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2116.8.1. Convergence de lalgorithme du LMS . . . . . . . . . . . . . . . . . . . . 215
6.9. Exemple dapplication de lalgorithme LMS . . . . . . . . . . . . . . . . . . . 2156.10. Exercice du chapitre 6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
Chapitre 7. Le filtre de Kalman . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
7.1. Position du problme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2257.2. Approche de lestimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
7.2.1. Cas scalaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2287.2.2. Cas multivari . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
7.3. Filtrage de Kalman. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2327.3.1. Equation dtat. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2327.3.2. Equation dobservations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2337.3.3. Processus dinnovation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2347.3.4. Matrice de covariance du processus dinnovation . . . . . . . . . . . . 2357.3.5. Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
7.3.6. Equation de Riccati . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2447.3.7. Algorithme et rsum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2467.3.8. Equations du filtre de Kalman dans le cas non linaire. . . . . . . . . 247
7.4. Exercices du chapitre 7. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248
Annexes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255
Table des symboles et notations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
Bibliographie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
12/274
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
13/274
AVANT-PROPOS
Le filtrage optimal discret appliqu aux signaux stationnaires et non stationnaires
permet de traiter de la manire la plus efficace possible, au sens du critre choisi,
tous les problmes que lon peut rencontrer dans les situations dextraction de
signaux bruits.
Il constitue la brique lmentaire ncessaire dans les domaines les plus divers :
calcul des orbites ou de guidages daronefs dans le domaine arospatial ouaronautique, calcul de filtres dans le domaine des tlcommunications ou dans le
domaine de la commande des systmes ou encore dans celui des traitements de
signaux sismiques, la liste est non exhaustive.
De plus, ltude et les rsultats obtenus sur des signaux discrets permet une
implmentation trs facile sur calculateur.
Dans leur ouvrage, les auteurs ont eu le souci permanent de la pdagogie et ils
lont souvent prfre lrudition ; tous les prliminaires mathmatiques etprobabilistes utiles la bonne comprhension du filtrage optimal ont t traits de
faon rigoureuse. Il ne sera pas toujours ncessaire davoir recours dautres
ouvrages pour acqurir une bonne connaissance des sujets tudis.
Grce cet ouvrage, le lecteur pourra non seulement comprendre le filtrage
optimal discret mais pourra de plus approfondir aisment les diffrents aspects de ce
large domaine.
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
14/274
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
15/274
INTRODUCTION
Cet ouvrage a pour but de prsenter les bases du filtrage optimal discret dune
manire progressive et rigoureuse.
Le caractre optimal sentend au sens o nous choisissons toujours le critre qui
minimise la norme L2 de lerreur.
Le premier chapitre aborde lesvecteurs alatoires, ses principales dfinitions etproprits.
Le second chapitre traite des vecteurs gaussiens. Etant donn limportance
pratique de cette notion, les dfinitions et rsultats sont accompagns de nombreux
commentaires et schmas explicatifs.
Le troisime chapitre, Gnralits sur les processus temps discrets , est de
nature plus physique que les prcdents et peut tre considr comme une
introduction au filtrage numrique. Les rsultats essentiels pour la suite serontdonns.
Le chapitre 4, Estimation , nous apporte les briques essentielles la
construction des filtres optimaux. Les rsultats obtenus sur les projections dans les
espaces de Hilbert constituent la clef de vote des dmonstrations venir.
Le chapitre 5 traite du filtre de Wiener, dispositif lectronique bien adapt au
traitement des signaux stationnaires du second ordre. Des calculs pratiques de tels
filtres, rponse impulsionnelle finie ou infinie, seront dvelopps.
Le filtrage adaptatif, qui est le sujet trait au chapitre 6, peut tre considr
comme une application assez directe de la mthode du gradient dterministe ou
stochastique. Au bout du processus dadaptation ou de convergence, nous retrouvons
le filtre de Wiener.
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
16/274
14 Processus stochastiques et filtrages optimaux
Louvrage sachve avec ltude du filtrage de Kalman qui permet le traitement
des signaux stationnaires ou non stationnaires ; on peut dire que de ce point de vue,
il gnralise le filtre optimal de Wiener.
Chaque chapitre est ponctu par une srie dexercices corrigs et des exemples
rsolus sont galement fournis en utilisant le logiciel Matlab bien adapt auxproblmes de traitement de signaux.
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
17/274
CHAPITRE 1
Vecteurs alatoires
1.1. Dfinitions et proprits gnrales
On rappelle que ( )
{ }1,..., ; 1 a
nn j x x x x j n= = =! ! , lensemble des
n-uples rels peut tre muni de deux lois :( )
, et ,
n n n n n
y x y x x
+
! ! ! ! ! !
qui en font un espace vectoriel de dimension n.
La base implicitement considre sur n! sera la base canonique
( ) ( )1 1, 0,..., 0 ,..., 0,..., 0,1 etn
ne e x= = ! exprim dans cette base sera not :
1
x
xn
x
=
" (ou ( )1,...,T
nx x= ).
Dfinition dun vecteur alatoire rel
On dit que le vecteur rel 1
n
X
X
X
=
" li un phnomne physique, biologique, etc.,
est alatoire si la valeur prise par ce vecteur est inconnue, tant que le phnomne nesest pas ralis.
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
18/274
16 Processus stochastiques et filtrages optimaux
Pour des raisons typographiques, le vecteur sera plutt crit ( )1,...,T
n X X X =
ou mme ( )1,..., n X X X = quand aucune confusion ne sera craindre.
Autrement dit, tant donn un vecteur alatoire X et n ! on ne sait pas silassertion (appel vnement) ( )X est vraie ou fausse
n!
.
Par contre, on connat en gnral la chance pour que X ; celle-ci estnote ( )X B et est appele probabilit de lvnement ( )X .
Aprs la ralisation du phnomne, le rsultat (appel aussi ralisation) sera not
( )1
1ou ,...,
x
x
Tn
n
x x x x
= =
" ou mme ( )1,..., n x x x=
quand aucune confusion ne sera craindre.
Voici maintenant la dfinition rigoureuse dun vecteur alatoire rel dedimension n . On se donne :
= espace fondamental. Cest lensemble de tous les rsultats possibles(ou preuves) lis un phnomne alatoire ;
a = une tribu (dvnements) sur . On en rappelle les axiomes :
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
19/274
Vecteurs alatoires 17
1) a ,
2) si a alors le complmentairec
A a ,3) si ( ),j j J est une famille dnombrable dvnements j
j J est un
vnement, cest--dire jj J
A a
;
n =! espace des observables ;
( )n =!B tribu borlienne sur n! ; cest la plus petite tribu sur n! qui
contient tous les ouverts de n! .
DFINITION. On dit que X est un vecteur alatoire rel de dimension n dfini sur
( ),a si X est une application ( ) ( )( ), ,n na ! !B mesurable, cest--dire :
( ) ( )1 .n a !B
Quand 1n = , on parlera de variable alatoire ou plus rapidement de v.a.
Dans la suite lvnement ( )1 est not galement ( ){ }X B etmme plus simplement ( )X B .
PROPOSITION. Pour que X soit un vecteur alatoire rel de dimension n (cest--
dire une application ( ) ( )( ), ,n na ! !B mesurable), il faut et il suffit quechaque composante 1 j j n = soit une v.a. relle (cest--dire soit une
application ( ) ( )( ), ,a R RB mesurable).
DMONSTRATION ABRGE. Il suffit de considrer :
( ) ( )1 o1 1... ,...,n n RB
car on montre que ( ) ( ) ( )...n = ! R RB B B est gale la tribu engendre parles pavs mesurables 1 ... n .
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
20/274
18 Processus stochastiques et filtrages optimaux
Or ( ) ( ) ( )1 1 11 1 1... ...n n n X X X = ,
qui appartient a si et seulement si chaque terme appartient a , cest--dire sichaque jX est une v.a. relle.
DFINITION. On dit que 1 2 X X iX = + est une variable alatoire complexe dfinie
sur ( ),a si les parties relles et imaginaires et1 2X X sont des variables relles,cest--dire si les variables alatoires et1 2X X sont des applications
( ) ( )( ), ,Ba ! ! mesurables.
PAR EXEMPLE. A un vecteur alatoire rel ( )1,..., n X X X = et un n-uple rel
( )1,...,n
nu u u= ! , on peut associer la v.a. complexe :
j
cos sinj j
j
i u X
j j j j
j
e u X i u X
= +
Ltude de cette variable alatoire sera reprise quand nous dfinirons lesfonctions caractristiques.
Loi
Loi X du vecteur alatoire X.
On suppose dabord que la tribu a est munie dune mesure P, cest--diredune application P : [ ]0,1a vrifiant :
1) ( ) 1P =
2) Pour toute famille ( ),j j J dvnements 2 2 disjoints :
( )j jj J j J P A P A
=
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
21/274
Vecteurs alatoires 19
DFINITION. On appelle loi du vecteur alatoire X, la mesure image XP de P
par lapplication X , cest--dire la mesure dfinie sur ( )n
!B de la faonsuivante : ( )n !B
( ) ( ) ( )( )
( )( ) ( )
11
Dfinition
,..., X X n P dP x x P X B
P X P X
= =
= =
Les termes 1 et 2 dune part et les termes 3, 4 et 5 dautre part sont des notationsdiffrentes de la mme notion mathmatique.
( )nB !B( )1X B a
n!
Figure 1.1.Application mesurable X
Il faut bien noter que la mesure P tant donne sur a , ( )XP est calculable
pour tout ( )n !B parce queXest mesurable.
Lespace n! muni de la tribu ( )n!B et ensuite de la loi XP est not :
( )( ), ,n n XP! !B
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
22/274
20 Processus stochastiques et filtrages optimaux
REMARQUE. Sur la dfinition nave et sur la dfinition rigoureuse : la dfinitionnave des vecteurs alatoires est videmment beaucoup plus simple et plus intuitive
et lon peut sen contenter dans les applications lmentaires du calcul desprobabilits.
Par contre dans les tudes plus thoriques ou plus sophistiques et notammentdans celles faisant intervenir plusieurs vecteurs alatoires, , , ,... X Y Z , considrer ces
derniers comme des applications dfinies sur le mme espace ( ),a ,
( ) ( )( )( )soit X,Y,Z, ... : , ,n na ! !B
se rvlera souvent utile voire mme indispensable.
n!
( )Y
( )Z
Figure 1.2. Famille dapplications mesurables
En effet, via lespace ( ), ,Pa , les expressions et calculs faisant intervenir
plusieurs (ou lensemble) de ces vecteurs scrivent sans ambigut. Prcisment, lesvnements lis , , , ... X Y Z sont des lments A de a (et les probabilits de cesvnements sont mesurs parP).
Donnons deux exemples :
1) soit deux vecteurs alatoires ( ) ( )( ), : , , ,n n X Y P a ! !B et soit
( )et nB B !B . Lvnement
( ) ( ) B Y B (par exemple) se traduit
par ( ) ( )1 1 X B Y B a ;
2) soit 3 v.a. ( ) ( )( ), , : , , , X Y Z P a ! !B et soit *a + ! .
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
23/274
Vecteurs alatoires 21
Cherchons exprimer lvnement ( )Z a X Y .
Posons ( ) ( ){ }3et, , , , x + y + zU X Y Z B x y z a= = !
B Borlien de 3! , reprsente le demi espace dlimit par le plan ( ) necontenant pas lorigine 0 et sappuyant sur le triangle B C.
0
( )A a
( )B a
( )C a
Figure 1.3. Exemple de Borlien de3!
Uest ( ) ( )( )3 3, ,a ! !B mesurable et :
U ( ) ( ) ( )1Z a X Y U B U B a = = .
REMARQUE SUR LESPACE ( ), ,Pa . On a dit que lon se donnait et puis a
sur et puis P sur a et quensuite, on considrait les vecteurs , , ,...Y Z comme des applications mesurables :
( ) ( )( ), , ,n nPa ! !B
Cette faon dintroduire les diffrents concepts est la plus simple apprhender,mais elle correspond rarement aux problmes probabilistes rels.
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
24/274
22 Processus stochastiques et filtrages optimaux
En gnral ( ), ,Pa nest pas prcis ou bien donn antrieurement
, , , ...Y Z applications mesurables . Au contraire, tant donnes des grandeursalatoires physiques, biologiques , , , ...Y Z de n! , cest en partant de ces
dernires que lon introduit simultanment ( ), ,Pa et , , , ... X Y Z applications
mesurables dfinies sur ( ), ,Pa . ( ), ,Pa est un espace artificiel destin servir de lien entre , , , ... X Y Z
Ce qui vient dtre expos peut sembler bien abstrait mais heureusement les
vecteurs alatoires gnraux comme ils viennent dtre dfinis sont rarement utilissdans la pratique.
En tout cas et en ce qui nous concerne, nous naurons dans la suite manipulerque la notion beaucoup plus particulire et plus concrte de vecteur alatoire densit .
DFINITION. On dit que la loi XP du vecteur alatoire X est densit si il existe
une application ( )( ) ( )( ): , ,n n
Xf
! ! ! !B B mesurable positive appeledensit de XP telle que : ( )nB !B .
( ) ( ) ( ) ( )1 1 1,..., ,..., ,..., X X n X n nB B
P X B P B dP x x f x x dx dx = = =
VOCABULAIRE. On crit parfois ( ) ( )1 1 1,..., ,..., ,..., X n X n ndP x x f x x dx dx=
et on dit aussi que la mesure XP admet la densit Xf par rapport la mesure deLebesgue sur n! . On dit aussi que le vecteur alatoire admet la densit Xf .
REMARQUE. ( ) ( )1 1,... ,... 1n X n nB f x x dx dx P X = = ! .
Soit par exemple le vecteur alatoire ( )1 2 3, ,X X X = de densit
( ) ( )1 2 3 3 1 2 3, , 1 , ,Xf x x x K x x x x= o est la demi-sphre dfinie par2 2 2 21 2 3 x x R+ + avec 3 0x .
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
25/274
Vecteurs alatoires 23
On obtient facilement par un passage en coordonnes sphriques :
43 1 2 31 4
R Kx dx dx dx K
= = do 44K R
= .
Marginales
Soit le vecteur alatoire1
n
X
X
=
" de loi XP et de densit de probabilit
Xf .
DFINITION. La v.a. , imej j composante de , sappelleimej marginale de
et la loijX
P de j sappelle loi de laime
j marginale.
Si on connat XP , on sait trouver les lois jXP .
En effet ( )B !B .
( ) ( ) ( ) ( )1 ... ... j j nP X B P X X B X = = ! !
( ) 1 1 2... ... ,..., ,..., ... ... X j n n
B f x x x dx dx dx
! !
par le thorme de Fubini :
( )1 1 1sauf
,..., ,..., ...n j X j n n
B
j
dx f x x x dx dx
dx
= ! $%&%'
Lgalit ayant lieu pour tout B , on obtient :
( ) ( )1 1 1sauf
,..., ,..., ...nj X j X j n n
j
f x f x x x dx dx
dx
= ! $%&%' .
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
26/274
24 Processus stochastiques et filtrages optimaux
ATTENTION. Rciproquement, sauf dans le cas des composantes indpendantes, laconnaissance des X
j
P / celle de XP .
EXEMPLE. Considrons :
1) Un couple gaussien ( ),T Z X Y = de densit de probabilit :
( )2 21
, exp2 2Z
y f x y
+=
.
On obtient les densits des marginales :
( ) ( )21
, exp22
X z f x f x y dy
+
= =
et
( ) ( )21
, exp22
Y zy
f y f x y dx
+
= =
.
2) Un deuxime couple alatoire (non gaussien) ( ),TW U V= dont la densit
de probabilit Wf est dfinie par :
( ) ( ) ( ), 2 , si 0 , 0 si 0W Z W f u v f u v uv f u v uv= = < .
Calculons les marginales
( ) ( ) ( )
( )
, 2 , si 0
2 , si 0
U W Z
Z
f u f u v dv f u v dv u
f u v dv u
+ +
+
= =
= >
Do facilement ( )21 exp
22U
uf u
=
.
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
27/274
Vecteurs alatoires 25
Et symtriquement ( )21
exp
22
Vv
f v
=
.
CONCLUSION. On voit bien sur cet exemple que les densits marginales (elles sontidentiques en 1 et 2) ne dterminent pas les densits des vecteurs (elles sontdiffrentes en 1 et 2).
Fonction de rpartition
DFINITION.On appelle fonction de rpartition du vecteur alatoire( )1,...,
TnX X= lapplication :
( ) ( )
[ ]
1 1
0,1
: ,..., ,...,n
X n X n F x x F x x
!
dfinie par :
( ) ( )( ) ( )1 1 1,..., ... X n n nF x x P X x X x=
et sous forme intgrale puisque est un vecteur densit :
( ) ( )11 1 1,..., ,.., ..x xn
X n X n n F x x f u u du du = ( .
Quelques proprits usuelles : 1 n = lapplication ( )1,..., j X n x F x x est non dcroissante ;
( )1,...,X n F x x quand toutes les variables jx ;
( )1,..., 0X n F x x si lune au moins des variables jx ;
si( ) ( )1 1,..., ,...,n X n x x f x x est continue, alors1...
nX
X
n
Ff
x x
=
.
EXERCICE. Dterminer la fonction de rpartition du couple ( ),Y de densit
( ), f x y K xy= sur le rectangle [ ] [ ]1,3 2, 4 = et prciser la valeur de .K
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
28/274
26 Processus stochastiques et filtrages optimaux
Indpendance
DFINITION. On dit quune famille de v.a. : 1 ,..., nX X est une famille indpendante
si { }1,2,...,J n et pour toute famille de ( )jB !B :
( ) ( ) j j j jj J
j J
P X B P X B
=
Comme ( )! !B , il est ais de vrifier en galant certains borliens ! , que
la dfinition de lindpendance est quivalente la suivante :
( ) ( ) ( )11
:n n
j j j
jj
B P X B P X B
==
=
! j jB
encore quivalente :
( ) ( ) ( )11
...n
j n j
j
B P X B B P X B
=
= ! jB
Cest--dire en introduisant les lois de probabilits :
( ) ( ) ( )11
...j
n
j X n X
j
B P B B P B
=
= ! jB .
REMARQUE. Cette dernire galit est la dfinition de la loi de probabilit XP
(dfinie sur ( ) ( ) ( )...n = ! ! !B B B ) est le produit (tensoriel) des loisde probabilits
jXP (dfinies sur ( )!B ).
Ce quon crit symboliquement1
... X X X n P P P = .
ATTENTION. Soit 1,..., nX une famille de v.a. Si cette famille est indpendante,les v.a. sont indpendantes 2 2, mais la rciproque est fausse.
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
29/274
Vecteurs alatoires 27
PROPOSITION.Soit ( )1,..., nX X= un vecteur alatoire rel admettant la
densit de probabilit Xf et les composantes 1 ,..., nX admettant les densits
1,...,X Xnf f .
Pour que la famille des composantes soit une famille indpendante, il faut et il suffitque :
( ) ( )11
,...,j
n
X n X j
j
f x x f x
=
= .
DMONSTRATION. Dans le cas simplifi o Xf est continue :
si( )1,..., nX X est une famille indpendante :
( ) ( ) ( ) ( )11 11
,...,n n n
X n j j j j X jj
j jj
F x x P X x P X x F x
= ==
= = =
en drivant les deux membres extrmes :
( )( ) ( )
( )111 1 1
,...,,...,
... j
n nnX jjX n
X n X jn jj j
F x F x x f x x f x
x x x= =
= = =
;
rciproquement si ( ) ( ) :11
,...,j
n
X n X j
j
f x x f x
=
=
soit ( )jB !B pour 1 j n= :
( ) ( )
( ) ( ) ( )
1 11 1 1
1 1 11
,..., ...nn
n j j j X n nBj jJ j
n n n
n X j j X j j j j
jjB Bjj j j jj
P X B P X B f x x dx dx
f x dx f x dx P X B
= = =
= = ==
= =
= = =
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
30/274
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
31/274
Vecteurs alatoires 29
( )1,..., nX X= possde une densit de probabilit ( )1,...,X n f x x . La
mthode pour obtenirP(Ingalit) consiste dterminer ( )B !nB vrifiant( )1,..., n X X B .
On a alors : ( )1 1(Ingalit) ,..., ... X n nB
P f x x dx dx= .
EXEMPLES.
1) ( ) ( )( ) ( )1 2 1 2 1 2 1 2, ,XB
P X X z P X X B f x x dx dx+ = =
o ( ){ }2,B x y x y z = + !
z
x
0
y
2) ( ) ( )( )
( )
1 2 3 1 2 3
1 2 3 1 2 3
, ,
, ,XB
P X X a X P X X X B
f x x x dx dx dx
+ =
=
x
C
By
0
z
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
32/274
30 Processus stochastiques et filtrages optimaux
est le1
2
espace contenant lorigine 0 et limit par le plan sappuyant sur le
triangle A B C et dquation x y z a+ + = .
3) ( )( ) ( )( )
( )
1 2 1 2
1 2 1 2
Max ,
,XB
P X X z P X X B
f x x dx dx
+ =
=
o B est le domaine non hachur ci-contre.
z
z
x0
y
En partant de lexemple 1) nous allons montrer la :
PROPOSITION. Soit et Y deux v.a. relles indpendantes de densits de
probabilits respectives Xf et Yf .
La v.a. Z X Y = + admet une densit de probabilit Zf dfinie par :
( ) ( ) ( ) ( ) ( ) Z X Y X Y f z f f z f x f z x dx+
= = .
DMONSTRATION.Partons de la fonction de rpartition de Z.
( ) ( ) ( ) ( )( )
( ) ( ) ( )
(o est dfini dans l'exemple 1) ci-avant)
(Indpendance)
,
,
Z
X YB B
B
F z P Z z P X Y z P X Y B
f x y dx dy f x f y dx dy
= = + =
= =
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
33/274
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
34/274
32 Processus stochastiques et filtrages optimaux
Posons Z X Y = + :
Pour ( )0 0Z z f z = .
Pour 0z
( ) ( ) ( ) ( ) 20
z z x z Z X Y f z f x f z x dx e dx ze
+
= = =
et( ) [ [ ( )
2
0,1z
Z f z z e z
= .
1.2. Les espaces ( )1 L dP et ( )2 L dP
1.2.1. Dfinitions
La famille des v.a. ( ):X X
( ) ( )( ), ,,Pa ! !B
forme un espace vectoriel sur ! , not .
Deux sous-espaces vectoriels de jouent un rle particulirement important ;nous les dfinissons.
Les dfinitions seraient en fait laboutissement de la construction de lintgrale
de Lebesgue des applications mesurables, mais cette construction ne sera pas donneici et on pourra sans inconvnient sen passer dans la suite.
DFINITION. On dit que deux variables alatoires etX dfinies sur ( ),a sont gales presque srement et on crit X X= p.s. si 'X X= saufventuellement sur un vnement N (N lment de a) de probabilit nulle
( )( )c'est--dire et 0 N P N a = .
On note :
X =+ {classe (dquivalence) des v.a. X gales presque srement X} ;
O =+ {classe (dquivalence) des v.a. gales presque srement 0 }.
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
35/274
Vecteurs alatoires 33
Nous pouvons maintenant donner la :
dfinition de ( )1
L dP espace vectoriel de variables alatoires du premierordre ;
et celle de ( )2 L dP espace vectoriel de variables alatoires du secondordre :
( ) ( ) ( ){ }( ) ( ) ( ){ }
1
2 2
v. a.
v. a.
L dP X X dP
L dP X X dP
= <
= <
o, dans ces expressions, les v.a. sont bien dfinies un vnement de probabilit
nulle prs, ou bien : les v.a. sont des reprsentants quelconques des classes + ,car, par construction les intgrales des v.a. ne sont pas modifies si on modifie cesdernires sur des vnements de probabilits nulles.
Remarque sur lingalit ( ) ( ) X dP < .
Introduisant les deux variables alatoires positives :
( ) ( )Sup et Sup0 0, , X X X X + = =
On peut crire et X X X X X + + = = + .
Soit ( )1 L dP , on a donc :
( ) ( ) ( ) ( )
( ) ( )
et
.
X dP X dP
X dP
+
< <
<
Donc, si ( )1 L dP , lintgrale :
( ) ( ) ( ) ( ) ( ) X dP X dP X dP +
=
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
36/274
34 Processus stochastiques et filtrages optimaux
est dfinie sans ambigut.
REMARQUE. ( ) ( )2 1 L dP L dP
En effet, soit ( )2 L dP , daprs lingalit de Schwarz :
( ) ( )( ) ( ) ( )2
2
1
X dP X dP dP
< $%&%'
EXEMPLE. Soit une v.a. gaussienne (densit2
1 1exp
22
x m
).
Elle appartient ( )1 L dPet ( )2 L dP.
soit Y une v.a. de Cauchy : (densit( )2
11 +
).
Elle nappartient pas ( )1 L dP et elle nappartient donc pas ( )2 L dP nonplus.
1.2.2. Proprits
1) ( )1 L dPest un espace de Banach ; nous nutiliserons pas cette propritdans la suite ;
2) ( )2 L dP est un espace de Hilbert. On donne ici les proprits sansdmonstration.
*On peut munir
( )
2 L dP du produit scalaire dfini par :
( ) ( ) ( ) ( )2, < X,Y > = X Y L dP X Y dP
.
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
37/274
Vecteurs alatoires 35
Cette expression est bien dfinie car daprs lingalit de Schwarz :
( ) ( ) ( ) ( ) ( ) ( ) ( )2 2 2 X Y dP X dP Y dP
<
et les axiomes du produit scalaire sont immdiats vrifier.
* ( )2 L dP est un espace vectoriel norm par :
( ) ( )2
, X X X X dP = < > = .
Il est facile de vrifier que :
( )2,Y L dP X Y X Y + +
( )2 et L dP X X =!
En ce qui concerne le dernier axiome :
si ;0 0X X= =
si ( ) ( )( ) ( )2 p.s. ou0 0 0 X X dP X X = = = = ++
* ( )2 L dP est un espace complet pour la norme . dfinie ci-avant. (Toute
suite de Cauchy n converge vers une de ( )2 L dP).
1.3. Esprance mathmatique et applications
1.3.1. Dfinitions
On considre un vecteur alatoire gnral (non ncessairement densit) :
( ) ( ) ( )( ),, ..., : , ,1n n
X X X P n a= ! !B .
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
38/274
36 Processus stochastiques et filtrages optimaux
On se donne par ailleurs une application mesurable :
( )( ) ( )( ): , ,n ! ! ! !nB B
, (note aussi ( ) ( )1ou ,..., nX X ) est une application mesurable
(donc une v. a.) dfinie sur ( ), a .
DFINITION. Sous lhypothse
( )
1 X L dP , , on appelle esprance
mathmatique de la valeur alatoire , lexpression ( ) , dfinie par :
( ) ( ) ( ) ( ) E X X dP
= , ,
ou, pour rappeler que est un vecteur :
( )( ) ( ) ( )( ) ( )1 2 1,..., ,..., n E X X X X dP = .
REMARQUE. Cette dfinition de lesprance mathmatique de , est bienadapte aux problmes gnraux ou orientation thorique ; en particulier, cest en
utilisant celle-ci que lon construit ( )2 L dPlespace de Hilbert des v.a. dudeuxime ordre.
En pratique cependant, cest la loi XP (image de la mesureP par lapplication) et non P que lon connat. On veut donc utiliser la loi XP pour exprimer
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
39/274
Vecteurs alatoires 37
( )E X , , on dit que lon transfert le calcul de ( )E X , de lespace
( ), ,Pa lespace ( )( ), ,n n XP! !B .
Pour simplifier lcriture dans le thorme qui suit (et comme souvent dans la
suite) ( ) ( )1 1 1et,..., , ,..., ...n n n X x x dx dx seront souvent nots respectivement
et ., X x dx
Thorme de transfert
Supposons ( )1 L dP , , on a alors :
1) ( ) ( ) ( ) ( ) ( ) ( )Xn E X X dP x dP x = = !, , En particulier si XP admet une densit Xf :
( ) ( ) ( )Xn E X x f x dx =
!, et ( )XE X x f x dx
=
! ;
2) ( )1 X L dP
DMONSTRATION.
lgalit du 2) est vraie si 1B = avec ( )B !nB car
( ) ( ) ( )( ) ( ) ( ) ( )
11
B X
B X X n n
E X E X P B x dP x x dP x
= =
= = ! !, ,
lgalit est encore vraie si est une fonction tage cest--dire si
1
1m
j Bj
j
=
= o les ( )njB !B et sont disjoints 2 2.
On a en effet :
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
40/274
38 Processus stochastiques et filtrages optimaux
( ) ( ) ( )
( ) ( ) ( ) ( )
( ) ( )
1 1
1 1
1
1 1
j
m m
j B j X j
j j
m m
n n j B X j B X j j
j j
n X
X X P B
x dP x x dP x
x dP x
= =
= =
= =
= =
=
! !
!
, ,
Supposons maintenant que soit une fonction mesurable positive, on sait
quelle est limite dune suite croissante de fonctions tages positives P .
On a donc( ) ( ) ( ) ( )
avec
P p X n
P
x dP x
=
!,
-
p , est galement une suite croissante positive qui converge vers ,
et en prenant les limites des deux membres quand p , on obtient daprs lethorme de la convergence monotone :
( ) ( ) ( ) ( ) ( )XndP x dP x = !, .
Si est une application mesurable quelconque on utilise encore la
dcomposition et+ + = = + .
Il est par ailleurs clair que ( ) ( )et X X X + + = = , , , , .
Il vient :
( ) ( ) ( ) ( )E X E X E X E X E X + + = + = + , , , , , .
Cest--dire daprs ce qui prcde :
( ) ( ) ( ) ( ) ( ) ( )n X X X n ndP x x dP x x dP x+ = + = ! ! ! .
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
41/274
Vecteurs alatoires 39
Comme ( )1 , L dP , on en dduit que ( )1 X L dP (rciproquement
si ( )1 X L dP alors ( )1 X L dP , ).
En particulier ( ) ( )et E X E X +
, , sont finis, et
( ) ( ) ( )( ) ( ) ( ) ( )
( ) ( )
X Xn n
Xn
E X E X E X
x dP x x dP x
x dP x
+
+
=
=
=
! !
!
, , ,
REMARQUE. (qui prolonge la remarque prcdente) : Dans certains ouvrages lanotion de vecteur alatoire comme application mesurable , juge trop abstraitenest pas dveloppe.
Dans ce cas lintgrale
( ) ( ) ( ) ( )X Xn x dP x x f x dx =
!
(siX
P
admet la densit Xf ) est donne comme dfinition de ( )E X , .
EXEMPLES.
1) Soit le vecteur alatoire gaussien ( )1 2,T X X= de densit :
( ) ( )2 21 2 1 1 2 222 exp1 1 1, 22 1-2 1X f x x x x x x
= +
o ] [1,1 et soit lapplication ( ) 31 2 1 2: , x x x .
La condition :
( )( )3 2 21 2 1 1 2 2 1 222 exp1 1 22 12 1
x x x x x x dx dx
+ <
!
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
42/274
40 Processus stochastiques et filtrages optimaux
est facilement vrifie et :
( )( )23 3 2 21 2 1 2 1 1 2 2 1 222 exp
1 1 22 12 1
EX X x x x x x x dx dx
= +
!
2) Soit une variable alatoire de Cauchy de densit ( ) 21 1
1Xf x
x=
+
( )12 donc1 1
et
1
x dx X L dP EX
x
= +
+
!
nest pas dfinie.
Considrons ensuite la transformation qui consiste redresser et crter la v.a. X.
0 KK
x
K
Figure 1.4. Opration de redressement et dcrtage
( ) ( ) 2 2 21
1 1 1
K K
XK K
K KdP x x dx dx dx
x x x
= + +
+ + + !
( )2
1 2 2ln K K K
= + + <
Donc ( )1 L dP , et :
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
43/274
Vecteurs alatoires 41
( ) ( ) ( ) ( )21 22
X E X x dP x ln K K K +
= = + +
, .
DFINITION. Etant donnes np v.a. ( ) ( )11 , 1 dejK X j p k n L dP = = ,
on dfinit lesprance de la matrice
11 1
1
n
jk
pn
X X
X
X X
=
" "
(
par :
11 1
1
n
jk
p pn
EX EX
E X
EX EX
=
" "
(
.
En particulier : tant donn un vecteur alatoire :
( )( )1
1ou ,...,T
n
n
X X X X X
X
= =
" vrifiant ( )1 1j L dP j n =
On pose [ ] ( )( )1
1
2
ou ,...,T n
EX
E X E X EX EX
EX
= =
" .
Esprance mathmatique dune v.a. complexe
DFINITIONS. Etant donne une v.a. complexe 1 2X i X = + , on dit que :
( ) ( )1 11 2si et X X L dP X L dP .
Si ( )1 L dP on dfinit son esprance mathmatique par :
( ) 1 2 E X EX i EX = + .
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
44/274
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
45/274
Vecteurs alatoires 43
DMONSTRATION.
Soit :
( )1 L dy ( )( ) ( ) ( ) ( )1Yn E y y f y y dy = ! .
Par ailleurs :
( )( ) ( )( ) ( )( ) ( ) ( )1X DnY E X x f x x dx = = ! .
Par application du thorme du changement de variables dans les intgrales
multiples et en notant par ( )J y la matrice jacobienne de lapplication , ilvient :
( ) ( )( ) ( )Dtn X y f y J y dy= ! .
Finalement, lgalit :
( ) ( ) ( )
( ) ( )( ) ( ) ( )Dt
1
1
Yn
Xn
y f y y dy
y f y J y y dy
=
!
!
ayant lieu pour tout ( )1 L dy , on en dduit par le lemme de Haar la formule
cherche :
( ) ( ) ( )( ) ( ) ( )Dt1 1Y X f y y f y J y y = .
EN PARTICULIER. Soit est une v.a. et soit lapplication ( ): x x
D ! !
lgalit devient ( ) ( ) ( )( ) ( ) ( )1 1Y X f y y f y y y = .
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
46/274
44 Processus stochastiques et filtrages optimaux
EXEMPLE. Soit le couple alatoire ( ), Z X Y = de densit de probabilit :
( ) ( ) ] [ ] [2 2
21 1 o 1, 1,, ,Z Dx y
f x y x y D = = !
On se donne par ailleurs le 1C diffomorphisme :
dfini par :
( )/
( ) ( )( )
( )/
( ) ( )( )
1 2
1 2
: , , , ,
: , , , ,
D
D
x y u x y xy v x y x y
u v x u v uv y u v u v
= = = =
= = = =
$%%%%%%%%&%%%%%%%%'
$%%%%%%%%&%%%%%%%%'
( ) ( )3
2
1 1et
2 2, ,
1 v
v uu v
J u v Dt J u vu
uv v
= =
.
Le vecteur ( ), XW U X Y V Y= = = admet donc la densit de probabilit :
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
47/274
Vecteurs alatoires 45
( ) ( ) ( ) ( )( ) ( ) ( )
( ) ( )( ) ( )
1 2
2 2 2
, , , , , Dt , ,
1 1 1 1, ,2 2
1 1
1 1
W Zf u v u v f u v u v J u v u v
u v u vv u vuuv
v
=
= =
REMARQUE. Rciproquement le vecteur ( ),W U V= de densit de probabilit
( ) ( ), 1 ,Wf u v u v et dont les composantes sont dpendantes est transform par
en vecteur
( ), Z X Y = de densit de probabilit
( ) ( ), 1 ,
Z Df x y x y et dont
les composantes sont indpendantes.
1.3.2. Fonctions caractristiques dun vecteur alatoire
DFINITION. On appelle fonction caractristique du vecteur alatoire :
( )1...T
nX X= lapplication ( ) ( )1 2 1 2: ,..., ,...,X Xn
u u u u
0!dfinie par :
( )
( )
11
1 11
exp
exp
,...,
,... ...
n
X n j j
j
n
j j X n nn
j
u u E i u X
i u x f x x dx dx
=
=
=
=
!
(On a crit la dfinition de ( )1,..., n E X X avec :
( )11
exp,...,n
n j j
j
X i u X =
=
et on a appliqu le thorme sur lintgration par rapport la mesure image).
X est donc la transforme de Fourier de ( )( ) X X X f F f = .
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
48/274
46 Processus stochastiques et filtrages optimaux
En analyse on crirait plutt :
( ) ( ) ( )1 1 11
exp,..., ,..., ...n
u X n j j X n nnj
F f u u i u x f u dx dx=
=
! .
Quelques proprits usuelles de la transforme de Fourier :
( ) ( ) ( )1 2 1 1,... ,..., ... 0,...,0 1 X X n n X nu u f x x dx dx = =! ;
lapplication
( ) ( )1 2 1 2,..., ,...,
Xn
u u u u0!
est continue ;
lapplication : X XF f est injective.
Exemple trs simple :
Le vecteur alatoire prend ses valeurs dans lhypercube [ ]1,1n
= et il admet
une densit de probabilit :
( ) ( )1 11
2,..., ,...,1
n X n n f x x x x=
(noter que les composantes j sont indpendantes).
( ) ( )
( )
1 1 1 1
1
11 1
exp
expsin
1,..., ... ...
21
2
n n n nn
n nj
j j jnjj j
u u i u x u x dx dx
uiu x dx
u
+
= =
= + +
= =
o, dans cette dernire expression et grce aux prolongements par continuit, onremplace :
1 21 21 2
sin sinpar si par si1 0 , 1 0 ,...
u uu uu u= =
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
49/274
Vecteurs alatoires 47
Inversion de la transforme de Fourier
F1F
Xf X
On a, comme on le verra, de bonnes raisons (calculs simplifis) dtudiercertaines questions en utilisant les fonctions caractristiques plutt que les densitsde probabilits, mais on a souvent besoin de revenir aux densits ; le problme quise pose est celui de linversibilit de la transforme de FourierF, tudie dans les
cours spcialiss.
Rappelons simplement ici une condition suffisante :
PROPOSITION. Si ( )1 1,..., ... X n nn u u du du < !
(cest--dire ( )1 1...X n L du du ), alors1F existe et :
( )( )
( )1 1 11
exp1
,..., ,..., ...2
n
X n j j X n nnnj
f x x i u x u u du du =
=
!
En outre lapplication ( ) ( )1 1,..., ,...,n X n x f x x est continue.
EXEMPLE. Soit une v.a. gaussienne ( )2,X m .
Cest--dire que ( )2
exp1 1
22X
x mf x
=
et supposons 0
on obtient ( )2 2
exp2X
uu ium
=
.
Il est clair que ( ) ( ) ( ) ( )1 et exp12 X X X
L du f x iux u du
+
= .
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
50/274
48 Processus stochastiques et filtrages optimaux
Proprits et applications des fonctions caractristiques
1)Indpendance
PROPOSITION. Pour que les composantes j du vecteur alatoire
( )1,...,T
nX X= soient indpendants, il faut et il suffit que :
( ) ( )11
,...,n
X n X jj
j
u u u =
= .
DMONSTRATION.
Condition ncessaire :
( ) ( )1 1 11
,..., exp ,..., ...n
n
X n j j X n n
j
u u i u x f x x dx dx
=
=
! .
Grce lindpendance :
( ) ( )11 1 1
exp ...j
n nn
j j X j n X jn jj j j
i u x f x dx dx u
= = =
= =
! .
CONDITION SUFFISANTE. On part de lhypothse :
( )
( )
1 11
11
exp ,..., ...
exp ...
n
j j x n nnj
n
j j X j nn jj
i u x f x x dx dx
i u x f x dx dx
=
=
=
!
!
Do on dduit : ( ) ( )11
,...,n
X n X jj
j
f x x f x
=
= , cest--dire lindpendance,
puisque la transformation de Fourier Xf F X est injective.
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
51/274
Vecteurs alatoires 49
REMARQUE. On ne confondra pas ce rsultat avec celui qui concerne la somme dev.a. indpendantes et qui snonce de la manire suivante.
Si 1,..., nX sont des v. a. indpendantes alors ( ) ( )1
n
X Xj jj j
u u =
=
Soient par exemple n variables alatoires indpendantes :
( ) ( )2 21 1, ,..., ,n n X m X m
et soient n constantes relles 1,..., n .
La remarque nous permet de dterminer la loi de la valeur alatoire1
n
j j
j
=
.
En effet les v.a. j j sont indpendantes et :
( ) ( ) ( )2 2 2
2 2 2
12
1 1 1
12
j j j j
j j j
j j j j
j j
n n n iu m u
X X jX
j jj j j j
iu m u
u u u e
e
= = =
= = =
=
donc 2 21
,n
j j j j j j
j j j
X m =
.
2) Calcul des moments (jusquau 2e ordre par exemple)
Supposons ( )2 nX C ! .
En appliquant une fois le thorme de Lebesgue de drivation sous signe somme(dont les hypothses sont immdiates vrifier) il vient :
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
52/274
50 Processus stochastiques et filtrages optimaux
( )
( )( )
( )
1
1 1
0,..., 0
1 1
0, ..., 0
exp
1
,..., ...
,..., ...
n
X
X
K j j X n nn
ju u
K X n n K n
K n
u
ix i u x f x x dx dx
i x f x x dx dx i E X
= =
=
=
= =
!
!
Soit ( )0,...,0XKK
E X i u
= .
En appliquant ce thorme une deuxime fois, il vient :
( ) ( )2
et 1, 2, 0, ..., 0..., XKK
k n EX X u u
=
2 22 .
1.4. Variables et vecteurs alatoires du second ordre
Commenons par rappeler les dfinitions et proprits usuelles relatives auxvariables alatoires du 2e ordre.
DFINITIONS. Etant donn ( )2 L dP de densit de probabilit Xf ,2 et E X E X ont un sens. On appelle variance de lexpression :
( ) ( )2 22Var E X E X E X E X = = .
On appelle cart type de lexpression ( ) VarX = .
Soit maintenant deux v.a. ( )2et Y L dP . En utilisant le produit scalaire
,< > sur ( )2
L dP dfini en 1.2. on a :
( ) ( ) ( ), E X Y X Y X Y dP
= < > =
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
53/274
Vecteurs alatoires 51
et, si le vecteur ( ), Z X Y = admet la densit f , alors :
( )2 ,ZX Y xy f x y dx d = ! .
On a dj constat, en appliquant lingalit de Schwarz, que E X Y a bien un
sens.
DFINITION. Soit deux v.a. X, ( )2Y L dP on appelle covariance de et Y :
Lexpression ( )Cov ,Y E X Y E X E Y = .
Quelques remarques ou proprits faciles vrifier :
( )Cov , V ar X X=
( ) ( )Cov , Cov ,Y Y X=
si est une constante relle ( ) 2Var Var X X = ;
si etYsont deux v.a. indpendantes, alors ( )Cov , 0X Y = mais larciproque nest pas vraie ;
si 1,..., nX sont des v.a. 2 2 indpendantes
( )1 1Var ... Var X ... Var n nX X+ + = + +
Coefficients de corrlation
Les Var j (toujours positives) et les ( )Cov ,j KX (de signe quelconque)peuvent prendre des valeurs algbriques trs leves. On prfre parfois utiliser les coefficients de corrlation (normaliss) :
( ) ( )Cov ,,Var Var
j K
j K
X Xj k
X X =
dont voici les proprits :
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
54/274
52 Processus stochastiques et filtrages optimaux
1) ( ) [ ], 1,1j k
En effet : supposons (uniquement pour simplifier lcriture) que j et K
soient centres et considrons le trinme du 2e degr en .
( ) ( ) ( )2 2 2 22 0 j K j j K K E X X EX E X X E X = = +
( ) 0 ! si et seulement si le discriminant :
( )2 2 2
j K j K E X X E X E X =
est ngatif ou nul, soit ( )2
Cov Var Var , j K j K X X X (cest--dire
( ) [ ], 1,1j k ).
Ce qui est aussi lingalit de Schwarz.
On peut par ailleurs prciser que ( ), 1j k = si et seulement si 0 !
tel que 0K jX= p.s. : en effet en remplaant K par 0 j dans la
dfinition de ( ),j k , on obtient ( ), 1j k = .
Rciproquement, si ( ), 1j k = (par exemple), cest--dire si :
00 , = ! tel que 0K jX= p.s.
Si j et k ne sont pas centrs, on remplace dans ce qui prcde j par
j jX et k par k kE X
2) Si j et k sont indpendantes, j k j k E X X E X E X = donc
( )Cov , 0j kX X = et ( ), 0j k =
Mais la rciprocit est fausse dans le cas gnral comme le prouve lexemplesuivant.
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
55/274
Vecteurs alatoires 53
Soit une variable alatoire uniformment rpartie sur [ [0 , 2 cest--dire
( ) [ [ ( )0 , 2121f
= .
Soit aussi deux v.a. sinjX = et coskX = .
On vrifie facilement que , , j k j k E X E X E X X sont nuls donc
( )Cov ,j kX et ( ),j k sont nuls. Cependant2 2 1j kX X+ = et les v.a. j
et k sont dpendantes.
Vecteurs alatoires du second ordre
DFINITION. On dit quun vecteur alatoire ( )1,...,T
nX X= est du second
ordre si ( )2 1 j L dP j n = .
DFINITION. Etant donn un vecteur alatoire du second ordre
( )1,...,T
nX X= , on appelle matrice de covariance de ce vecteur, la matrice
symtrique :
( )
( )
1 1
1
Var Cov
Cov Var
,
,
n
X
n n
X X X
X X X
=
" "
(
Si on se reporte la dfinition de lesprance dune matrice de v.a., on voit que
lon peut crire ( ) ( )T
X E X E X X E X =
.
On constate aussi que X X X = .
REMARQUE. Variables et vecteurs alatoires complexes du second ordre : on ditquune variable alatoire complexe 1 2X i X = + est du second ordre si 1 et
( )22 X L dP .
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
56/274
54 Processus stochastiques et filtrages optimaux
La covariance de deux variables alatoires du second ordre et centres
1 2X i X = + et 1 2Y Y iY = + a pour dfinition naturelle :
( ) ( ) ( )
( ) ( )1 2 1 2
1 1 2 2 2 1 1 2
,
Cov X Y EXY E X i X Y iY
E X Y X Y iE X Y X Y
= = +
= + +
et la condition de dcorrelation est donc :
( ) ( )1 1 2 2 2 1 1 2 0E X Y X Y E X Y X Y + = =
.
On dit quun vecteur alatoire complexe ( )1,..., ,...T j n X X X = est dusecond ordre si pour tout ( ) 1 21,..., j j j j n X X iX = + est une variablealatoire complexe du second ordre.
La matrice de covariance dun vecteur alatoire complexe du second ordre etcentr est dfinie par :
21 1
21
n
X
n n
E X EX X
EX X E X
=
" "
(
Si lon ne craint pas les lourdeurs dcriture, on peut sans difficult crire ces
dfinitions pour des variables et vecteurs alatoires complexes non centrs.Revenons aux vecteurs alatoires rels.
DFINITION. On appelle matrice des moments du second ordre la matrice
symtrique TE X X . Si est centrT
X E X X = .
Transformation affine dun vecteur du 2e ordre
Notons par ( ),p n lespace des matrices p lignes et n colonnes.
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
57/274
Vecteurs alatoires 55
PROPOSITION.Soit ( )1,...,T
nX X= un vecteur alatoire de vecteur esprance
( )1,...,T nm m m= et de matrice de covariance X .
Soit par ailleurs une matrice ( ),A M p n et un vecteur certain
( )1,...,T
P B b b= .
Le vecteur alatoire Y AX B= + possde Am B+ pour vecteur esprance et
Y XA A = pour matrice de covariance.
DMONSTRATION.
[ ] [ ] [ ]Y E AX B E AX B Am B= + = + = + .
Et aussi par exemple :
( )E AX E X A m A = =
( ) ( )( )Y AX AX E A X m A X m
+ = = = =
( ) ( ) ( ) ( ) XE A X m X m A A E X m X m A A A = =
dans la suite, nous aurons aussi besoin du rsultat facile suivant.
PROPOSITION.Soit ( )1,...,T
nX X= un vecteur alatoire du 2e ordre, de
matrice de covariance .
Alors :
( )11
var,...,n
T nn X j j
j
=
= =
! .
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
58/274
56 Processus stochastiques et filtrages optimaux
DMONSTRATION.
( ) ( )( )( )
( )
, ,
22
,
Var
X j K j K j j K K j K
j K j K
j j j j j j j j j
j j j j
Cov X X E X EX X EX
E X EX E X E X X
= =
= = =
CONSQUENCE. n ! on a toujours 0 .
Rappelons ce propos ces dfinitions dalgbre :
si, 0T X > ( ) ( )1,..., 0,...,0n = , on dit que X estdfinie positive ;
si ( ) ( )1,..., 0,...,0n = tel que 0X = , on dit que X
est semi-dfinie positive.
REMARQUE. Dans cet ouvrage la notion de vecteur apparat dans deux contextesdiffrents et afin dviter certaines confusions, revenons, en insistant, sur quelquespoints de vocabulaire.
1) On appelle vecteur alatoire de n! (ou vecteur alatoire valeurs dans
n! ), tout n-uple de variables alatoires1
"
n
X
=
( ) ( )( )1 1ou ou meme,..., ,...,T
n n X X X X X = = .
est un vecteur en ce sens que pour chaque , on obtient un n-uple
( ) ( ) ( )( )1 ,..., n X X X = qui appartient lespace vectorieln
! .
2) On appelle vecteur alatoire du second ordre, tout vecteur alatoire den
! ( )1,..., nX X= dont toutes les composantes j appartiennent ( )
2 L dP.
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
59/274
Vecteurs alatoires 57
Dans ce contexte, les composantes j elles-mmes sont des vecteurs
puisquelles appartiennent lespace vectoriel ( )2
L dP.
Donc, dans la suite quand on parlera dindpendance linaire ou de produit
scalaire ou dorthogonalit, il faudra bien prciser quel espace vectoriel,n
! ou
( )2 L dP, on fait rfrence.
1.5. Indpendance linaire des vecteurs de ( )2 L dP
DFINITION. On dit que les n vecteurs 1,..., nX de ( )2 L dP sont linairement
indpendants si 1 1 10 p.s. 0... ...n n nX X + + = = = = (o ici, 0 est
le vecteur nul de ( )2 L dP).
DFINITION. On dit que les n vecteurs 1 2,..., X de ( )2 L dP sont linairement
dpendants si 21,..., n non tous nuls et un vnement A de probabilitpositive tel que ( ) ( )1 1 ... 0n nX A + + = .
En particulier : 1,..., nX seront linairement dpendants si 1,..., n non
tous nuls tel que 1 1 0... n nX X + + = p.s.
Exemples : soient les trois applications mesurables :
[ ] [ ]( ) ( )( )1 2 3, , : 0, 2 , 0,2 , , X X X d ! !B B
dfinies par :
( )
( )
( )
[ [
( ) ( )
( )
( )
[ [
11 1
2 2
3 3
sur 0,1 et sur 1, 2
2 2
3 2 5
X X e
X X
X X
= =
= = = = +
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
60/274
58 Processus stochastiques et filtrages optimaux
Figure 1.6. Trois variables alatoires
Les trois applications sont videmment mesurables et appartiennent ( )2L d ,
ce sont 3 vecteurs de ( )2
L d .
Ces 3 vecteurs sont linairement dpendants car sur [ [0,1A = de mesure de
probabilit1
2: ( ) ( ) ( )1 2 35 1 1 0 X X A + + = .
Matrice de covariance et indpendance linaire
Soit donc X la matrice de covariance de ( )1,..., nX X= vecteur du 2eordre.
1) Si X est dfinie positive :* *1 1 1,..., n n n X EX X X EX = = sont
alors des vecteurs linairement indpendants de ( )2 L dP.
En effet :
2
VarT X j j j j j j j j j
X E X E X
= =
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
61/274
Vecteurs alatoires 59
( )
2
0 j j j
j
E X EX = =
Cest--dire :
( ) p.s.0 j j jj
X EX =
Ce qui implique, puisqueX
est dfinie positive, que 1 0n
= = =(
On peut dire aussi que * *1 ,..., nX engendrent un hyperplan de ( )2 L dPde
dimension n que lon peut noter ( )* *1 ,..., nXH .
En particulier, si les v.a. 1 ,..., nX sont dcorreles 2 2 (donc a fortiori sielles sont stochatiquement indpendantes), on a :
21Var 0 0.
T
X j j n
j
X = = = = = (
donc dans ce cas X est dfinie positive et* *1 ,..., nX sont encore linairement
indpendantes.
REMARQUE. Si TE X X , la matrice des moments dordre 2, est dfinie positive
alors 1 ,..., nX sont des vecteurs linairement indpendants de ( )2 L dP.
2) Si maintenant X est semi-dfinie positive :
* *1 1 1 , . . . , n n n X EX X X EX = =
sont alors des vecteurs linairement dpendants de ( )2 L dP.
En effet :
( ) ( )1,..., 0,...,0n =
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
62/274
60 Processus stochastiques et filtrages optimaux
tel que : ( ) jj
Var 0T X jX
= =
Cest--dire :
( ) ( ) ( )1 tel que 00,...,0,..., n j j jj
X EX = = p.s.
Figure 1.7. Vecteur ( )X et vecteur
Exemple : on considre
1
2
3
X
=
un vecteur alatoire de 3! du 2e ordre,
admettant
3
1
2
m
=
pour vecteur esprance et
4 2 0
2 1 0
0 0 3X
=
pour matrice
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
63/274
Vecteurs alatoires 61
de Covariance. On constate que X est semi-dfinie positive. En prenant par
exemple ( )1, 2 , 0T
= on vrifie que ( ) 0T
X = . Donc Var
( ) * *1 2 3 1 2et p.s.2 0 0 2 0 X X X X X + = =
1.6. Esprance conditionnelle (cas des vecteurs densit)
Soit une v.a. relle et soit ( )1,..., nY Y Y= un vecteur alatoire rel. On
suppose que : et Ysont indpendants et que le vecteur( )1, ,..., nZ X Y Y = admet une densit de probabilit ( )1, ,...,Z n f x y y .
Dans ce paragraphe on emploiera selon les cas les notations ( )1,..., nY Y ou
( )1, ,..., nY y y ou y.
Rappelons pour commencer que ( ) ( ),Y Z f y f x y dx= !
.
Probabilit conditionnelle
On veut, pour tout ( )B !B et tout ( )1,...,n
ny y ! , dfinir et calculer la
probabilit pour que B sachant que 1 1,..., n nY y Y y= = .
On note cette quantit ( ) ( ) ( )( )1 1 .. n nP X B Y y Y y = = ou plussimplement ( )1,..., nP X B y y . Notons quon ne peut pas, comme le cas desvariables discrtes, crire :
( ) ( ) ( )( )( ) ( ) ( )( )
( ) ( )( )1 1
1 11 1
....
..
n n
n n
n n
P X B Y y Y yP X B Y y Y y
P Y y Y y
= = = = =
= =
Le quotient ici est indtermin et gale0
0
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
64/274
62 Processus stochastiques et filtrages optimaux
Pour 1j = n , posons , j j j h I y y + =
On crit :
( ) ( ) ( ) ( )( )
( ) ( ) ( )( )( ) ( )( )
( )
( )
( )
( )( )( )
1
1
1 1 10
1 1
0 1 1
1 1...
1 1...
lim
lim
,..., ..
..
..
, ,..., ...
,..., ...
, ,
n
n
n n nh
n n
hn n
Z n n B I I
y n nI I
ZB Z
BY Y
P X B y y P X B Y I Y I
P X B Y I Y I
P Y I Y I
dx f x u u du du
f u u du du
f x y dx f x ydx
f y f y
=
=
=
= =
Il est donc naturel de dire que la densit conditionnelle de la v.a. sachant( )1,..., ny y est la fonction :
( )( )( )
( )si 0,Z
Y
Y
f x y x f x y f y
f y =
! !
On peut ngliger lensemble des y pour lesquels ( ) 0Yf y = car il est demesure (dans n! ) nul.
Posons en effet ( ) ( ){ }, 0Yx y f y = = , on remarque :
( )( ) ( ) ( )( ){ }0
, , ,Y
Zy f y
P X Y f x y dx dy du f x u dx =
= = !
( )( ){ }0
0Yy f yY
f u du=
= = , donc ( )Yf y est non nul presque partout.
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
65/274
Vecteurs alatoires 63
Finalement, on a obtenu une famille (indicie par les y vrifiant ( ) 0Yf y > )
de densits de probabilits ( ) ( )( )1 f x y f x y dx =! .
Esprance conditionnelle
Soit toujours le vecteur alatoire ( )1, ,..., n Z X Y Y = de densit ( ),Z f x y et
( )f x y la densit de probabilit de sachant 1,..., ny y .
DFINITION. Etant donne une application mesurable
( )( ) ( )( ): , , ! ! ! !B B , sous lhypothse ( ) ( )x f x y dx < !
(cest--dire ( )( )1L f x y dx on appelle esprance conditionnelle de
( ) sachant ( )1,..., ny y lesprance de ( ) calcule avec la densit
conditionnelle
( ) ( )1,..., nf x y f x y y= et on crit :
( )( ) ( ) ( )1,..., nE X y y x f x y dx = ! .
( )( )1,..., n E X y y est une valeur certaine, fonction de ( )1,..., ny y , notons la
( )1 ,..., n g y y (cette notation prendra son sens dans le chapitre sur lestimation).
DFINITION. On appelle esprance conditionnelle de ( ) par rapport
( )1,..., nY Y Y= la v.a. ( ) ( )( )1 1 ,..., ,...,n ng Y Y E X Y Y = (note aussi
( )( ) E X Y qui prend la valeur ( ) ( )( )1 1 ,..., ,...,n ng y y E X y y= quand
( )1,..., nY Y prend la valeur ( )1,..., ny y .
REMARQUE. Comme on ne distingue pas deux v.a. gales p.s., on appellera encoreesprance conditionnelle de ( ) par rapport 1,..., nY Y toute v.a.
( )1 ,..., n g Y Y telle que ( ) ( )1 1 ,..., ,...,n ng Y Y g Y Y = p.s.
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
66/274
64 Processus stochastiques et filtrages optimaux
Cest--dire ( ) ( )1 1 ,..., ,...,n ng Y Y g Y Y = sauf ventuellement sur tel que
( ) ( ) 0Y P f y dy = = .
PROPOSITION. Si ( ) ( )1 L dP (cest--dire ( ) ( )X x f x dx < ! )
alors ( ) ( )( ) ( )1 g Y E X Y L dP = (cest--dire ( ) ( )n Yg y f y dy < ! .
DMONSTRATION.
( ) ( ) ( )( ) ( )
( ) ( ) ( )
n n
n
Y
Y
g y f y dy E X y f y dy
f y dy X f x y dx
=
=
! !
! !
Par le thorme de Fubini :
( ) ( ) ( ) ( ) ( )( ) ( ) ( ) ( )
1 1 ,,
n n
n
Y Z
Z X
x f y f x y dx dy x f x y dx dy
x dx f x y dy x f x dx
+ + =
= = <
! !
! ! !
Principales proprits de lesprance conditionnelle
Les hypothses dintgrabilit tant vrifies :
1)
2) Si et Y sont indpendants ( )( ) ( )( ) E X Y E X =
3) ( )( ) ( ) E X X X =
4) Conditionnements successifs
( )( )( ) ( )( )1 1 1 1,..., , ,..., ,...,n n n nE E X Y Y Y Y Y E X Y Y + =
5) Linarit
( ) ( )( ) ( )( ) ( )( )1 1 2 2 1 1 2 2E X X Y E X Y E X Y + = +
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
67/274
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
68/274
66 Processus stochastiques et filtrages optimaux
1.7. Exercices du chapitre 1
Enonc 1.1.
Soit une v.a. de fonction de rpartition
( )
2
0 si 0
1si 0 2
2
1 si
x
x
x
F x
>
>
! .
Dterminer la constante K et les densits Xf et Yf des v.a. et Y.
Enonc 1.3.
Soient et Y deux variables alatoires indpendantes et de densits
uniformes sur lintervalle [ ]0,1 :
1) Dterminer la densit de probabilit Zf de la v.a. Z X Y = + .2) Dterminer la densit de probabilit Uf de la v.a. U X Y= .
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
69/274
Vecteurs alatoires 67
Enonc 1.4.
Soient et Y deux v.a. indpendantes et de densits uniformes sur lintervalle[ ]0,1 . Dterminer la densit de probabilit Uf de la v.a. U X Y= .
Solution 1.4.
U prend ses valeurs dans [ ]0,1
Soit UF la fonction de rpartition de U :
si ( )0 0Uu F u = ; si ( )1 1Uu F u = ;
si ] [0,1u : ( ) ( ) ( ) ( )( ),U uF u P U u P X Y u P X Y B= = = o u B A B= est laire hachure de la figure.
Donc ( ) ( ) ( ) ( ) ( ), ,u u
U X YX YB B F u f x y dx dy f x f y dx dy= =
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
70/274
68 Processus stochastiques et filtrages optimaux
( )1 1
0
1ux
A u u
dxdx dy dx dy u u u nu
x
= + = + = 2
Finalement ( ) ( )] ] [ [
] [
si0 - ,0 1,
0,1
U U
x
x f u F u
nu
= =
2
Enonc 1.5.
On considre trois v.a. relles , ,Y Z indpendantes et de mme loi ( )0,1N ,
cest--dire admettant la mme densit21
22
x
.
Dterminer la densit de probabilit Uf de la v.a.r. ( )1
2 2 2 2U X Y Z = + + .
Solution 1.5.
Soit UF la fonction de rpartition de U :
si 0u ( ) ( )1
2 2 2 2 0UF u P X Y Z u
= + + =
si 0u > ( ) ( )( )U uF u P X Y Z S = + +
O uS est la sphre de3! centre en ( )0,0,0 et de rayon u
( ) ( )
( ) ( )3 22 2 2
, ,
1
2
1exp 2
, ,u
u
X Y ZS
S y z dx dy dz
f x y z dx dy dz
+ +
=
=
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
71/274
Vecteurs alatoires 69
et en utilisant un passage en coordonnes sphriques :
( )
( )
2 2
3 0 0 02
2 2
3 02
1 1exp sin22
1 12 2 exp
22
e u
u
d d r r dr
r r dr
=
=
et comme
2 2
exp
1
2r r r
est continue :
( )( ) 2 2
si
exp si
0 0
2 10
22
=+
est une densit de
probabilit (appele densit de Cauchy).
1b) Vrifier que la fonction caractristique correspondante est
( ) ( )expX u a u = .
1c) Soit une famille de v.a. indpendantes 1,..., nX de densit af . Trouver
la densit de la v.a. 1... n
n
XY
n
+ += .
Que constate-t-on ?
2) Par considration de variables alatoires de Cauchy, vrifier que lon peut
avoir lgalit( ) ( ) ( ) X Y X Y u u u +
= avec etY
dpendantes.
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
72/274
70 Processus stochastiques et filtrages optimaux
Enonc 1.7.
Montrer que
1 2 3
2 1 2
3 2 1
M =
nest pas une matrice de covariance.
Montrer que
1 0, 5 0
0, 5 1 0
0 0 1
M =
est une matrice de covariance.
Vrifier sur cet exemple que la proprit ntre pas corrl avec pour unefamille de v.a. nest pas transitive.
Enonc 1.8.
Montrer que le vecteur alatoire ( )1 2 3, ,T X X X = desprance
( )7,0,1TX = et de matrice de covariance
10 1 4
1 1 1
4 1 2
X
=
appartient
presque srement (p.s.) un plan de 3! .
Enonc 1.9.
On considre le vecteur alatoire ( ), ,U X Y Z = de densit de probabilit
( ) ( ) ( )3 1, , , ,Uf x y z K x y z x y z x y z = o est le cube
[ ] [ ] [ ]0,1 0,1 0,1 .
1) Calculer la constante K.
2) Calculer la probabilit conditionnelle 1 1 1 3, ,4 2 2 4
P X Y Z = = .
3) Dterminer lesprance conditionnelle ( )2 ,Y Z .
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
73/274
CHAPITRE 2
Vecteurs gaussiens
2.1. Quelques rappels sur les variables alatoires gaussiennes
DFINITION. On dit quune v.a. relle est gaussienne, desprance m et de
variance 2 si sa loi de probabilit XP :
admet la densit ( )( )
2
2
1exp
2 2X
x mf x
=
si 2 0
(par un calcul dintgrale double par exemple, on vrifie que ( )Xf x dx =! 1) ;
est la mesure de Dirac 2si 0m = .
Figure 2.1.Densit gaussienne et mesure de Dirac
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
74/274
72 Processus stochastiques et filtrages optimaux
Si 2 0 , on dit que est gaussienne non dgnre.
Si 2 0 = , on dit que est gaussienne dgnre ; est dans ce cas une v.a. certaine prenant la valeur m avec la probabilit 1.
2, EX m Var X = = . Ceci se vrifie facilement par utilisation de la fonction de
rpartition.
Comme on la dj not, pour spcifier quune v.a. est gaussienne
desprance m et de variance
2
, on crira ( )2
,X N m .
Fonction caractristiquede ( )2,X N m
Commenons dabord par dterminer la fonction caractristique
de ( )0 0,1X N :
( ) ( )2
0
0
212
iux xiuXX eu E e e dx
= = ! .
On voit facilement que lon peut appliquer le thorme de drivation sous signesomme et :
( )2
0
2
2
xiux
X
iu e xe dx
= ! .
Ensuite par intgration par parties :
( )2 2
0
2 2
2
x xiux iux
X
ie e iue e dx u u
++
= + =
.
La rsolution de lquation diffrentielle ( ) ( )0 0X X
u u u = avec la
condition ( )0
0 1X = nous conduit la solution ( )2
0
2u
X u e
= .
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
75/274
Vecteurs gaussiens 73
Pour
( ) ( )
21
2 21
2,
x m
iux
X N m u e e dx
+
=
.
Par le changement de variablex m
y
= qui nous ramne au cas prcdent, on
obtient ( )2 21
2ium u
X u e
= .
Si2
0 = cest--dire si X mP = :
( )X u (transforme de Fourier au sens des distributions de m ) =iume
si bien que dans tous les cas ( 2 ou )0= ( )1 2 22
ium u
X u e
= .
REMARQUE. Etant donne la v.a. ( )2, X N m , on peut crire :
( )( ) ( )
( ) ( ) ( )
( )
12
11 2 22
2
1 1exp
22
1exp
2
X
X
f u x m x m
u ium u u
=
=
Ce sont les critures que lon retrouvera pour les vecteurs gaussiens.
2.2. Dfinition et caractrisation des vecteurs gaussiens
DFINITION. On dit quun vecteur alatoire rel ( )1,...,T
nX X= est gaussien
si ( ) 10 1, ,...,n
na a a+ ! la v.a. 0
1
n
j j
j
a a X=
+ est gaussienne. (On peut dans
cette dfinition supposer 0 0a = ce que nous ferons en gnral).
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
76/274
74 Processus stochastiques et filtrages optimaux
Un vecteur alatoire ( )1,...,T
nX X= nest donc pas gaussien si on peut
trouver un n -uple ( ) ( )1,..., 0,...,0na a tel que la v.a.1
n
j j
j
a X=
ne soit pas
gaussienne et il suffit pour cela de trouver un n - uple tel que1
n
j j
j
a X=
ne soit pas
une v.a. densit.
EXEMPLE. On se donne une v.a.( )0,1X N
et une v.a.
discrte,
indpendante de et tel que :
( )1
12
P = = et ( )1
12
P = = .
On pose Y X= .
En utilisant ce qui prcde, on montrera en exercice que, bien que Y soit unev.a. ( )0,1N , le vecteur ( ),Y nest pas un vecteur gaussien.
PROPOSITION. Pour quun vecteur alatoire ( )1,...,T
nX X= desprance
( )1,...,T
nm m m= et de matrice de covariance X soit gaussien, il faut et il suffit
que sa fonction caractristique f.c( ) X soit dfinie par :
( ) ( )( )1 11
1exp o
2,..., ,...,
mT T
X n j j X n
j
u u i u m u u u u u=
= =
.
DMONSTRATION.
( )11 1
exp exp,..., .1.n n
X n j j j j
j j
u u E i u X E i u X = =
= =
= fonction caractristique de la v.a.1
n
j j
j
u X=
en la valeur 1.
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
77/274
Vecteurs gaussiens 75
Cest--dire : ( )
1
1nj j
j
u X
=
et ( )1
2
1 1
11 exp 1 1 Var
2. .n
j j
j
n n
j j j ju X j j
i E u X u X
== =
=
si et seulement si la v.a.1
n
j j
j
u X=
est gaussienne.
Enfin, puisque1
Varn
T j j X
j
u X u u=
=
, on a bien :
( )11
1exp
2,...,
nT
X n j j X
j
u u i u m u u=
=
.
NOTATION. On voit que la fonction caractristique dun vecteur gaussien estentirement dtermine quand on connat son vecteur esprance m et sa matrice de
covariance X . Si est un tel vecteur, on crira ( ),n X X N m .
CAS PARTICULIER. 0m = et X nI = (matrice identit), ( )( )0,n nN I estalors appel vecteur gaussien standard.
2.3. Rsultats relatifs lindpendance
PROPOSITION.
1) si le vecteur ( )1,...,T
nX X= est gaussien, toutes ses composantes j
sont alors des v.a. gaussiennes ;
2) si les composantesj
dun vecteur alatoire sont gaussiennes et
indpendantes, le vecteur est alors gaussien.
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
78/274
76 Processus stochastiques et filtrages optimaux
DMONSTRATION.
1) on crit 0 0 0 0... ...j jX X= + + + + + ;
2) ( ) ( ) 2 211 1
1exp
2,...,
j
n n
X n X j j j j j
j j
u u u iu m u = =
= =
que lon peut encore crire :1
1exp
2
nT
j j X
j
i u m u u=
avec
2
1
2
0
0
X
n
=
# .
ATTENTION. Comme on le verra ultrieurement : composantes j gaussiennes
et indpendantes nest pas une condition ncessaire pour que le vecteur alatoire
( )1,..., ,...,T j n X X X = soit gaussien.
PROPOSITION. Si ( )1,..., ,...,T j n X X X = est un vecteur gaussien de matricede covariance X , on a lquivalence : X diagonale les v.a. j sont
indpendantes.
DMONSTRATION.
2
1
2
0
0n
X
=
# ( ) ( )11
,...,j
n
X n X j
j
u u u
=
Ce qui est une condition ncessaire et suffisante dindpendance des v.a. j .
Rsumons par un schma ces deux rsultats simples :
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
79/274
Vecteurs gaussiens 77
( )1,..., ,...,T j n X X X =est un vecteur gaussien
Les composantes j
sont des v.a. gaussiennesSi (condition suffisante)
les j sont
indpendantes
( j indpendantes
X est diagonale)
( j indpendantes ou
est gaussien)
REMARQUE. Un vecteur gaussien ( )1,..., ,...,T j n X X X = est videmment du2e ordre. En effet chaque composante j est gaussienne et appartient donc
( )2 L dP( )
2
22 21
2
x m
x e dx
<
!
On peut gnraliser la dernire proposition et remplacer les v.a. gaussiennes pardes vecteurs gaussiens.
Considrons par exemple trois vecteurs alatoires :
( ) ( ) ( )1 1 1 1,..., ; ,..., ; ,..., , ,...,T T Tn p n pX X Y Y Y Z X X Y Y = = =
et posons
Cov( , )
Cov( , )
X
Y
Z
X Y
Y X
=
$
% $ %
$
o ( )Cov ,Y est ici la matrice des coefficients ( )Cov ,j Y&
et o ( ) ( )( )Cov Cov, , T X Y X Y = .
Mme si
X est diagonale
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
80/274
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
81/274
Vecteurs gaussiens 79
Pour le dterminer entirement il faut connatre m EW= et W et on aura
( )2 , WW N m .
Il vient facilement :
( ) ( ), 0,0T EW EU EV = = et
( )
( ) 2Var Cov
Cov Var
3 1
1 1
,
,WU U V
V U V
= = +
En effet :
( )
( )
( ) ( ) ( )
22 2 2 2
22 2 2 2 2
2 2
Var
Var
Cov
3
1
1
V
,
U EU E X Y Z EX EY EZ
EV E X Y EX EY
U V E X Y Z X Y EX EY
= = + + = + + =
= = = + = +
= + + = =
Cas particulier : 1 W = diagonale U et V sont indpendants.
2.4. Transformation affine dun vecteur gaussien
On peut gnraliser aux vecteurs le rsultat suivant sur les v.a. gaussiennes :
Si
( )2,Y N m alors
( )2 2 ., ,a b aY b N am b a + +!
En modifiant un peu lcriture,
( )2 2,N am b a + devenant ( ),N am b a VarY a+ , on imagine dj commentce rsultat va stendre aux vecteurs gaussiens.
PROPOSITION. Soient un vecteur gaussien ( ),n YY N m , A une matrice
appartenant ( ),p n et un vecteur certain ! .
Alors AY B+ est un vecteur gaussien ( ), Tp YN Am B A A+ .
8/6/2019 Processus Stochastiques Discrets Et Filtrages Op
82/274
80 Processus stochastiques et filtrages optimaux
DMONSTRATION.
11 1 11
11
1
n
n
i n i i i
i
p pn pn
a a bY
a a a bY AY B a Y b
a a bY
=
+ = + = +
& & & & & &
$%
$$ $ $$
% %
$ $ $$$
%$
ceci est bien un vecteur gaussien (de dimension p ) car toute combinaison
linaire de ses composantes est une combinaison affine des v.a. 1,..., , ...,i nY Y Y et
par hypothse ( )1,...,T
nY Y Y= est un vecteur gaussien ;
par ailleurs on a vu que si Y est un vecteur de 2e ordre :
( ) E AY B AEY B Am B+ = + = + et T AY B Y A+ = .
EXEMPLE. Soient ( )1n + v.a. indpendantes ( )2 0,jY N j = n.
Il vient ( ) ( )0 1 1, ,..., ,T
n n YY Y Y Y N m+= avec ( ),...,Tm = et
2
2
0
0
Y
=
# .
Soient par ailleurs les nouvelles v.a. & dfinies par :
1 0 1 1,..., n n nY Y X Y Y = + = +
Le vecteur ( )1,...,T nX X= est gaussien car1 0110...0
0110..0
0...011n n
Y
Y
=
$ $
plus prcisment, daprs la pro