Introduction a l’Etude des Series Chronologiques

Celine Levy-Leduc

16 mai 2007

Chapitre 1

Introduction et Motivations

1.1 Introduction

1.1.1 Definitions et objectifs

Definition 1. Une serie chronologique est un ensemble d’observations, xt, chacune etantenregistree a un instant specifique t. L’intervalle d’observations sera note T0 dans la suite.

L’etude des series chronologiques est utile lorsque l’on cherche a analyser, comprendre ouencore prevoir un phenomene evoluant dans le temps. Le but est donc de tirer des conclusionsa partir des series observees. Nous considererons les etapes suivantes :

1. Proposer un modele probabiliste afin de representer les donnees.

2. Estimer les parametres du modele choisi et verifier la qualite de l’ajustement auxdonnees (validation du modele).

3. Application du modele (valide) : prevision.

Les domaines concernes sont nombreux :– ingenierie, (EDF, pollution)– sociologie, (chomage, greves)– finance, (ventes, bourse, passagers)– industrie. (production, consommation)

1.1.2 Exemples de series chronologiques

Exemple 1. Vente de vin rouge.

La Figure 1.1 montre les ventes mensuelles (en kilolitres) de vin rouge de janvier 1980jusqu’a octobre 1991. L’intervalle d’observations est T0 = 1, 2, . . . , 142. La courbe suggereque les ventes ont une tendance croissante et un caractere saisonnier avec un maximum enjuillet et un minimum en janvier.

Exemple 2. Population des U.S.A., 1790 − 1990

La population des U.S.A., mesuree tous les 10 ans, est representee par la Figure 1.2.La courbe suggere la possibilite d’adapter une tendance quadratique ou exponentielle auxdonnees.

On definit maintenant la notion de processus stationnaires. Ceux-ci jouent un role fonda-mental dans l’etude des series chronologiques.

1

0 12 24 36 48 60 72 84 96 108 120 132 1440

500

1000

1500

2000

2500

3000

mois (janvier1980−octobre1991)

ventes

mensu

elles d

e vin

Fig. 1.1 – Ventes annuelles de vin rouge (en kilolitres) entre janvier 1980 et octobre 1991.

1790 1810 1830 1850 1870 1890 1910 1930 1950 1970 19900

50

100

150

200

250

million

s

Fig. 1.2 – Population des U.S.A. en intervalles de 10 ans, 1790 − 1990.

1.2 Stationnarite et stationnarite stricte

Definition 2. (Fonction d’autocovariance) Soit Xt, t ∈ Z un processus aleatoire tel queV ar(Xt) < ∞ pour tout t ∈ Z. La fonction d’autocovariance γX(., .) de Xt est definie par

γX(r, s) = Cov(Xr, Xs) = E (Xr − E(Xr))(Xs − E(Xs)) , r, s ∈ Z.

Definition 3. (Stationnarite ou Stationnarite faible) La serie temporelle Xt, t ∈ Z est ditestationnaire ou faiblement stationnaire si

(i) E(X2t ) < ∞

(ii) E(Xt) = m, ∀t ∈ Z

(iii) γX(r, s) = γX(r + t, s + t), ∀r, s, t ∈ Z.

Remarque 1. Si Xt, t ∈ Z est stationnaire alors γX(r, s) = γX(r − s, 0) ∀r, s ∈ Z. Ilest donc plus agreable de redefinir la fonction d’autocovariance d’un processus stationnairecomme une fonction d’une seule variable definie par

γX(h) := γX(h, 0) = Cov(Xt+h, Xt) ∀t, h ∈ Z.

Definition 4. (Stationnarite stricte) La serie temporelle Xt, t ∈ Z est dite strictementstationnaire si les lois jointes de (Xt1 , . . . , Xtk) et de (Xt1+h, . . . , Xtk+h) pour tout entierpositif k et pour tous t1, . . . , tk, h ∈ Z.

Intuitivement, une serie chonologique strictement stationnaire doit avoir le meme com-portement statistique sur des intervalles de temps egaux.

2

1.2.1 Relation entre stationnarite faible et stricte

Un processus strictement stationnaire ayant ses moments d’ordre 2 finis est faiblementstationnaire.

La reciproque n’est pas vraie en general.

Contre-exemple : Soit Xt une suite de variables aleatoires independantes telle que– Xt ∼ E(1), lorsque t est pair– Xt ∼ N (1, 1), lorsque t est impair

alors Xt est stationnaire avec γX(0) = 1 et γX(h) = 0 lorsque h 6= 0. Cependant X1 et X2

n’ont pas la meme loi donc Xt n’est pas strictement stationnaire.

Cependant, il y a une classe importante de processus pour laquelle l’assertion : “ station-narite (faible) implique stationnarite stricte ” est vraie : il s’agit des processus gaussiens.En effet, ils sont caracterises par leur esperance et leur covariance.

1.2.2 Quelques exemples

Exemple 3. Processus a moyenne mobile d’ordre 1 : MA(1)

Soit Zt une suite de variables iid d’esperance nulle et de variance finie σ2Z . On pose

Xt = Zt + θZt−1.

La fonction d’autocovariance de Xt est donnee par

Cov(Xt+h, Xt) = Cov(Zt+h + θZt+h−1, Zt + θZt−1)

=

(1 + θ2)σZ2, si h = 0

θσZ2, si h = +1 ou − 1

0, si |h| > 1.

Xt est donc un processus stationnaire. En fait, on peut montrer qu’il est aussi stationnaireau sens strict.

Exemple 4.

Soit Yt une serie temporelle stationnaire. On definit

Xt =

Yt, si t est pair

Yt + 1, si t est impair

Bien que Cov(Xt+h, Xt) = γY (h), Xt n’est pas un processus stationnaire car il n’a pas uneesperance constante.

Exemple 5. Marche aleatoire

Soit St = X1 + X2 + · · · + Xt ou les Xi sont iid d’esperance nulle et de variance σ2. Pourh > 0,

Cov(St+h, St) = Cov

(t+h∑

i=1

Xi,t∑

i=1

Xi

)= Cov

(t∑

i=1

Xi,t∑

i=1

Xi

)= σ2t.

3

Donc St n’est pas stationnaire.Evidemment, la plupart des series temporelles ne sont pas des realisations de processus

stationnaires. Mais comme on va le voir dans les paragraphes qui suivent, on peut s’y rameneren faisant subir a la serie chonologique certaines transformations.

1.3 Modelisation des series chronologiques

Une etape importante dans l’analyse des series chronologiques (SC) est le choix d’unmodele probabiliste pour les donnees. Afin de conclure sur le caractere aleatoire des observa-tions futures, il est naturel de supposer que chaque observation xt est une realisation d’unevariable aleatoire Xt. La SC xt, t ∈ T0 est une realisation de la famille de variables aleatoiresXt, t ∈ T0. Ces considerations suggerent de modeliser les donnees comme une realisationd’un processus aleatoire Xt, t ∈ T ou T ⊇ T0.

1.3.1 Modele general

On modelise un processus par la somme d’une partie deterministe et d’une partie aleatoire(modele additif), ou par le produit d’une partie deterministe et d’une partie aleatoire (modelemultiplicatif). Le modele de decomposition classique est le suivant (modele additif) :

Xt = mt + st + et 1 ≤ t ≤ n. (1.1)

ou dt = (mt + st) represente la partie deterministe du processus et et sa partie aleatoire, avec

1. mt une fonction qui varie lentement, appelee la composante de tendance. C’est unefonction qui varie au cours du temps et traduit l’aspect general de la serie.

2. st une fonction periodique de t avec la periode d : st−d = st. C’est la composantesaisonniere de periode 4, 12, 52...selon qu’il s’agit de donnees trimestrielles, mensuelles,hebdomadaires....

3. et un bruit aleatoire, stationnaire, de moyenne nulle. Il correspond a la notion d’ecartau modele.

NB : Le modele multiplicatif s’ecrira Xt = dtet, ou dt est la partie deterministe et et la partiealeatoire.

La modelisation de la serie (trajectoire du processus) comporte deux parties :– celle de la partie fixe,– celle de la partie aleatoire.

Nous nous interessons tout d’abord a la premiere etape qui consiste a voir s’il existe unetendance, une composante saisonniere, etc....et a les modeliser.

Pour detecter une tendance et/ou une saisonnalite, on peut s’aider des informations a priori,notamment la nature des donnees et leur representation graphique ; par exemple, si le signalobserve est la consommation mensuelle d’electricite par foyer, on pourra s’attendre a unecertaine saisonnalite (mensuelle ? trimestrielle ?) et a une tendance (lineaire ? quadratique ?).

4

1.3.2 Modeles avec tendance et composante saisonniere

Modeles avec tendance

Le modele est de la forme :Xt = mt + et (1.2)

ou et est un bruit aleatoire de moyenne nulle.

Pour modeliser la tendance de la serie observee, on peut par exemple chercher une fonctionparametrique qui ressemble a l’allure generale de la serie et estimer les parametres de cettefonction afin d’ajuster le mieux possible les observations.

Les fonctions les plus utilisees sont des fonctions :• lineaires :

mt = a + bt. (1.3)

• polynomiales :mt = a0 + a1t + . . . adt

d. (1.4)

NB : on peut aussi modeliser par des fonctions de type exponentiel.

Il existe plusieurs methodes pour estimer la fonction mt. Une des plus utiles est la methodedes moindres carres. Les parametres des fonctions sont choisis de facon a minimiser l’erreur :

n∑

t=1

(xt − mt)2. (1.5)

Un examen visuel de la serie permet en general de se faire une idee du degre du po-

lynome a utiliser. Il faut utiliser un polynome de degre le plus petit possible tout en ayantun bon ajustement. Pour cela, on aimerait que les residus fluctuent autour de 0 avec uneamplitude la plus faible possible.

NB : On peut aussi regarder l’erreur definie en (1.5) : par exemple, si l’erreur pour unpolynome de degre d = 4 est proche de celle pour un polynome de degre d = 3, alors le choixd = 4 n’ameliore pas nettement l’ajustement.

Exemple 6. Population des U.S.A

On essaie d’ajuster un polynome de degre 2 (i.e d = 2 dans (1.4)). Pour obtenir les estimeesde a0, a1 et a2, on ecrit

Y = A

a0

a1

a2

+ e ou A =

1 t1 t211 t2 t22

. . .1 tn t2n

, les ti etant les instants d’observations.

On estime a0, a1 et a2 en utilisant le critere des moindres carres

a0

a1

a2

= (AT A)−1AT Y.

5

On represente dans la Figure 1.3 : m = A(a0 a1 a2)T . On peut s’en servir pour faire de la

prevision ce qui donneAnnee 2000 : Population estimee = 2.74348 × 108

Annee 2010 : Population estimee = 3.01466 × 108

Annee 2020 : Population estimee = 3.29886 × 108.

1750 1800 1850 1900 1950 20000

50

100

150

200

250

300

1750 1800 1850 1900 1950 2000−8

−6

−4

−2

0

2

4x 10

6

Fig. 1.3 – Ajustement polynomial et residus pour les donnees : Population des U.S.A.

Modeles avec composante saisonniere

Pour representer un effet saisonnier, admettant du bruit mais pas de tendance, nousutilisons le modele simple suivant :

Xt = st + et (1.6)

ou st est une fonction periodique de t, de periode d, i.e., pour tout t, st−d = st. Un choixconvenable pour st est une somme de fonctions harmoniques definies par

st = a0 +k∑

j=1

[aj cos(λjt) + bj sin(λjt)] ,

ou a0, a1 . . . , ak et b1 . . . , bk sont des parametres inconnus, et λ1 . . . , λk sont des frequencesfixes, chacune etant un multiple entier de 2π/d.

Exemple 7. Victimes des accidents de la route aux U.S.A entre 1973 et 1978

0 10 20 30 40 50 60 70 806500

7000

7500

8000

8500

9000

9500

10000

10500

11000

11500

Fig. 1.4 – Nombre mensuel de victimes des accidents de la route aux USA entre 1973 et 1978

6

On ajuste aux donnees une fonction periodique avec une seule composante harmonique deperiode 12 mois et une fonction periodique avec deux composantes : l’une de periode 6 moiset l’autre de periode 12 mois (voir Figure 1.5).

• 1er cas : k = 1, λ1 = 2π/12

a0

a1

b1

= (AT A)−1AT Y, ou A =

1 cos(λ1t1) sin(λ1t1)1 cos(λ1t2) sin(λ1t2)

. . .1 cos(λ1tn) sin(λ1tn)

• 2eme cas : k = 2, λ1 = 2π/12, λ2 = 2π/6

a0

a1

b1

a2

b2

= (AT A)−1AT Y, ou A =

1 cos(λ1t1) sin(λ1t1) cos(λ2t1) sin(λ2t1)1 cos(λ1t2) sin(λ1t2) cos(λ2t2) sin(λ2t2)

. . .1 cos(λ1tn) sin(λ1tn) cos(λ2tn) sin(λ2tn)

0 10 20 30 40 50 60 70 806500

7000

7500

8000

8500

9000

9500

10000

10500

11000

11500

0 10 20 30 40 50 60 70 806500

7000

7500

8000

8500

9000

9500

10000

10500

11000

11500

Fig. 1.5 – Ajustement de composantes saisonnieres

Les differentes composantes deterministes ayant ete modelisees, il reste a les eliminer poureffectuer la deuxieme etape de modelisation, celle de la partie aleatoire.

1.3.3 Elimination de la tendance et de la composante saisonniere par differenciation(Box et Jenkis (1970))

Operateur retard et operateur difference

Operateur retard :

L’operateur retard B decale le processus d’une unite de temps vers le passe :

BXt = Xt−1.

Si on applique j fois cet operateur, on decale le processus de j unites de temps :

BjXt = B(B(..BXt)) = Xt−j .

Operateur difference :

7

L’operateur difference ∆ fait la difference entre le processus et sa version decalee de uneunite de temps :

∆Xt = Xt − Xt−1 = (1 − B)Xt.

• Elimination de la tendance

L’operateur difference ∆ elimine les tendances lineaires. Par exemple, pour un processusde la forme

Xt = a + bt + et,

on a∆Xt = b + et − et−1.

De facon generale, l’operateur ∆d elimine les tendances polynomiales de degre d. Parexemple, pour une tendance de degre 2,

∆2Xt = ∆2(a + bt + ct2 + et) = (1 − B)2Xt = 2c + (et − 2et−1 + et−2).

Exemple 8. Population des U.S.A.Apres deux applications de l’operateur ∆, on s’est ramene a une serie stationnaire cequi confirme ce que l’on a obtenu precedemment pour cette serie temporelle (voir Figure1.6).

1780 1800 1820 1840 1860 1880 1900 1920 1940 1960 1980 20000

50

100

150

200

milli

ons

pop U.S.A.

1780 1800 1820 1840 1860 1880 1900 1920 1940 1960 1980 20000

10

20

milli

ons

pop U.S.A. − differenciation de degre 1

1780 1800 1820 1840 1860 1880 1900 1920 1940 1960 1980 2000

−5

0

5

10

milli

ons

pop U.S.A. − differenciation de degre 2

Fig. 1.6 – Differenciation de la serie : Population des U.S.A

• Elimination de la composante saisonniere

L’operateur ∆d = (1 − Bd) elimine une saisonnalite de degre d. Par exemple, pour unmodele general,

Xt = mt + st + et,

ou st est de periode d, on obtient,

∆d = mt − mt−d + et − et−d.

8

avec mt − mt−d la tendance et et − et−d le bruit.

Exemple 9. Nombre de victimes des accidents de la route aux U.S.A.On applique tout d’abord ∆12 pour faire une desaisonnalisation d’ordre 12 et ensuiteon fait une differenciation d’ordre 1 (voir Figure 1.7).

0 10 20 30 40 50 60 707000

8000

9000

10000

11000

nom

bre

de vi

ctim

es

0 10 20 30 40 50 60 70−1500

−1000

−500

0

500

nom

bre

de vi

ctim

es

differenciation de degre 12 pour la saisonnalite

0 10 20 30 40 50 60 70−1000

−500

0

500

1000

nom

bre

de vi

ctim

es

mois (janvier1973−decembre1978)

differenciation de degre 1 pour la tendance

Fig. 1.7 – Desaisonnalisation et differenciation de la serie : nombre de victimes des accidentsde la route aux U.S.A

1.3.4 Methode generale pour la modelisation des series chronologiques

Les exemples que l’on a vus indiquent l’approche generale suivante pour la modelisationdes SC :

• tracer la serie et examiner les caracteristiques du graphique. Verifier en particulier si ilexiste

1. une tendance,

2. une composante saisonniere

• modeliser la tendance et la composante saisonniere.• enlever la tendance et la composante saisonniere afin d’obtenir des residus station-

naires.• choisir un modele pour les residus en utilisant des statistiques (empiriques) de la realisation,

comme par exemple l’autocorrelation (voir plus loin).Ensuite, on peut faire de la prevision sur les residus d’abord et puis en inversant les transfor-mations sur les donnees.

9

1.4 Proprietes de la fonction d’auto-covariance d’un processusstationnaire

1.4.1 Proprietes de la fonction d’auto-covariance

Proposition 1. Si γ(.) est la fonction d’autocovariance d’un processus stationnaire Xt, t ∈Z alors

(i) γ(0) ≥ 0,(ii) |γ(h)| ≤ γ(0), ∀h ∈ Z

(iii) γ(−h) = γ(h), ∀h ∈ Z.

Demonstration. (i) : γ(0) = Var(Xt) ≥ 0.(ii) : Par l’inegalite de Cauchy-Scwarz,

|E [Xt+h − E(Xt+h) Xt − E(Xt)]| ≤ Var(Xt+h)1/2 Var(Xt)1/2.

(iii) γ(−h) = Cov(Xt−h, Xt) = Cov(Xt, Xt+h) = γ(h).

Definition 5. Une fonction κ : Z −→ R est dite definie positive si et seulement si

n∑

i,j=1

aiκ(ti − tj)aj ≥ 0

pour tous entiers positifs n et pour tous vecteurs a = (a1, . . . , an)′ ∈ Rn et t = (t1, . . . , tn)′ ∈

Zn.

Theoreme 1. (Caracterisation des fonctions d’autocovariance)Une fonction a valeurs reelles definie sur les entiers est la fonction d’autocovariance d’uneserie temporelle stationnaire si et seulement si elle est paire et definie positive.

Demonstration. Montrons que la fonction d’autocovariance d’une serie temporelle Xt estdefinie positive. Si a = (a1, . . . , an)′ ∈ R

n, t = (t1, . . . , tn) ∈ Zn et Zt = (Xt1−E(Xt1), . . . , Xtn−

E(Xtn))′ alors

0 ≤ Var(a′Zt) = a′E(ZtZ′t)a = a′Γna =

n∑

i,j=1

aiγ(ti − tj)aj ,

ou Γn = [γ(ti − tj)]1≤i,j≤n est la matrice de covariance de (Xt1 , . . . , Xtn)′.

La reciproque est admise.

Exemple 10.

Montrons que la fonction suivante definie sur Z :

κ(h) =

1 , si h=0ρ , si h=+1 ou -10 , sinon.

est une fonction d’autocovariance si et seulement si |ρ| ≤ 1/2.En effet,

10

– Si |ρ| ≤ 1/2, alors κ est la fonction d’autocovariance d’un MA(1) avec σ2 = (1 + θ2)−1

et θ = (2ρ)−1(1 ±√

1 − 4ρ2).– Si ρ > 1/2, K = [κ(i−j)]1≤i,j≤n et a le vecteur de taille n defini par a = (1,−1, 1,−1, . . . )′

alorsa′Ka = n − 2(n − 1)ρ < 0 lorque n > 2ρ/(2ρ − 1),

ce qui montre que κ(.) n’est pas definie positive et donc d’apres le theoreme precedentκ n’est pas une fonction d’autocovariance.

– Si ρ < −1/2, on peut utiliser le meme argument que precedemment mais cette fois-ciavec comme vecteur a : a = (1, 1, 1, . . . ).

1.4.2 Fonction d’auto-covariance empirique

A partir des observations x1, . . . , xn d’une serie chronologique stationnaire Xt, nousaurons souvent besoin d’estimer la fonction d’autocovariance γ(.) du processus sous-jacentXt afin de mieux comprendre sa structure de dependance.

Definition 6. La fonction d’auto-covariance empirique de x1, . . . , xn) est definie par

γn(h) = n−1n−h∑

j=1

(xj+h − x)(xj − x), 0 ≤ h < n

et γn(h) = γn(−h) lorsque −n < h ≤ 0, x etant la moyenne empirique des xi : x =n−1

∑nj=1 xi.

Definition 7. La fonction d’auto-correlation empirique est definie par

ρ(h) = γn(h)/γn(0), |h| < n

Exemple 11. Autocorrelation empirique pour la serie : population aux U.S.A (voir Figure1.8).

1750 1800 1850 1900 1950 20000

50

100

150

200

250

300

0 2 4 6 8 10 12 14 16 18 20

−1

−0.8

−0.6

−0.4

−0.2

0

0.2

0.4

0.6

0.8

1

Fig. 1.8 – Autocorrelation empirique pour la serie : Population aux U.S.A

Exemple 12. Autocorrelation empirique pour la serie : ventes de vin aux U.S.A (voir Figure1.9)

11

0 12 24 36 48 60 72 84 96 108 120 132 1440

500

1000

1500

2000

2500

3000

mois (janvier1980−octobre1991)

vente

s men

suell

es de

vin

0 5 10 15 20 25 30 35 40

−1

−0.8

−0.6

−0.4

−0.2

0

0.2

0.4

0.6

0.8

1

Fig. 1.9 – Autocorrelation empirique pour la serie : ventes de vin aux U.S.A.

12

Chapitre 2

Processus ARMA

Dans ce chapitre, nous introduisons une classe tres importante de series chronologiquesXt, t ∈ Z : les processus auto-regessifs a moyenne mobile (Auto Regressive Moving Ave-rage). De plus, pour toute fonction d’autocovariance γ telle que limh→∞ γ(h) = 0, il existe unprocessus ARMA de fonction d’auto-covariance γX telle que γX(h) = γ(h), h = 0, 1, . . . , kpour tout entier k > 0. C’est entre autres pour cette raison que les modeles ARMA jouent unrole tres important dans l’etude des series temporelles.

2.1 Inversibilite et causalite des processus ARMA

Definition 8. (Bruit blanc)Un processus Zt est un bruit blanc de moyenne nulle et de variance σ2 note

Zt ∼ WN(0, σ2), (WN est une abreviation pour White Noise)

si et seulement si Zt est de moyenne nulle et de fonction d’auto- covariance definie par

γ(h) =

σ2, si h = 0,0, si h 6= 0.

Definition 9. (Processus ARMA(p,q))Le processus Xt, t ∈ Z est un processus ARMA si Xt est stationnaire et si pour tout t,

Xt − φ1Xt−1 − · · · − φpXt−p = Zt + θ1Zt−1 + · · · + θqZt−q,

ou Zt ∼ WN(0, σ2). On dit que Xt est un processus ARMA(p,q) de moyenne µ si Xt−µest un processus ARMA(p,q).

L’equation ci-dessus peut etre reecrite de facon symbolique comme suit

φ(B)Xt = θ(B)Zt, t ∈ Z,

ou φ(z) = 1 − φ1z − · · · − φpzp, θ(z) = 1 + θ1z + · · · + θqz

q et B est un operateur de retarddefini par

BjXt = Xt−j , j ∈ Z.

Exemple 13. Processus MA(q)

13

Si φ(z) est identiquement egal a 1, alors

Xt = θ(B)Zt

et Xt est appele processus a moyenne mobile d’ordre q. Ainsi defini, Xt est un processusstationnaire. En effet,

E(Xt) =

q∑

j=0

θjE(Zt−j) = 0,

ou θ0 = 1 et

Cov(Xt+h, Xt) =

σ2

∑q−|h|j=0 θjθj+|h|, si |h| ≤ q,

0, si |h| > q.

Exemple 14. Processus AR(p)

Si θ(z) est identiquement egal a 1, alors

φ(B)Xt = Zt.

L’existence et l’unicite d’une solution stationnaire reste a etablir. Nous allons examiner le casou p = 1 : φ(z) = 1 − φ1z i.e.

Xt = Zt + φ1Xt−1.

En iterant l’equation precedente, on obtient

Xt = Zt + φ1Zt−1 + φ21Zt−2 + · · · + φk

1Zt−k + φk+11 Xt−k−1.

• |φ1| < 1

On en deduit qu’au sens de la convergence dans L2, on a

Xt =∞∑

j=0

φj1Zt−j . (2.1)

En effet, Xt etant une solution stationnaire,

∥∥∥∥∥∥Xt −

k∑

j=0

φj1Zt−j

∥∥∥∥∥∥

2

2

= E

Xt −k∑

j=0

φj1Zt−j

2

= φ2k+21 E(X2

t−k−1) → 0, lorsque k → ∞.

On verra plus tard que l’egalite est aussi valable au sens de la convergence p.s. autrement dit

Xt(ω) =∑

j≥0

φj1Zt−j(ω), ∀ω ∈ A

ou A est tel que P (A) = 1. Verifions qu’une telle solution (2.1) est bien stationnaire. On peutle montrer de deux facons differentes.

14

– En utilisant la continuite du produit scalaire dans L2 defini par 〈X, Y 〉 = E(XY ) : siXn converge vers X dans L2 (‖Xn − X‖2 → 0) et Yn converge vers Y dans L2 alorslimn→∞〈Xn, Yn〉 = 〈X, Y 〉.En effet, en ecrivant 〈X, Y 〉 = 〈(X − Xn) + Xn, (Y − Yn) + Yn〉, on obtient en utilisantl’inegalite de Cauchy-Schwarz

|〈Xn, Yn〉 − 〈X, Y 〉| ≤ |〈(X − Xn), (Y − Yn)〉| + |〈(X − Xn), Yn〉| + |〈Xn, (Y − Yn)〉|≤ ‖X − Xn‖2 ‖Y − Yn‖2 + ‖X − Xn‖2 ‖Yn‖2 + ‖Y − Yn‖2 ‖Xn‖2 → 0 .

On en deduit donc que E(Xt) = limk→∞ E(∑k

j=0 φj1Zt−j) = 0 et que

Cov(Xt+h, Xt) = limn→∞

E

n∑

j=0

φj1Zt+h−j

(

n∑

k=0

φk1Zt−k

)

= σ2φ|h|1

∞∑

j=0

φ2j1 = σ2φ

|h|1 /(1−φ2

1).

– En utilisant le theoreme de Fubini

∣∣∣∣∣∣E

∑

j≥0

φj1Zt−j

∣∣∣∣∣∣≤ E

∑

j≥0

|φ1|j |Zt−j |

Fubini-Tonnelli=

∑

j≥0

|φ1|jE(|Zt−j |)

Cauchy-Schwarz≤ σ2

∑

j≥0

|φ1|j < ∞ .

D’apres le theoreme de Fubini, E(Xt) = E(∑

j≥0 φj1Zt−j

)=

∑j≥0 φj

1E(Zt−j) = 0.

Pour l’auto-covariance de Xt, on regarde

|E(Xt+hXt)| =

∣∣∣∣∣∣E

∑

j≥0

φj1Zt−j

∑

k≥0

φk1Zt+h−k

∣∣∣∣∣∣≤ E

∑

j,k≥0

|φ1|j |φ1|k|Zt−j ||Zt+h−k|

Fub-Ton,CS≤

∑

j,k≥0

|φ1|j |φ1|kσ2 < ∞ .

D’apres le theoreme de Fubini,

E(Xt+hXt) =∑

j,k≥0

φj1φ

k1E(Zt−jZt+h−k) = σ2φ

|h|1

∞∑

j=0

φ2j1 = σ2φ

|h|1 /(1 − φ2

1).

On a de plus unicite de la solution. En effet, soient Xt et Yt deux solutions de l’equation :Xt = φ1Xt−1+Zt, on a alors : Xt−φ1Xt−1 = Yt−φ1Yt−1 soit encore Xt−Yt = φ1(Xt−1−Yt−1).En iterant, on obtient

Xt − Yt = φk1(Xt−k − Yt−k) .

Ainsi

E(|Xt − Yt|) = |φ1|kE(|Xt−k − Yt−k)|) ≤ 2|φ1|kσXσY → 0, lorsque k → ∞ .

D’ou l’on deduit que Xt = Yt p.s.

15

• |φ1| > 1

Dans ce cas-la, la norme L2 precedente :∥∥∥Xt −

∑kj=0 φj

1Zt−j

∥∥∥2

2= φ2k+2

1 E(X2t−k−1) diverge

lorsque k tend vers l’infini. Par contre, on peut reecrire l’equation definissant Xt en fonctionde Zt comme suit

Xt = −φ−11 Zt+1 + φ−1

1 Xt+1.

En iterant l’equation precedente, on obtient

Xt = −φ−11 Zt+1 − φ−2

1 Zt+2 + φ−21 Xt+2 = . . .

= −φ−11 Zt+1 − φ−2

1 Zt+2 − · · · − φ−k−11 Zt+k+1 + φ−k−1

1 Xt+k+1 .

En utilisant exactement les memes arguments que ceux employes precedemment, on deduitque la solution stationnaire dans ce cas vaut

Xt = −∑

j≥1

φ−j1 Zt+j .

Cette solution est non causale : elle depend du “futur” et non pas que du passe comme dansle cas precedent ou dans ce cas la solution est causale dont une definition precise est donneeplus loin.

• |φ1| = 1

Par stationnarite de Xt,∥∥∥∥∥∥Xt −

k−1∑

j=0

φj1Zt−j

∥∥∥∥∥∥2

= φk1 ‖Xt−k‖2 = φk

1 ‖Xt‖2.

Or, le carre du terme de gauche est aussi egal a

‖Xt‖22 +

∥∥∥∥∥∥

k−1∑

j=0

φj1Zt−j

∥∥∥∥∥∥

2

2

− 2

⟨Xt ,

k−1∑

j=0

φj1Zt−j

⟩.

Ainsi,∥∥∥∑k−1

j=0 φj1Zt−j

∥∥∥2

2= 2

⟨Xt ,

∑k−1j=0 φj

1Zt−j

⟩. De plus,

∥∥∥∑k−1

j=0 φj1Zt−j

∥∥∥2

2=

∑k−1j=0 φ2j

1 σ2Z =

kσ2Z . D’ou, en utilisant l’inegalite de Cauchy-Schwarz,

kσ2Z ≤ 2 (γX(0))1/2

∥∥∥∥∥∥

k−1∑

j=0

φj1Zt−j

∥∥∥∥∥∥2

≤ 2 (γX(0))1/2 k1/2σZ ,

ce qui est impossible pour k grand.

Donc, dans ce cas, il n’existe pas de solution stationnaire.

Definition 10. Un processus ARMA(p,q) defini par les equations φ(B)Xt = θ(B)Zt est ditcausal s’il existe une suite de constantes ψj telles que

∑j≥0 |ψj | < ∞ et

Xt =∑

j≥0

ψjZt−j , t ∈ Z.

16

La signification de la somme precedente est donnee par la proposition suivante.

Proposition 2. Soit ψkk∈Z une suite absolument sommable :∑

k |ψk| < ∞, et Ztt∈Z

une suite de variables aleatoires.

(i) Si supt∈Z E[|Zt|] < ∞, alors pour tout t ∈ Z, la suite Xn,tn∈N definie par

Xn,t =

n∑

k=−n

ψkZt−k,

converge presque surement vers une v.a. Xt que l’on notera∑

k∈ZψkZt−k. De plus,

E[|Xt|] < ∞ (note aussi ‖Xt‖1 < ∞) et Xt est aussi la limite dans L1 de la suiteXn,tn∈N.

(ii) Si supt∈Z E[|Zt|2] < ∞, alors E[X2t ] < ∞ et Xt est aussi la limite dans L2 de la suite

Xn,tn∈N.

Demonstration.

I Soit Yn,t =∑n

k=−n |ψk||Zt−k| alors Yn,tps−→ Yt =

∑k∈Z

|ψk||Zt−k| ∈ L1 .

Par le theoreme de convergence monotone, encore appele theoreme de Beppo-Levi, Yn,t →∑k∈Z

|ψk||Zt−k|, (limite croissante) implique

E(Yn,t) → E

(∑

k∈Z

|ψk||Zt−k|)

, en croissant.

Or,

E(Yn,t) ≤n∑

k=−n

|ψk| supt

E(|Zt|) ≤ supt

E(|Zt|)∑

k∈Z

|ψk| < ∞

donc E(∑

k∈Z|ψk||Zt−k|

)< ∞.

I Xn,t converge ps vers Xt finie ps.

On deduit de la precedente inegalite qu’il existe un ensemble A tel que P (A) = 1 et telque ∀ω ∈ A, ∑

k∈Z

|ψk||Zt−k(ω)| < ∞.

Donc pour tout ω ∈ A,

|Xn,t(ω) − Xt(ω)| ≤∑

|k|>n

|ψk||Zt−k(ω)| → 0 .

Ainsi pour tout ω ∈ A la suite Xn,t(ω) est convergente et converge vers Xt(ω) d’ou l’on deduitla convergence ps de Xn,t vers Xt.

I Xt est la limite dans L1 de Xn,t et est dans L1 egalement sous les hypotheses de (i).

17

Remarquons que

E(|Xn,t − Xp,t|) ≤ supt

E(|Zt|)

n∑

p+1

|ψk| +−(p+1)∑

−n

|ψk|

≤ ε, ∀n, p ≥ Mε

d’apres le critere de Cauchy pour des series convergentes. Or,

E(|Xt − Xp,t|) = E[limn

|Xn,t − Xp,t|]

= E(lim infn

|Xn,t − Xp,t|)Fatou≤ lim inf

nE(|Xn,t − Xp,t|) ≤ ε, ∀p ≥ Mε

donc Xt = limn Xn,t dans L1 et Xt ∈ L1 en ecrivant

E(|Xt|) ≤ E(|Xt − Xp,t|) + E(|Xp,t|) ≤ ε + supt

E(|Zt|)∑

k∈Z

|ψk| < ∞ .

On aurait aussi pu utiliser pour conclure le fait que L1 est complet et que donc tout suite deCauchy de L1 est convergente dans L1 et dont la limite est aussi dans L1.

I La meme chose est vraie dans L2 sous les hypotheses de (ii).

E[|Xn,t − Xp,t|2] = E

∣∣∣∣∣∣

n∑

k=p+1

ψkZt−k +

−(p+1)∑

k=−n

ψkZt−k

∣∣∣∣∣∣

2

≤ 2E

∣∣∣∣∣∣

n∑

k=p+1

ψkZt−k

∣∣∣∣∣∣

2

+2E

∣∣∣∣∣∣

−(p+1)∑

k=−n

ψkZt−k

∣∣∣∣∣∣

2

≤ 2 supt

E(|Zt|2)

∑

(p+1)≤k,l≤n

(|ψkψl| + |ψ−kψ−l|)

≤ ε, ∀n, p ≥ Mε.

Xn,t est donc une suite de Cauchy dans L2 et converge donc dans L2 vers Xt ∈ L2 puisquec’est un Hilbert (donc complet).

Rappels sur l’espace de Hilbert L2

L’espace quotient L2 (X ∼ Y si et seulement si X = Y ps) des variables aleatoires reellesdefinies sur (Ω,A, P ) de carre integrable muni du produit scalaire

〈X, Y 〉 = E [XY ]

est un espace de Hilbert : c’est un espace vectoriel, muni d’un produit scalaire donc d’unenorme, et il est complet. L’espace est quotiente pour que cette application soit bien un produitscalaire.

Proposition 3. Soit ψkk∈Z une suite absolument sommable :∑

k |ψk| < ∞, et Ztt∈Z unprocessus stationnaire, de moyenne µZ et de fonction d’auto-covariance γZ . Alors le processusXt =

∑k∈Z

ψkZt−k est stationnaire, de moyenne µX = µZ∑

k ψk et de fonction d’auto-covariance

γX(h) =∑

j∈Z

∑

k∈Z

ψjψk γZ(h + k − j).

La limite∑

k∈ZψkZt−k est a prendre au sens L2 et p.s.

18

Demonstration. – On verifie les conditions de la proposition precedente, pour montrer

que la limite est au sens p.s. et L2 : on a E[|Zt|] ≤ E[|Zt|2]1/2 =(γZ(0) + µ2

Z

)1/2, donc

les esperances et les variances sont uniformement bornees.– Pour l’esperance E(Xt) = E

(∑k∈Z

ψkZt−k

). D’apres le theoreme de Fubini-Tonnelli,

∣∣∣∣∣E(

∑

k∈Z

ψkZt−k

)∣∣∣∣∣ ≤∑

k∈Z

|ψk|E(|Zt−k|) ≤ supt

E(|Zt|)∑

k∈Z

|ψk| < ∞ .

D’apres le theoreme de Fubini,

E(Xt) = E

(∑

k∈Z

ψkZt−k

)= µZ

∑

k∈Z

ψk.

– Pour la covariance : E(XtXt+h) = E(∑

k∈Z

∑r∈Z

ψkψrZt−kZt+h−r

). On a de plus

|E(XtXt+h)| ≤∑

k∈Z

∑

r∈Z

|ψk||ψr|E(|Zt−kZt+h−r|)Cauchy-Schwarz

≤∑

k∈Z

∑

r∈Z

|ψk||ψr|γZ(0) < ∞.

D’ou l’on deduit

E(XtXt+h) =∑

k∈Z

∑

r∈Z

ψkψr(γZ(k + h − r) + E(Zt)2),

ce qui conclut la preuve de la proposition.La preuve peut aussi etre faite en utilisant la continuite du produit scalaire dans L2 comme

on l’a vu precedemment.

La proposition suivante fournit une condition necessaire et suffisante pour qu’un processusARMA soit causal.

Proposition 4. Soit Xt un processus ARMA(p,q) tels que les polynomes φ(.) et θ(.) n’ontpas de racines communes. Alors Xt est causal si et seulement si φ(z) 6= 0, pour tout z ∈ C

tel que |z| ≤ 1. Les coefficients ψj caracterisant la solution causale evoquee precedemmentsont determines par la relation

ψ(z) =∑

j≥0

ψjzj = θ(z)/φ(z), |z| ≤ 1 .

Demonstration. Supposons que φ(z) 6= 0 si |z| ≤ 1. Ceci implique qu’il existe ε > 0 tel que1/φ(z) a le developpement en serie entiere suivant

1/φ(z) =∞∑

j=0

ξjzj = ξ(z), |z| < 1 + ε .

En consequence, ξj(1 + ε/2)j → 0 lorsque j → ∞ de telle sorte qu’il existe K ∈ (0,∞) pourlequel

|ξj | < K(1 + ε/2)−j , ∀j = 0, 1, 2, . . .

En particulier,∑∞

j=0 |ξj | < ∞ et ξ(z)φ(z) = 1 pour |z| ≤ 1.

19

D’apres la Proposition precedente, on peut appliquer l’operateur ξ(B) aux deux membresde l’equation φ(B)Xt = θ(B)Zt ce qui donne

Xt = ξ(B)θ(B)Zt .

Ceci fournit la representation attendue :

Xt =∑

j≥0

ψjZt−j .

On suppose maintenant que Xt est causal i.e : Xt =∑∞

j=0 ψjZt−j ou∑∞

j=0 |ψj | < ∞. Ona alors

θ(B)Zt = φ(B)Xt = φ(B)ψ(B)Zt .

Posons η(z) = φ(z)ψ(z) =∑∞

j=0 ηjzj , |z| ≤ 1, on peut reecrire l’equation precedente sous la

formeq∑

j=0

θjZt−j =∞∑

j=0

ηjZt−j .

On multiplie chaque membre de l’equation precedente par Zt−k et on prend l’esperance.Comme Zt est un bruit blanc, on obtient que ηk = θk, k = 0, . . . , q et ηk = 0, k > q. Ainsi

θ(z) = η(z) = φ(z)ψ(z), |z| ≤ 1 .

Comme θ(z) et φ(z) n’ont pas de racines communes et |ψ(z)| < ∞ pour |z| ≤ 1, on conclutque φ(z) ne peut pas s’annuler lorque |z| ≤ 1.

Remarque 2. On retrouve a l’aide de la proposition precedente ce que l’on avait trouve pourl’AR(1).

On definit maintenant ce qu’est un processus ARMA inversible.

Definition 11. Un processus ARMA(p,q) defini par φ(B)Xt = θ(B)Zt est dit inversible s’ilexiste une suite πj telle que

∑j≥0 |πj | < ∞ et

Zt =∑

j≥0

πjXt−j , t ∈ Z.

Le theoreme suivant donne une condition necessaire et suffisante pour qu’un processusARMA soit inversible.

Proposition 5. Soit Xt un processus ARMA(p,q) tels que les polynomes φ(.) et θ(.) n’ontpas de racines communes. Alors Xt est inversible si et seulement si θ(z) 6= 0, pour tout z ∈ C

tel que |z| ≤ 1. Les coefficients πj caracterisant la solution inversible evoquee precedemmentsont determines par la relation

π(z) =∑

j≥0

πjzj = φ(z)/θ(z), |z| ≤ 1 .

Demonstration. La preuve est similaire a celle de la proposition precedente.

Proposition 6. Si φ(z) 6= 0, pour tout z de module 1 alors l’equation φ(B)Xt = θ(B)Zt aune unique solution stationnaire s’ecrivant comme suit

Xt =∑

j∈Z

ψjZt−j ,

ou ψj a la meme definition que celle donnee precedemment.

20

2.2 Calcul de la fonction d’autocovariance d’un processus ARMA(p,q)

On donne a present une methode pour calculer la fonction d’auto-covariance d’un proces-sus ARMA.

D’apres la Proposition 3, on a que la fonction d’autocovariance d’un processus ARMA(p,q)causal solution de φ(B)Xt = θ(B)Zt satisfait

γ(k) = σ2∞∑

j=0

ψjψj+|k| (2.2)

ou

ψ(z) =∞∑

j=0

ψjzj = θ(z)/φ(z), lorsque |z| ≤ 1

et θ(z) = 1 + θ1z + θ2z2 + · · · + θqz

q, φ(z) = 1 − φ1z − · · · − φpzp. Pour determiner les

coefficients ψj , on reecrit l’equation precedente sous la forme : ψ(z)φ(z) = θ(z) et on egaliseles coefficients de zj pour obtenir (en posant θ0 = 1, θj = 0 pour j > q et φj = 0 pour j > p) :

ψj −∑

0<k≤j

φkψj−k = θj , 0 ≤ j < max(p, q + 1) (2.3)

etψj −

∑

0<k≤p

φkψj−k = 0, j ≥ max(p, q + 1) . (2.4)

Les deux relations precedentes permettent, en utilisant (2.2) de calculer la fonction d’auto-covariance d’un ARMA(p,q). En effet, la solution generale de (2.4) peut s’ecrire sous la forme :

ψn =k∑

i=1

ri−1∑

j=0

αijnjξ−n

i , n ≥ max(p, q + 1) − p

ou les ξi, i = 1, . . . , k sont les racines distinctes de φ et ri est la multiplicite de ξi. Enparticulier,

∑ki=1 ri = p. Les p constantes αij sont determinees par les equations (2.3) ainsi

que les ψj tels que 0 ≤ j < max(p, q + 1) − p.

Exemple 15.

On considere le processus ARMA : (1 − B + B2/4)Xt = (1 + B)Zt. On veut calculer safonction d’auto-covariance. On a d’une part

ψ0 = θ0 = 1

ψ1 = θ1 + ψ0φ1 = θ1 + φ1 = 2

et d’autre part grace a (2.4), on a

ψj − ψj−1 + ψj−2/4 = 0, j ≥ 2 .

La solution de l’equation precedente est

ψn = (α10 + nα11)2−n, n ≥ 0 .

21

Les constantes α10 et α11 sont trouvees en utilisant que ψ0 = 1 et ψ1 = 2 grace aux deuxpremieres equations, on en deduit

α10 = 1 et α11 = 3 .

Ainsiψn = (1 + 3n)2−n, n = 0, 1, 2, . . .

On obtient donc, pour k ≥ 0,

γ(k) = σ2∑

j≥0

(1 + 3j)(1 + 3j + 3k)2−2j−k

= σ22−k∑

j≥0

[(3k + 1)4−j + 3(3k + 2)j4−j + 9j24−j

]

= σ22−k [4(3k + 1)/3 + 12(3k + 2)/9 + 180/27]

= σ22−k [32/3 + 8k] .

22

Chapitre 3

Representation spectrale d’unprocessus stationnaire

La representation spectrale d’un processus stationnaire Xt, t ∈ Z consiste a decomposerXt en une somme de sinusoıdes avec des coefficients aleatoires decorreles. La representationspectrale pour les processus stationnaires est l’analogue de la representation en series deFourier pour les fonctions deterministes.

3.1 Series chronologiques a valeurs complexes

Definition 12. Le processus Xt est un processus stationnaire a valeurs complexes si E|Xt|2 <∞, E(Xt) et E(Xt+hXt) sont independants de t.

Definition 13. La fonction d’autocovariance d’un processus stationnaire a valeurs complexesXt est definie par

γ(h) = E(Xt+hXt) − E(Xt+h)E(Xt) .

On donne maintenant les proprietes des fonctions d’autocovariance d’un processus a va-leurs complexes

γ(0) ≥ 0 (3.1)

|γ(h)| ≤ γ(0), pour tout entier h (3.2)

γ(.) est hermitienne i.e. γ(h) = γ(−h) (3.3)

Theoreme 2. Une fonction K(.) definie sur les entiers est la fonction d’autocovariance d’unprocessus stationnaire (a valeurs complexes) si et seulement si K(.) est hermitienne et definiepositive i.e. si et seulement si K(n) = K(−n) et

n∑

i,j=1

aiK(i − j)aj ≥ 0

pour tout entier positif n et pour tous nombres complexes (aj)1≤j≤n.

23

3.2 Distribution spectrale d’une combinaison lineaire de si-nusoıdes

On considere le processus Xt defini par

Xt =n∑

j=1

A(λj)eitλj ,

ou −π < λ1 < λ2 < · · · < λn = π et A(λ1), . . . , A(λn) sont des coefficients aleatoires a valeurscomplexes decorreles tels que

E(A(λj)) = 0, j = 1, . . . , n

etE(A(λj)A(λj)) = σ2

j , j = 1, . . . , n .

Xt est un processus stationnaire puisque E(Xt) = 0 et E(Xt+hXt) =∑n

j=1 σ2j e

ihλj = γ(h)sont independants de t. On remarque que

γ(h) =

∫

[−π,π]eihνdF (ν)

ou F (λ) =∑

j:λj≤λ σ2j .

On verra dans la suite que la fonction d’autocovariance de tout processus stationnairepeut s’ecrire sous la forme ci-dessus avec F bornee.

3.3 Theoreme de Herglotz

Theoreme 3. Une fonction γ definie sur les entiers et a valeurs complexes est definie positivesi et seulement si

γ(h) =

∫

[−π,π]eihνdF (ν), h ∈ Z (3.4)

ou F (.) est continue a droite, croissante, bornee sur [−π, π] et telle que F (−π) = 0. La

fonction f definie par F (λ) =∫ λ−π f(ν)dν est appelee la densite spectrale de γ(.).

Demonstration. Si γ(.) est definie par (3.4) alors γ(.) est bien hermitienne et definie positiveet donc une fonction d’autocovariance.

Inversement, supposons que γ(.) est une fonction definie positive sur les entiers. On definitalors

fN (ν) =1

2πN

N∑

r,s=1

e−irνγ(r − s)eisν =1

2πN

∑

|m|<N

(N − |m|)e−imνγ(m) .

γ(.) etant definie positive, on a

fN (ν) ≥ 0, pour tout ν ∈ [−π, π].

Soit FN la fonction de repartition associee a la densite fN (.)1I[−π,π](.). Ainsi, FN (λ) = 0, siλ ≤ −π, FN (λ) = FN (π), si λ ≥ π et

FN (λ) =

∫ λ

−πfN (ν)dν, si − π ≤ λ ≤ π .

24

Alors pour tout entier h,

∫

[−π,π]eihνdFN (ν) =

1

2π

∑

|m|<N

(1 − |m|

N

)γ(m)

∫ π

−πei(h−m)νdν

i.e. ∫

[−π,π]eihνdFN (ν) =

(1 − |h|

N

)γ(h), si |h| < N

0, sinon .

On applique le theoreme de Helly pour deduire qu’il existe une fonction de repartition F et unesous-suite FNk

de FN telle que pour toute fonction continue bornee g verifiant g(−π) = g(π),on ait ∫

[−π,π]g(ν)dFNk

(ν) →∫

[−π,π]g(ν)dF (ν), lorsque k → ∞ .

En remplacant N par Nk dans l’egalite precedente et en faisant tendre k vers l’infini, onobtient

γ(h) =

∫

[−π,π]eihνdF (ν),

qui est la representation spectrale attendue de γ(.).

Theoreme 4. Si K(.) est une fonction complexe quelconque definie sur les entiers telle que

∑

n∈Z

|K(n)| < ∞

alors

K(h) =

∫ π

−πeihνf(ν)dν, h ∈ Z

ou

f(λ) =1

2π

∑

n∈Z

e−inλ K(n) .

Demonstration.∫ π

−πeihνf(ν)dν =

1

2π

∫ π

−π

∑

n∈Z

ei(h−n)νK(n) dν = K(h),

ou on a pu intervertir le signe Σ et l’∫

par le theoreme de Fubini puisque∑

n∈Z|K(n)| <

∞.

Corollaire 1. Une fonction complexe absolument sommable γ(.) a valeurs complexes definiesur les entiers est la fonction d’autocovariance d’un processus stationnaire si et seulement si

f(λ) :=1

2π

∑

n∈Z

e−inλγ(n) ≥ 0, pour tout λ ∈ [−π, π],

auquel cas f(.) est la densite spectrale de γ(.).

25

Demonstration. Supposons que γ(.) est une fonction d’autocovariance. Puisque γ est definiepositive et absolument sommable,

0 ≤ fN (λ) =1

2πN

N∑

r,s=1

e−irλγ(r − s)eisλ

=1

2π

∑

|m|<N

(1 − |m|

N

)e−imλγ(m) → f(λ), lorsque N → ∞ .

Ainsi f(λ) ≥ 0 pour tout λ ∈ [−π, π]. En utilisant le theoreme precedent, on a que γ(h) =∫ π−π eihνf(ν)dν pour h ∈ Z.

Inversement, supposons uniquement que γ est absolument sommable. D’apres le theoremeprecedent, γ(h) =

∫ π−π eihνf(ν)dν. Si f(λ) ≥ 0, alors γ(h) =

∫ π−π eihνdF (ν) ou F (λ) =

∫ λ−π f(ν)dν. Ceci implique d’apres le theoreme 3 de Herglotz que γ(.) est une fonction d’au-

tocovariance de densite spectrale f .

Exemple 16.

Nous pouvons prouver grace a ce corollaire que la fonction K definie par

K(h) =

1, si h = 0ρ, si h = 1 et h = −1

0, sinon .

est une fonction d’autocovariance si et seulement si |ρ| ≤ 1/2.

3.4 Densite spectrale des processus ARMA

Theoreme 5. Soit Yt un processus stationnaire de moyenne nulle pouvant etre a valeurscomplexes de fonction de repartition spectrale FY (.) et Xt le processus defini par

Xt =∑

j∈Z

ψjYt−j ou∑

j∈Z

|ψj | < ∞,

alors Xt est un processus stationnaire de fonction de repartition spectrale

FX(λ) =

∫

[−π,λ]

∣∣∣∣∣∣

∑

j∈Z

ψje−ijν

∣∣∣∣∣∣

2

dFY (ν), −π ≤ λ ≤ π .

Demonstration. D’apres ce que l’on a vu dans le chapitre sur les processus ARMA, Xt estun processus stationnaire de moyenne nulle et de fonction d’autocovariance

E(Xt+hXt) =∑

j,k∈Z

ψjψkγY (h − j + k), h ∈ Z.

En utilisant la representation spectrale de γY , on obtient

γX(h) =∑

j,k∈Z

ψjψk

∫

[−π,π]ei(h−j+k)νdFY (ν)

=

∫

[−π,π]

∑

j∈Z

ψje−ijν

(

∑

k∈Z

ψkeikν

)eihνdFY (ν) =

∫

[−π,π]eihν

∣∣∣∣∣∣

∑

j∈Z

ψje−ijν

∣∣∣∣∣∣

2

dFY (ν)

26

ce qui permet d’identifier la fonction de repartition spectrale de Xt.

Remarque 3. Si Yt a pour densite spectrale fY et si Xt est defini par Xt =∑

j∈ZψjYt−j

ou∑

j∈Z|ψj | < ∞, alors la densite spectrale de Xt vaut

fX(λ) = |ψ(e−iλ)|2fY (λ),

ou ψ(e−iλ) =∑

j∈Zψje

−ijλ.

On peut en deduire la densite spectrale d’un processus ARMA(p,q).

Theoreme 6. Soit Xt un processus ARMA(p,q) (pas necessairement causal ou inversible)satisfaisant

φ(B)Xt = θ(B)Zt, ou Zt est un bruit blanc d’esperance nulle et de variance σ2

ou φ(z) = 1 − φ1z − · · · − φpzp et θ(z) = 1 + θ1z + · · · + θqz

q n’ont pas de racines communeset φ(z) n’a pas de racines sur le cercle unite. Alors, Xt a pour densite spectrale

fX(λ) =σ2

2π

|θ(e−iλ)|2|φ(e−iλ)|2 , −π ≤ λ ≤ π .

Demonstration. Trivial.

Exemple 17. Densite spectrale d’un MA(1)

Si Xt = Zt + θZt−1, ou Zt est un bruit blanc d’esperance nulle et de variance σ2 alors

fX(λ) =σ2

2π|1 + θe−iλ|2 =

σ2

2π(1 + 2θ cos(λ) + θ2), −π ≤ λ ≤ π .

Exemple 18. Densite spectrale d’un AR(1)

Si Xt − φXt−1 = Zt, ou Zt est un bruit blanc d’esperance nulle et de variance σ2 alors

fX(λ) =σ2

2π|1 − φe−iλ|−2 =

σ2

2π(1 − 2φ cos(λ) + φ2)−1, −π ≤ λ ≤ π .

3.5 Causalite, inversibilite et densite spectrale

Soit Xt un processus ARMA(p,q) satisfaisant

φ(B)Xt = θ(B)Zt, ou Zt est un bruit blanc d’esperance nulle et de variance σ2

ou φ(z)θ(z) 6= 0 pour tout z de module 1.On va montrer que l’on peut proposer une representation causale et inversible d’un pro-

cessus ARMA(p,q).On factorise les polynomes φ et θ sous la forme

p∏

j=1

(1 − a−1j B)Xt =

q∏

j=1

(1 − b−1j B)Zt

27

ou Zt est un bruit blanc d’esperance nulle et de variance σ2 et

|aj | > 1, 1 ≤ j ≤ r, |aj | < 1, r < j ≤ p,

et|bj | > 1, 1 ≤ j ≤ s, |bj | < 1, s < j ≤ q .

Le theoreme precedent donne pour Xt la densite spectrale suivante

fX(λ) =σ2

2π

∏qj=1 |1 − b−1

j e−iλ|2∏p

j=1 |1 − a−1j e−iλ|2

.

Definissons a present,

φ(B) =∏

1≤j≤r

(1 − a−1j B)

∏

r<j≤p

(1 − ajB)

etθ(B) =

∏

1≤j≤s

(1 − b−1j B)

∏

s<j≤q

(1 − bjB)

alors le processus ARMA defini par φ(B)Xt = θ(B)Zt a pour densite spectrale

fX(λ) =σ2

2π

|θ(e−iλ)|2|φ(e−iλ)|2

.

Puisque|1 − bje

−iλ| = |1 − bjeiλ| = |bj ||1 − b−1

j e−iλ|,fX peut etre reecrit sous la forme

fX(λ) =

∏s<j≤q |bj |2∏r<j≤p |aj |2

fX(λ) .

Ainsi le processus ARMA(p,q) X+t defini par

φ(B)X+t = θ(B)Zt

ou Zt est un bruit blanc d’esperance nulle et de variance σ2(∏

r<j≤p |aj |)2 (∏

s<j≤q |bj |)−2

est causal et inversible et a exactement la meme densite spectrale (et donc la meme fonctiond’autocovariance) que Xt. En fait, Xt a la representation causale et inversible

φ(B)Xt = θ(B)Z∗t

ou Z∗t est un bruit blanc ayant la meme variance que Zt puisque les racines de φ et de θ

ont des racines de module strictement plus grand que 1.

Exemple 19.

Le processus ARMAXt − 2Xt−1 = Zt + 4Zt−1,

ou Zt est un bruit blanc de moyenne nulle et de variance σ2. Xt a la representationcausale inversible donnee par

Xt − 0.5Xt−1 = Z∗t + 0.25Z∗

t−1,

ou Z∗t est un bruit blanc d’esperance nulle et de variance 4σ2.

28

Chapitre 4

Prediction de processusstationnaires

Dans ce chapitre, nous nous interessons au probleme de la prediction des valeurs Xt, t ≥n + 1 d’un processus stationnaire a partir des valeurs X1, . . . , Xn. Etant donne un sous-espace ferme M de L2, le meilleur predicteur de Xn+h appartenant a M est defini commel’element de M etant a la plus petite distance (issue de la norme L2) de Xn+h. D’apres ce quel’on sait sur l’espace L2, il s’agit de la projection sur le sous-espace ferme M. On s’interesseradans ce chapitre a la meilleure prediction lineaire i.e. a la meilleure combinaison lineaire de1, X1, . . . , Xn definie par Psp1,X1,...,XnXn+h, ou sp1, X1, . . . , Xn designe la fermeture del’espace vectoriel engendre par 1, X1, . . . , Xn.

4.1 Prediction d’un processus stationnaire

On supposera dans tout ce chapitre que Xt est d’esperance nulle. Ainsi,

Psp1,X1,...,XnXn+h = PspX1,...,XnXn+h .

4.1.1 Prediction a “un pas”

Soit Hn le sous-espace vectoriel ferme : spX1, . . . , Xn et soit Xn+1, n ≥ 0 le predicteura un pas defini par

Xn+1 =

0, si n = 0

PHnXn+1, si n ≥ 1 .

Puisque Xn+1 ∈ Hn, n ≥ 1, nous pouvons ecrire

Xn+1 = φn1Xn + · · · + φnnX1, n ≥ 1,

ou φn1, . . . , φnn satisfont (puisque Xn+1 − PHnXn+1 est orthogonal a Hn) :

⟨Xn+1 −

n∑

i=1

φniXn+1−i, Xn+1−j

⟩= 0, , j = 1, . . . , n

soit encore ⟨n∑

i=1

φniXn+1−i, Xn+1−j

⟩= 〈Xn+1, Xn+1−j〉 , j = 1, . . . , n

29

ou 〈X, Y 〉 = E(XY ). Les equations precedentes peuvent s’ecrire sous la forme

n∑

i=1

φniγ(i − j) = γ(j), j = 1, . . . , n

ou de facon equivalenteΓnφn = γn, (4.1)

ou Γn = [γ(i − j)]i,j=1,...,n, γn = (γ(1), . . . , γ(n))′ et φn = (φn1, . . . , φnn)′. L’equation (4.1) aune seule solution si et seulement si Γn est inversible auquel cas la solution vaut :

φn = Γ−1n γn .

La proposition suivante fournit les conditions suffisantes assurant que Γn est inversiblepour tout n. On a ainsi les conditions sous lesquelles on peut calculer le predicteur a “unpas”.

Proposition 7. Si γ(0) > 0 et si γ(h) → 0 lorsque h → ∞ alors la matrice de covarianceΓn = [γ(i − j)]i,j=1,...,n est inversible pour tout n.

Demonstration. On fait une preuve par recurrence. Γ1 = γ(0) > 0 est donc inversible. Sup-posons que Γr est inversible, montrons que Γr+1 est inversible. Pour cela supposons que Γr+1

n’est pas inversible. On en deduit qu’il existe a non nul dans Rr+1 tel que ar+1 6= 0 et tel que

a′Γr+1a = 0.En effet, si l’on suppose que ar+1 = 0,

0 = a′Γr+1 a = (a′ ar+1)

(Γr

...· · · γ(0)

)(a

ar+1

)= a′Γr a .

Or a 6= 0 donc a 6= 0 et a′Γr a = 0 ainsi Γr est non inversible : contradiction.On peut supposer sans perte de generalite que ar+1 = 1.Montrons que pour tout h ≥ 1, Xr+h est une combinaison lineaire de X1, . . . , Xr.

0 = a′Γr+1a = a′E[(X1, . . . , Xr+1)

′(X1, . . . , Xr+1)]a = E

(

r+1∑

k=1

akXk

)2

.

On en deduit que

Xr+1 = −r∑

k=1

akXk =

r∑

k=1

bkXk .

Par stationnarite de Xt, on a

E[(X1, . . . , Xr+1)

′(X1, . . . , Xr+1)]

= E[(Xh, . . . , Xr+h)′(Xh, . . . , Xr+h)

]

et donc

Xr+h =r∑

j=1

bjXj+h−1, ∀h ≥ 1 .

On en deduit que pour tout n ≥ r + 1, Xn est une combinaison lineaire de X1, . . . , Xr i.e.

Xn = b(n)′(X1, . . . , Xr)′ .

30

A partir de l’ecriture precedente, on deduit

γ(0) = b(n)′Γrb(n) = b(n)′UΛU ′b(n),

ou les elements de la diagonale de Λ sont : 0 < λ1 ≤ · · · ≤ λr. Ainsi,

γ(0) ≥ λ1b(n)′UU ′b(n) = λ1

r∑

j=1

(b(n)j )2

ce qui montre que les b(n)j sont bornes. On peut aussi ecrire γ(0) = Cov(Xn,

∑rj=1 b

(n)j Xj) et

on en deduit

0 < γ(0) ≤r∑

j=1

|b(n)j | |γ(n − j)| .

On ne peut donc pas avoir que γ(0) > 0 puisque γ(h) → 0 lorsque h → ∞ : c’est unecontradiction. On en deduit donc que Γr+1 est inversible et donc, par recurrence, on a leresultat attendu.

Corollaire 2. Sous les hypotheses de la proposition precedente, le meilleur predicteur lineaireXn+1 de Xn+1 en fonction de X1, . . . , Xn est

Xn+1 =n∑

i=1

φniXn+1−i, n = 1, 2, . . .

ou φn := (φn1, . . . , φnn)′ = Γ−1n γn, γn = (γ(1), . . . , γ(n))′ et Γn = [γ(i − j)]i,j=1,...,n. L’erreur

quadratique moyenne vaut : vn = γ(0) − γ′nΓ−1

n γn.

Demonstration. Le debut a deja ete vu. On calcule maintenant vn.

vn = E

[(Xn+1 − Xn+1

)2]

= γ(0) + φ′nΓnφn − 2

n∑

i=1

φniγ(i) = γ(0) + γ′nΓ−1

n γn − 2γ′nΓ−1

n γn

= γ(0) − γ′nΓ−1

n γn .

4.1.2 Prediction a “h pas”, h ≥ 1

Le meilleur predicteur de Xn+h en fonction de X1, . . . , Xn pour tout h ≥ 1 peut se calculerexactement de la meme facon que Xn+1 et donc

PHnXn+h = φ

(h)n1 Xn + · · · + φ(h)

nn X1, n, h ≥ 1

ou φ(h)n = (φ

(h)n1 , . . . , φ

(h)nn )′ est solution (unique si Γn est inversible) de

Γnφ(h)n = γ(h)

n

ou γ(h)n = (γ(h), γ(h + 1), . . . , γ(n + h − 1))′.

31

4.2 Algorithmes recursifs pour calculer les meilleurs predicteurslineaires

L’utilisation d’algorithmes recursifs est tres importante en pratique. En effet, on n’a ainsipas besoin d’inverser la matrice Γn qui peut etre de grande dimension lorsque n est tres grand.D’autre part, les algorithmes recursifs permettent d’utiliser le predicteur lineaire calcule apartir de n observations lorsque le nombre d’observations devient egal a n + 1 pour calculerle predicteur lineaire a partir de n + 1 observations.

4.2.1 Algorithme de Durbin-Levinson

L’algorithme de Durbin-Levinson detaille dans la proposition suivante explique commentcalculer φn = (φn1, . . . , φnn)′ et vn correspondant a l’erreur quadratique moyenne donnee par

vn = E[(Xn+1 − Xn+1)

2], n ≥ 1 .

Proposition 8. Si Xt est un processus stationnaire de moyenne nulle et de fonction d’au-tocovariance γ(.) telle que γ(0) > 0 et γ(h) → 0 lorsque h → ∞ alors les coefficients φni

definis parXn+1 = φn1Xn + · · · + φnnX1, n ≥ 1,

et vn defini ci-dessus satisfont : φ11 = γ(1)/γ(0), v0 = γ(0),

φnn =

γ(n) −n−1∑

j=1

φn−1,jγ(n − j)

v−1n−1,

φn,1...

φn,n−1

=

φn−1,1

...φn−1,n−1

− φnn

φn−1,n−1

...φn−1,1

etvn = vn−1(1 − φ2

nn) .

Demonstration. Par definition, K1 = spX2, . . . , Xn et K2 = spX1 − PK1(X1) sont des

sous-espaces orthogonaux de Hn = spX1, . . . , Xn. De plus, si Y ∈ L2, on a : PHn(Y ) =

PK1(Y ) + PK2

(Y ). Ainsi,

Xn+1 = PK1(Xn+1) + PK2

(Xn+1) = PK1(Xn+1) + a(X1 − PK1

(X1))

oua = 〈Xn+1, X1 − PK1

(X1)〉 /‖X1 − PK1(X1)‖2 .

En effet, en multipliant les deux membres de l’egalite definissant Xn+1 par X1 −PK1(X1), on

obtient :a =

⟨Xn+1, X1 − PK1

(X1)⟩

/‖X1 − PK1(X1)‖2 ,

d’autre part,⟨Xn+1 − Xn+1, X1 − PK1

(X1)⟩

= 0 puisque X1 − PK1(X1) est dans K2 ⊂ Hn

et Xn+1 − Xn+1 est orthogonal a Hn.

32

En utilisant la stationnarite du processus Xt, on a que (X1, . . . , Xn) a la meme fonctiond’autocovariance que (Xn, Xn−1, . . . , X1) et (X2, . . . , Xn+1) et donc :

PK1(X1) =

n−1∑

j=1

φn−1,jXj+1

PK1(Xn+1) =

n−1∑

j=1

φn−1,jXn+1−j

et‖X1 − PK1

(X1)‖2 = ‖Xn+1 − PK1(Xn+1)‖2 = ‖Xn − Xn‖2 = vn−1 .

On en deduit que

Xn+1 = aX1 +

n−1∑

j=1

(φn−1,j − aφn−1,n−j) Xn+1−j

ou

a =

〈Xn+1, X1〉 −n−1∑

j=1

φn−1,j 〈Xn+1, Xj+1〉

v−1n−1 =

γ(n) −n−1∑

j=1

φn−1,jγ(n − j)

v−1n−1 .

D’apres les hypotheses de la proposition, la representation suivante est unique

Xn+1 =n∑

j=1

φnjXn+1−j .

En comparant les coefficients des deux decompositions de Xn+1, on a

φnn = a

etφnj = φn−1,j − aφn−1,n−j , j = 1, . . . , n − 1 .

On doit maintenant etablir le resultat concernant vn.

vn = ‖Xn+1 − Xn+1‖2 = ‖Xn+1 − PK1(Xn+1) − PK2

(Xn+1)‖2

= ‖Xn+1 − PK1(Xn+1)‖2 + ‖PK2

(Xn+1)‖2 − 2 〈Xn+1 − PK1(Xn+1), PK2

(Xn+1)〉= vn−1 + a2vn−1 − 2a 〈Xn+1, X1 − PK1

(X1)〉 .

D’apres la definition de a, on a :

vn = vn−1(1 − a2) .

Remarque 4. Lien avec la fonction d’autocorrelation partielle (voir TD).

33

4.2.2 Algorithme des innovations

L’idee centrale de la proposition precedente consistait a decomposer Hn en deux sous-espaces orthogonaux : K1 et K2. L’idee de l’algorithme des innovations consiste a decomposerHn en n sous-espaces orthogonaux au moyen de la procedure de Gram-Schmidt.

L’algorithme des innovations est plus facilement applicable puisque l’on permet a Xtde ne pas etre un processus stationnaire. On le suppose uniquement de moyenne nulle et defonction d’autocovariance

κ(i, j) = E(XiXj) .

Rappelons que Hn = spX1, . . . , Xn et vn = ‖Xn+1 − Xn+1‖2. On a, en posant X1 = 0,

Hn = spX1 − X1, X2 − X2, . . . , Xn − Xn, n ≥ 1

de telle sorte que

Xn+1 =n∑

j=1

θnj

(Xn+1−j − Xn+1−j

).

L’algorithme des innovations decrit dans la proposition suivante fournit une methode recursivepermettant de calculer (θnj , j = 1, . . . , n ; vn), n = 1, 2, . . .

Proposition 9. Si Xt a une moyenne nulle et E(XiXj) = κ(i, j), ou la matrice [κ(i, j)]i,j=1,...,n

est inversible pour tout n ≥ 1 alors

Xn+1 =

0, si n = 0∑n

j=1 θnj(Xn+1−j − Xn+1−j), si n ≥ 1

et

v0 = κ(1, 1)

θn,n−k = v−1k

(κ(n + 1, k + 1) − ∑k−1

j=0 θk,k−jθn,n−jvj

), k = 0, 1, . . . , n − 1,

vn = κ(n + 1, n + 1) − ∑n−1j=0 θ2

n,n−jvj .

Demonstration. Par definition de Hn, (Xi− Xi) ∈ Hj−1 lorsque i < j et par definition de Xj ,on a que (Xj − Xj) est orthogonal a Hj−1. On considere

Xn+1 =n∑

j=1

θnj(Xn+1−j − Xn+1−j)

et on fait le produit scalaire des deux membres de l’egalite precedente avec Xk+1 − Xk+1,0 ≤ k < n et on obtient ⟨

Xn+1, Xk+1 − Xk+1

⟩= θn,n−kvk .

Puisque (Xn+1 − Xn+1) est orthogonal a (Xk+1 − Xk+1) lorsque 0 ≤ k < n, les coefficientsθn,n−k, k = 0, . . . , n − 1 sont donnes par

θn,n−k = v−1k

⟨Xn+1, Xk+1 − Xk+1

⟩. (4.2)

En utilisant que

Xk+1 =k∑

j=1

θkj(Xk+1−j − Xk+1−j) =k−1∑

j=0

θk,k−j(Xj+1 − Xj+1),

34

θn,n−k = v−1k

κ(n + 1, k + 1) −k−1∑

j=0

θn,k−j

⟨Xn+1, Xj+1 − Xj+1

⟩

.

D’apres (4.2),⟨Xn+1, Xj+1 − Xj+1

⟩= vjθn,n−j , 0 ≤ j < n, l’egalite ci-dessus se reecrit

θn,n−k = v−1k

κ(n + 1, k + 1) −k−1∑

j=0

θn,k−jθn,n−jvj

.

Prouvons a present le resultat concernant vn :

vn = ‖Xn+1 − Xn+1‖2 Pythagore= ‖Xn+1‖2 − ‖Xn+1‖2 = κ(n + 1, n + 1) −

n−1∑

k=0

θ2n,n−kvk .

Exemple 20. Prediction d’un processus MA(1) a l’aide de l’algorithme des innovations (cfTD)

4.2.3 Calcul recursif d’un predicteur a “h pas”

Notons Pn l’operateur de projection sur Hn alors le predicteur a h pas : Pn(Xn+h) peutetre calcule comme suit

Pn(Xn+h) = Pn(Pn+h−1(Xn+h)) = Pn(Xn+h) = Pn

n+h−1∑

j=1

θn+h−1,j

(Xn+h−j − Xn+h−j

)

.

Puisque (Xn+h−j − Xn+h−j) est orthogonal a Hn lorsque j < h, on a

Pn(Xn+h) =n+h−1∑

j=h

θn+h−1,j

(Xn+h−j − Xn+h−j

)

ou les coefficients θnj ont ete determines precedemment.De plus,

E[(Xn+h − Pn(Xn+h))2

] Pythagore= ‖Xn+h‖2 − ‖Pn(Xn+h)‖2

= κ(n + h, n + h) −n+h−1∑

j=h

θ2n+h−1,jvn+h−j−1 .

35

Chapitre 5

Estimation de la moyenne et de lafonction d’autocovariance

Si Xt est un processus stationnaire alors sa moyenne µ et son autocovariance γ(.) contri-buent a sa caracterisation. C’est pour cela que l’estimation de µ, de γ et de la fonction d’au-tocorrelation ρ(.) = γ(.)/γ(0) a partir des observations X1, . . . , Xn joue un role crucial dansla modelisation des donnees. Dans ce chapitre, on va proposer des estimateurs des differentsparametres precedents et donner leurs proprietes statistiques.

5.1 Estimation de µ

Un estimateur sans biais naturel de la moyenne µ d’un processus stationnaire Xt est lamoyenne empirique

Xn = (X1 + · · · + Xn)/n .

On commence par examiner le comportement de l’erreur quadratique moyenne : E[(Xn − µ)2

]

lorsque n tend vers l’infini.

Proposition 10. Si Xt est un processus stationnaire de moyenne µ et de fonction d’auto-covariance γ, alors, lorsque n tend vers l’infini

Var(Xn) = E[(Xn − µ)2

]→ 0, si γ(n) → 0

etnE

[(Xn − µ)2

]→

∑

h∈Z

γ(h), si∑

h∈Z

|γ(h)| < ∞ .

Demonstration.

n Var(Xn) =1

nE

n∑

j=1

(Xj − µ)

2

=1

nE

n∑

i,j=1

(Xi − µ)(Xj − µ)

=1

n

n∑

i,j=1

E [(Xi − µ)(Xj − µ)] =1

n

n∑

i,j=1

Cov(Xi, Xj) =1

n

n∑

i,j=1

γ(i − j)

36

=n−1∑

h=−(n−1)

(1 − |h|

n

)γ(h) ≤

∑

|h|<n

|γ(h)| .

L’egalite

1

n

n∑

i,j=1

γ(i − j) =n−1∑

h=−(n−1)

(1 − |h|

n

)γ(h)

vient du fait que la matrice [γ(i− j)]1≤i,j≤n est une matrice de Toeplitz ayant (n− 1) termessur la premiere surdiagonale tous egaux a γ(1), (n − 2) termes sur la deuxieme surdiagonaletous egaux a γ(2)...

Si γ(n) → 0, alors par Cesaro, (∑

|h|<n |γ(h)|)/n → 0 et donc Var(Xn) → 0.Si

∑k∈Z

|γ(h)| < ∞, alors par le theoreme de convergence dominee, on a le second resultatattendu.

Remarque 5. Si∑

h∈Z|γ(h)| < ∞, alors Xt a une densite spectrale f et d’apres ce qui a

ete vu dans le chapitre sur la representation spectrale des processus stationnaires,

n Var(Xn) →∑

h∈Z

γ(h) = 2πf(0) .

Remarque 6. Si Xt =∑

j∈ZψjZt−j et que

∑j∈Z

|ψj | < ∞ alors∑

h∈Z|γ(h)| < ∞ et donc

n Var(Xn) →∑

h∈Z

γ(h) = 2πf(0) = σ2

∑

j∈Z

ψj

2

.

Remarque 7. Sous l’hypothese∑

h∈Z|γ(h)| < ∞, Var(Xn) ∼ n−1

∑h∈Z

γ(h). Ceci suggereque, sous certaines conditions, on pourrait montrer que Xn est asymptotiquement normald’esperance µ et de variance n−1

∑h∈Z

γ(h).

Proposition 11. Si Xt est un processus stationnaire tel que

Xt = µ +∑

j∈Z

ψjZt−j

ou les Zt sont iid de moyenne nulle et de variance σ2,∑

j∈Z|ψj | < ∞ et

∑j∈Z

ψj 6= 0 alors

√n(Xn − µ)

L−→ N (0, v)

ou v =∑

h∈Zγ(h) = σ2

(∑j∈Z

ψj

)2et γ est la fonction d’autocovariance de Xt.

Demonstration. On definit

Xtm = µ +m∑

j=−m

ψjZt−j

et

Ynm = Xnm =

(n∑

t=1

Xtm

)/n .

37

Lorsque n → ∞, √n(Ynm − µ)

L−→ Ym ,

ou

Ym ∼ N

0, σ2

m∑

j=−m

ψj

2

.

Cette affirmation vient de l’application du theoreme central limite pour les suites stric-tement stationnaires m-dependantes. La propriete de m-dependance generalise la notiond’independance : des variables m-dependantes sont independantes pourvu qu’elles soientseparees d’au moins m unites de temps. Par exemple, un processus MA(q) est m-dependant.

Lorsque m → ∞, σ2(∑m

j=−m ψj

)2→ σ2

(∑j∈Z

ψj

)2et donc, en utilisant le theoreme

de Paul Levy assurant l’equivalence entre convergence en loi et convergence des fonctionscaracteristiques correspondantes,

YmL−→ N

0, σ2

∑

j∈Z

ψj

2

.

En utilisant la remarque 6, on a

Var(√

n(Xn − Ynm))

= n Var

n−1n∑

t=1

∑

|j|>m

ψjZt−j

→

∑

|j|>m

ψj

2

σ2 lorsque n → ∞ .

Ainsilim

m→∞lim sup

n→∞Var

(√n(Xn − Ynm)

)= 0 .

On en deduit que√

n(Xn − µ)L−→ N

(0, σ2

(∑j∈Z

ψj

)2)

. En effet, le resultat se deduit de

la proposition suivante :

Soient (Xn) et (Yn,j) des variables aleatoires telles que

(i) Yn,jL→ Yj , lorsque n → ∞ pour chaque j = 1, 2, . . .

(ii) YjL→ Y , lorsque j → ∞

(iii) limj→∞ lim supn→∞ P (|Xn − Ynj | > ε) = 0, ∀ε > 0,alors

XnL→ Y, lorsque n → ∞.

Cette proposition se demontre une fois encore en utilisant le theoreme de Paul Levy.

Remarque 8. Le theoreme precedent sert a fournir des intervalles de confiance asympto-tiques pour µ. Si le processus Xt est non seulement stationnaire mais aussi gaussien alorson peut montrer que, pour n fini,

√n(Xn − µ) ∼ N

0,∑

|h|<n

(1 − |h|

n

)γ(h)

.

38

5.2 Estimation de γ et de ρ

Les estimateurs que nous allons utiliser pour γ(h) et ρ(h) sont

γ(h) = n−1n−h∑

t=1

(Xt − Xn)(Xt+h − Xn), 0 ≤ h ≤ n − 1,

ρ(h) = γ(h)/γ(0) .

L’estimateur γ(h) est biaise mais on peut montrer (voir plus loin) que, sous certaines hy-potheses, il est asymptotiquement non biaise i.e. que sa moyenne tend vers γ(h) lorsquen → ∞.

Les estimateurs γ(h) ont aussi la propriete interessante suivante : pour tout n ≥ 1, lamatrice

Γn =

γ(0) γ(1) . . . γ(n − 1)γ(1) γ(0) . . . γ(n − 2)

...γ(n − 1) γ(n − 2) . . . γ(0)

est definie positive. Pour montrer cela, on ecrit

Γn = n−1TT ′ ,

ou T est la matrice n × 2n suivante

T =

0 . . . 0 Y1 Y2 . . . Yn

0 . . . 0 Y1 Y2 . . . Yn 0...0 Y1 Y2 . . . Yn 0 . . . 0

et Yi = Xi − Xn, i = 1, . . . , n. Ainsi pour tout vecteur a de taille n × 1,

a′Γna = n−1(a′T )(a′T )′ ≥ 0 .

De plus, on peut montrer que det(Γn) > 0, si γ(0) > 0.La proposition suivante sera utile pour arriver a savoir quel processus ARMA(p,q) corres-

pond le mieux a la modelisation de la partie aleatoire de certaines donnees. En effet, on saitque ρ(k) = 0, ∀|k| > q lorsque l’on a affaire a un MA(q). La proposition suivante va servir amettre au point un test pour savoir si ρ(k) est significativement different de 0 ou pas.

Proposition 12. Si Xt est un processus stationnaire

Xt − µ =∑

j∈Z

ψjZt−j ,

ou les Zt sont iid d’esperance nulle et de variance σ2,∑

j∈Z|ψj | < ∞ et E(Z4

t ) < ∞ alorspour tout h ∈ 1, 2, . . .

√n(ρV (h) − ρV (h))

L−→ N (0, W ) lorsque n → ∞

39

ouρV (h)′ = [ρ(1), . . . , ρ(h)]

ρV (h)′ = [ρ(1), . . . , ρ(h)]

et W est une matrice de covariance dont l’element (i, j) est donne par la formule de Bartlett

wi,j =∑

k≥1

[ρ(k + i) + ρ(k − i) − 2ρ(i)ρ(k)] × [ρ(k + j) + ρ(k − j) − 2ρ(j)ρ(k)] .

Remarque 9.

L’hypothese E(Z4t ) < ∞ peut etre remplacee par

∑j∈Z

|j|ψ2j < ∞.

Application 1 : Tester si des observations sont iid

1ere methode : Fonction d’autocorrelation empirique

Si les Xt sont iid d’esperance nulle et de variance σ2 alors ρ(l) = 0 si |l| > 0 et donc

wij =

1, si i = j,0, sinon.

Pour n suffisamment grand, ρ(1), . . . , ρ(h) sont approximativement iid gaussiens d’esperancenulle et de variance n−1. Donc si on trace les autocorrelations empiriques ρ(k) en fonction dek ≥ 1 et si celles-ci restent entre les bornes −1.96 × n−1/2 et 1.96 × n−1/2 alors ceci assureque l’on a bien affaire a des donnees iid.

2eme methode : Test de Portmanteau

Au lieu de regarder si chaque ρ(k) est bien dans l’intervalle de confiance precedent, onpeut envisager une statistique globale

Q = nh∑

j=1

ρ(j)2 .

Si les observations sont iid alors Q est la somme de h variables aleatoires qui sont des carresde gaussiennes centrees reduites, Q suit donc une loi χ2(h). Une valeur trop grande de Qpar rapport au (1 − α)-quantile d’une loi du χ2(h) nous amene a rejeter l’hypothese que lesobservations sont iid.

Application 2 : Tester si un processus est un MA(q) ou un AR(1)

On utilise pour ce faire la formule de Bartlett et la proposition precedente (voir TD).

40