Économétrie non-linéaire - Chapitre 1: Introduction stylisés Rappel - modèles linéaires...

Faits stylisés Rappel - modèles linéaires Méthodes d’estimation Conclusions Références

Économétrie non-linéaireChapitre 1: Introduction

Gilles de Truchis, Elena Dumitrescu

Master 2 BMM - EIPMC - GDA

Septembre 2016

Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 1/63


Les chapitres du cours

1 Faits stylisés2 Rappel - modèles linéaires3 Méthodes d’estimation

Méthode du Maximum deVraisemblance

4 Conclusions5 Références



1. FAITS STYLISES



Introduction

Pourquoi s’intéresser aux modèles non-linéaires ?

Quelles sont les limites des modèles linéaires ?

Quelles caractéristiques des données ne peuvent pas être modéliséespar les méthodes linéaires ?

Quels instruments de diagnostique (visuels et statistiques) peuventindiquer une incompatibilité entre les données et un modèle li-néaire ?



Introduction

Vaste ensemble de données en séries temporelles (macroéconomie,finance, microéconomie, etc.)

Différentes techniques d’analyse de ces donnés ont été proposées(par exemple, les modèles de régression linéaire, ARMA, ARCH /GARCH, VAR, etc.)



Introduction

Definition (Processus stochastique)

Un processus stochastique (une série temporelle) est une séquence devariables aléatoires Yt, t ∈ Ω indicées par le symbole t, où t appartientà un ensemble ordonné (noté ici Ω) qui correspond au temps.

Si l’indice t prend des valeurs réelles, c’est-à-dire Ω ∈ R+, Yt, t ∈Ω est qualifié de processus stochastique continu.

Dans le cas contraire où les valeurs prises par t sont discrètes,Ω ∈ N, alors Yt, t ∈ Ω est un processus stochastique discret.

Exemples : produit intérieur brut, taux de chômage, taux d’inflation,etc.



Introduction

Par définition, un processus stochastique

Yt, t ∈ Ω

est une variable aléatoire pour laquelle il existe un mécanisme gé-nérateur des données, dont les réalisations successives conduisentà un échantillon (ou trajectoire) d’observations dans le temps, àsavoir

yt, t ∈ Ω



Introduction

Objectifs : révéler la distribution probabiliste qui décrit le pro-cessus sous-jacent dans le but de comprendre et d’interpréter lesmécanismes générateurs de données, de prévoir les événements fu-turs et de contrôler la survenue des événements futurs à traversune intervention régulatrice

Sur la base des objectifs fixés ex-ante et des faits stylisés identifiéssur les données observées, le modèle probabiliste le plus appropriéest choisi



Introduction

RemarkLa caractérisation complète de la dynamique du processus stochastiqueest impossible si on ne recourt pas à des hypothèses simplificatrices.

Exemple : si Ω est fini et t ∈ 1; 2; · · · ;T et qu’on se limite aux deuxseuls premiers moments du processus stochastique, il faudrait estimerE(Y1),E(Y2), · · · ,E(YT ), soit T éléments, ainsi que les T (T + 1)/2éléments de la matrice de variance-covariance résumant la dépendancetemporelle.

Hypothèse simplificatrice standard : stationnarité (au sensfaible) du processus stochastique



Dépendance linéaire ou non-linéaire ?

•

•

••

•

•

•••

•

•

••

•

•

•

•

•

•

••••

•

•

•

•

•

•

••

•

•

•

••

••

•

•

•

•

•••

••••

•••

•

•

••

•

•

•••

•

•

••

•

•

•••••••

••

•

••

••

•

••••

•••

••

••

•

••

•

•

•

•

•

•

••••

•••

•

•••

•

0 50 100 150 200

0.00.5

1.01.5

2.0

•

•

•••

•

•

•••••

•

•••••

•

•

•

•

••••••••••

•••••

•

•

•

•

•

•

••

•••••••••••

•••

•••••••••••••••

•

•••••••

••

•

•

•

••

•••••••

••

•

•

••••

•••••

•

••

•

••

••

•••

•

•

••••

•

••

•••

•

•

•••

•

•

•

••

••

•

•

••

•

••••••

•

•••••

••

•••

•

••

•

•

••••••

••••••••••

•••

•••••

•

•••

•

0 50 100 150 200

1.5

2.5

3.5




•

•

••

•

•

•••

•

•

••

•

•

•

•

•

•

••••

•

•

•

•

•

•

••

•

•

•

••

••

•

•

•

•

•••

••••

•••

•

•

••

•

•

•••

•

•

••

•

•

•••••••

••

•

••

••

•

••••

•••

••

••

•

••

•

•

•

•

•

•

••••

•••

•

•••

•

0 50 100 150 200

0.00.5

1.01.5

2.0

•

•

•••

•

•

•••••

•

•••••

•

•

•

•

••••••••••

•••••

•

•

•

•

•

•

••

•••••••••••

•••

•••••••••••••••

•

•••••••

••

•

•

•

••

•••••••

••

•

•

••••

•••••

•

••

•

••

••

•••

•

•

••••

•

••

•••

•

•

•••

•

•

•

••

••

•

•

••

•

••••••

•

•••••

••

•••

•

••

•

•

••••••

••••••••••

•••

•••••

•

•••

•

0 50 100 150 200

1.5

2.5

3.5

A length of 114 time series from the AR(2) modelX t = 1 .07 + 1 .35X t− 1 − 0.72X t− 2 + εt with εt ~ i.i.d. N (0 , 0.242 ).The parameters are taken from the AR(2) fit to the lynx data.

The parameters are taken from a two regime TAR it to the lynx data.




AR(2)

Xt = 1.07 + 1.35Xt−1 − 0.72Xt−2 + εt, εt ∼ iidN(0, 0.242)

TAR(2)Xt = 0.62 + 1.25Xt−1 − 0.43Xt−2 + εt, Xt−2 ≤ 3.25

2.25 + 1.52Xt−1 − 1.24Xt−2 + εt′ , Xt−2 ≥ 3.25

avec εt ∼ iidN(0, 0.22) et εt′ ∼ iidN(0, 0.252).




Remark (Limite de la modélisation linéaire)la SCR qui correspond aux valeurs de Xt inférieures à la moyenne estde 4.007 alors que la SCR associée aux valeurs de Xt supérieures à lamoyenne est de 1.781.

SCRXt<XtSCRXt>Xt

= 2.25

significatif pour un seuil de risque de 1% (F-test dont H0 est que lesdeux sous-ensembles de résidus sont des tirages aléatoires de la mêmepopulation gaussienne)



Dépendance linéaire ou non-linéaire ? Intuition graphique I

••••••••••

•

••••

••••••••••••••••••

•••••

•••••••••

•••••••••

••••••••••

•

•••••••••

•

••••••••••

•••••••••

•

••••••••••

•••••••

(a) Time plot of lynx data

0 20 40 60 80 100

2.0

3.5

•••••••••••••••••

•

•••••••••

•••••

•••••

•

•••••••••

•

•••••••••••••••

••••

•••••••••••••

•••••

••••••••••••••

••••

•

•••••

•••••

(b) Reversed-time plot of lynx data

0 20 40 60 80 100

2.0

3.5

fluctuations périodiques, cycles asymétriquesl’irréversibilité temporelle indique la présence de non-linéarités ?



Dépendance linéaire ou non-linéaire ? Intuition graphique II

1.5 2.0 2.5 3.0 3.5 4.0

0.0

0.2

0.4

0.6

0.8

1.0

1.5 2.0 2.5 3.0 3.5 4.0

0.0

0.2

0.4

0.6

0.8

1.0

Two histograms of Canadian lynx data with different bin-sizes,together with the estimated density function (solid curve).

Distribution marginale bimodale



Dépendance linéaire ou non-linéaire ? Intuition graphique II

••

••

••• ••

•

••

••

• • ••

•

•

••

•

••

• •

•

•••

•

•

•• •

•

•

•••

•

•

•

••

•

••

•

•

• •••

•

•••

••

•••

•

•

••• •

••

•

• •

•

••

••

•

•• •

•

•

••

••

•• •••

•

•••

••

•

•• ••

••••

(a) Scatter plot at lag 1

X(t-1)

X(t)

2.0 2.5 3.0 3.5

2.0

2.5

3.0

3.5

••

••

•• •

•

•

••

••

• • ••

•

•

••

•

••

• •

•

••••

•

•• •

•

•

•••

•

•

•

••

•

••

•

•

• ••••

•••

••

••

••

•

••••

••

•

• •

•

••

••

•

•• •

•

•

••

••

•• • ••

•

•••

••

•

•• •

•

•••••

(b) Scatter plot at lag 2

X(t-2)

X(t)

2.0 2.5 3.0 3.5

2.0

2.5

3.0

3.5

••

••

• ••

•

••

••

• • ••

•

•

••

•

••

• •

•

• ••

•

•

•• •

•

•

•••

•

•

•

••

•

••

•

•

•••

••

•••

••

••

••

•

••••

••

•

• •

•

••

••

•

•• •

•

•

••

•••

• • • •

•

• ••

••

•

•• •

•

•••

•••

(c) Scatter plot at lag 3

X(t-3)

X(t)

2.0 2.5 3.0 3.5

2.0

2.5

3.0

3.5

••

•• •

•

•

••

••

• • ••

•

•

••

•

••

• •

•

• ••

•

•

•• •

•

•

•••

•

•

•

••

•

••

•

•

• ••

••

•••

••

••

••

•

••••

••

•

• •

•

••

••

•

•• •

•

•

••

••

•• • • •

•

•••

••

•

•• •

•

• ••

••• •

(d) Scatter plot at lag 4

X(t-4)

X(t)

2.0 2.5 3.0 3.5

2.0

2.5

3.0

3.5

• • •• • •

••

••

• • •

•

• •

•

•••

•

• • • ••

••

••

••

• •••

••••

•• • •

•

••

•

•

• •••

••

••

•

• •

•• •

•

••

•

• •

• •

• •

•

••

•

• • •• •

••

•

•

•

• •• •

•••

•

•

••• •

• • ••

••

•• • •

(e) Residual against X(t-1)

X(t-1)

resi

dual

2.0 2.5 3.0 3.5

-1.0

-0.5

0.0

0.5

• • •• • •

••

••

•• •

•

• •

•

•••

•

• • • ••

• •

••

••

• ••

•

••••

•• • •

•

••

•

•

•••

•

••

••

•

••

•• •

•

••

•

••

• •

• •

•

••

•

• • •• •

•••

•

•

••• •

• ••

•

•

••• •

• • ••

••

••••

(f) Residual against X(t-2)

X(t-2)

resi

dual

2.0 2.5 3.0 3.5

-1.0

-0.5

0.0

0.5

Scatter plots of Xt against (a)Xt−1, (b)Xt−2, (c)Xt−3, and (d)Xt−4 for Canadian lynx data together with kernelregression estimators (solid curves) for E(Xt|Xt−k=x) and scatter plots of the residual from the linear regressionXt= 0.620 + 0.788Xt−1 against (e)Xt−1 and (f)Xt−2. Solid curvesare nonparametric regression estimators.

dépendance nonlinéaire entre Xt et ses retard d’ordre supérieur à1dépendance nonlinéaire entre les résidus de l’AR(1) et Xt−2



Dépendance linéaire ou non-linéaire ? SP500(a) Returns of the S&P 500 Index

t 0006000400020

-20

-10

05

(b) Estimated conditional STD

t 0006000400020

24

68

(c) Residuals

t 0006000400020

-20

-10

05

Time plots of (a) the S&P 500 returns X t σt , and (c) the residual

The estimates were derived based on a GARCH(1, 3) model with

standard deviationsεt~N(0,1).

, (b) the estimated conditional εt=Xt/σt



Dépendance linéaire ou non-linéaire ? SP500

-20 -15 -10 -5 0 5 10

0.0

0.1

0.2

0.3

0.4

0.5

Histogram of the S&P 500 returns and a normal density function with the same mean and variance.QQ plot of S&P 500 returns against quantiles of N(0,1).

• •••• ••• •••• •••••

••• • •• •• • •••• •••• ••• •• • •• • •••••••• ••• • •••••

•• • •••• ••• •• •• •••• • • •• • • ••••

•• ••• • •••• ••••• ••• •• •• • • •••• ••••• •• • •• • •••• •• •• • ••

• •• •• •• •••••••• ••••• •• ••• •• •• •••• ••••

•••• ••• •• ••••• •••

••••• ••••••••• •• • ••• ••• ••• •

• ••• ••• • •• ••• ••••• •• •• •••

••• •••• •••• ••• • •••• •

• •• • •• • • •• •

•••• • ••• •• ••

••

•• •••• • ••• •• •

••• • •• •

•• • • •• •••••••••••••

•• •

• ••• •

•••••••• •••

••

•• •••

••

•••

•••••

•••

••

•• ••• •••

• • •••

•• •• •• • ••••••

•• ••• •••••• ••• •

•• •• •• ••• ••• • • • •••

•••• •••• • •••

•••••

••

•• • ••••• ••

• • ••• •• •

• • ••

••

• •

••

••

•••••

•

•••

•••

••

•••• •

••• ••

•

••••

••

•• ••

••

••••• ••

•••• ••••

••••

•••••

•••• ••

••

• •• •••• ••• • ••

•• •• • ••• •

••• ••••

• ••• •

•• ••

•• • •••

• • ••••• ••

••

••

••••••

••• • •

•• •••••

•

••• •

•••

•

••

•

•

••

••• • •••••

•• • • • • •

• •••••••

•• ••

••

••

•

••

••

•••

• •

•••

•

•••••••

• ••

•

•

•

••• •

• •• ••

••

• ••

••

• ••

•

••• •

•••

••

•• • •• •••

••

•••

••

•••••

••••

••• •

• ••••

•

• •••

•••

•••• •

•• •

•••

••

• •• ••••

•• ••

••

•• • •••• ••

••• • •

••• ••

• •••• •• ••

••

••••• •

••

•• • •••

•• •••

•• •• ••••

•••• •

•• •••

•• ••• • •• • •• •

•• ••••• ••• •• •

••• ••

•• •••••• ••

••••• ••• ••• •

••••

•••

••

••

•••• •

• • • ••••

••

• • •• ••••

••

••

••••

• • ••••• •

•• •

••••

• ••• • • ••• ••• • • • ••••••

••

•• •• • • •••••

••••• • • ••• •• ••

•• • ••• •

••••••• • •

• • • •••••• ••

• •••

• • •••• ••• •

•••

•• •••

• ••••

• ••

•• •• • •• • • •••• •• ••••

•• • • •

•••• • •• ••

••• • •

• ••• • •• • ••• • •

• •• • ••• •••

•• •• ••• •• ••• ••••• • • ••••• •••

• •• • •••• •••

• • • • •• • ••• •• • ••••

•• • •• • •• •• • ••••

••

• •• ••• • •••

•••

•• •

•••

• •• • •• •

• • •• • •• ••• •••• •••••

••• ••• •••• ••• •• •

•••• ••

•••• • •• ••• •••• •••• ••• ••• • • •

• ••••••• •••••• •• •• • •

• • •• •• •• •

• •••• •••• •• ••••• • •• • ••• •••• •••• • ••

•• ••• •• •• •• ••• • ••• • •• •• ••• • • • •••• •• ••

•• •• • ••• • •• • •• ••• •••• • •• •• ••••• • • •••• •• •• •• • •••• • ••••• • ••••

••••••••• • • ••• •

•••

•• • •• •••••

•••••

• • ••• •• •• • • •••• ••• •••• •• ••• • •• •• • •• • •• ••• • ••

• •• •• •• •• ••• •••

••• •• •• • ••• • ••

•••••• •• ••••

•••

•• ••

••••

•••• • ••• •

•••••• •

••• •• ••• • •

•• ••• ••• ••• • ••••••••• • •• •••

••

••

•• • ••• •••

••• •••

••• ••••• •••• • •• • •••

••••• •• ••••• •

•• ••• ••• •

• •• •

• • ••••• •

•••

•

•

••

•••• •

• • • •••• •••••• •

••

••• ••• •••

•••••

• • • • •••• •• • •••

• ••• ••

••••••••••

••• •••• ••• • •

•• •• •

• • •• ••• • •••

•••••

• ••••

• ••• •• •• • •• • • ••• • ••••••

• •• •• • ••

• • •• • ••• ••••••• • •

• ••• •• •••••••• • • ••••• • •

• •• •• • •••• •••• • •••••• •• • ••• • ••• •

• •• ••• •• ••• •

••• • ••••

•• • ••

•• ••• • ••

• • • •• •••

••••••

• • •• • •• •• • •

•• ••• •

•• •• •• ••••

• • •• •••• ••

•••

•• •• • ••• • •

••

•••

••

••

• • •• ••

••• • •

•• •

••

••

••

••• •

••

•• •

•

••

• ••

•••

••

• •••

• •••• •• •••

•

• •••• •• • •• •••

•••• ••• •• •••

••

• ••

• •• • •• ••• •

• • • • •• •

••• ••• ••• •

• ••••••••

• •••• ••• •

• •• •

••

••

• ••• •••

• • ••••

•••• • • •• • •

••

•••

••• • •• •••

••

•• •

•• •

••

•••

•• • •

•••

••••• •

••

• ••••

••••

•••

• ••

• • •• • •

• •••

••• ••• •

••• • ••••

•• •••

• •••

•• ••

• •• • •••

•• •• • •••

••• • •

••

••

•• •• • ••

••• •

•••••• •••• •

•• •• •• •••• ••

•• • ••

••• •••• ••••••• •

••• ••• • •

• ••

••

•••

• ••••• •••• •• •• •• •

•••

• • •• • ••• • •

••• •

• ••••••

••

• •••

•• •

• •••

•••••• •

••• •

•

••• •

•••

••• ••

••

• ••

••• ••••

••••• ••• ••

•••

• • •••

• ••••• •

• • ••••

•• ••• •• ••• •••

•• • •

•••

•••• • •• •• •

••

••

•• •

••

•• ••• ••••

•• • ••• • •

•

•••••••••

••

• ••

•••••

• •• •• •• ••••• •••

• •••• •• ••

•••• •• •• • •••• •• • ••

••••

• •• ••• • •

• •••

••••• • • • ••• •• •• •• •••••••

•

•• •• • •••

•

•

• •

••

••

••

• ••

• •

•••••• •

•• ••

• •• ••• ••

• •

••• ••

•

• •

••

•••

•

•••

•••

•

• ••

•

••

•• •

••

•• •

•••

•

••••

••• • •

• ••

••

•• • •

••• •

•

••

••

••

••

•••••

••

••

•• •

•• • ••

• ••

• ••• • •

•• •

••

••••••

•• •• •

• • • ••

•••• ••

• •••• • •• • •• ••

•• •

•

••

•••

• •• •• •• • •

•••• • • •••••• •••

• •• • •• • ••• ••• ••••••

••

• ••

•• •

• • ••

•• • •• ••

• • ••

••

• •• • ••

••

•••• • •• • •

• ••

•••• • •••••

••• •

• ••• • • • •• •

• • •• •• • •• • •• •• •• •

• • • ••

• ••••••••••••

• •• •• •• • •••••••

•••••• ••

••••• ••• • ••••••

• • •• •• •••

••

• ••

•• ••• • •

•••

• •••••

••••• • •

•••

••• •

•••• • •

••• ••

•• ••• ••

•• •• • ••••

• •• •• •••• ••••••

• ••••

••• •

• • •• •

•• •

• ••••••• •• •••

•• •••

••••••••

• ••••

•••

•••••

•• ••

• • ••••• •

• ••

• • •••

••• • •• • • •••• ••

•••• •• ••• •

••• • ••• •

••

•• • •• •• •• ••• •

•••

••

•• •• ••

•• •••• •••

•••••• • •

• •• •• ••

••

••• ••

• •• •• ••••

••• ••• •

••• •••• •

•• • •

• •• • •• •• •• •

•• ••• • •• •••• •• • ••••••• •• •• •

•• ••• •• •• • •

•• • • • •••• ••• ••

• •• •• ••••

•• •• •

•• •• ••••• •••

••••••

• ••• • •••

• •••••• ••• • ••• • ••

• • • •••••• • •••• • • •• • ••

•••

•••

• ••• • •• • •••

•• • •••• • ••• •• ••• ••

•••

• •• ••

•• • ••• •

••• •• ••

••• • • •

• • • ••••

•••

•• • •• ••••••

• •• •••••

• • • • •• • • •••

•••• • ••• • • •• •

•••

••

•• ••

••

••••

•••

••

• •• ••

•••

•• • • •••

••

•• •••• •• • • •

••

• •••••••

•••

• •••

•• •••

•••• • ••••

••

•••••

•••• ••••

••

••• ••• •••••••••

•• ••

••• •

•• •

• • ••

•

•••• ••

••••

••

• ••• •••

• • •••

•••• •

•• •• • •• •••• • • ••

••

••

•••••••••

••• •••

• • • •• •

•••

••• ••• •

• •••••••• •

•••

••

••• • •••••••

••

• •••••• •• •• •

•••••• •••

•• • •••• •

••

•• ••

••

••

•••

•••

•

••

•• • • •

• ••

•••••••

••

••

••

• •• •••

••••• • •••• •• •

•••

• •• •

•• ••• •••• ••

•• •• ••• •••••• ••

••• •• •

••

•••

••••

•

•••••

• • ••

• • •••

••• • •

• ••

•••

•• • •

•

• •

•

•

•

•

•

•

••

••

•

••

•

••

•

••

••

••

•

•• •••

•

••

•

•• ••

•

••

••

•

•••

••

••

••

••• •

•

•• ••

•••

•

•• •

• •••

• ••

•••• •

• • •••••

••••

•• ••• • ••

•••• •••• ••

••• •

• ••

••

• •• ••

•

•••• ••••••• • •

• ••• ••

• ••••

••••• ••

••

• •••

•

• •• •••

••• •

•••

••

••

•

••• •

••• •

•••

••••

•• •

•• ••••••••

••••••

••

• • ••••

•••• •• • •

••

• ••• ••• • •••• ••

•••

••• • •

•

••• •••••••••••

• ••

• ••

• •• • ••

• • •• •

•••• •••••• •

• •• •• • •••

••••• •••••

•••••

• ••• ••• •••

••••• •• ••

••

••••

•• •• •••

•• • •

••

••• •••• ••• •• •• ••••

••••

••• • •••• •••• • • •

••• •• ••

••• •

••• •

••••••• •

••••• •

•• •

••• ••• ••••• •••

••

•• •

•••

•• •••

••• •

• • ••• ••

• • •• •

• •• ••• • •• •• •

••••• •• • • •• • ••• •••••

•

•

• ••

•• ••• • ••

•• ••

• ••

••••• •• • •••••• ••• •• •• ••• •

•• • • •• •• •

••••

•• • •

••

••

••

•

••••••

•• •••

•• •

••• •

•••••

••• ••

••

•• •• •• •••••

•• ••••••

• •• ••• •••• ••• • •••

•• •• ••••••

••• •• ••••••

•• • •••••

• ••• •

••• •

• • • ••• •••

•••

•••••••

••• •••

••••••

• •••

•••• •

•• ••

••

• ••

•• ••

•• • •

• • •••••

•

•••

••

••

•• •

•••

•••

•••

•• ••• •

•• • ••••

•••

••

• • ••

•• •••••

•• ••• •

••

•• ••

•• •• •• • •••

••

••••

•• •

••

••• ••••

•••

•••

••

•

••

••

••

• • ••

••

••

••••••

•• ••

••• • • •

• ••

•• •

••

••

•••••

•• •••

• ••

• ••••• • •

••

• •••• ••• • •• ••

• •• •• • ••

• •• •• • •

•• • •

••

••• •

• • • •••••

••• • •• • ••• •••

••• • •••••

••

• ••••••• • • •••

• ••

•• •••• •••• ••••• • ••

•• •••• ••• •• •••••••• • •

• • •••

•

••

• •• • •••

••••

•••••••• •••

•• ••

••• •• • ••• •

••• •••

•• ••••

•• • •••••• •

• •••

•• ••

••• • ••• • • •• • •• •• • •••• •

• • •••• •

• •••••••

••• •• • • •

•••• • •

• •••• ••• •• • •

• ••

•• •••••••••

• •• ••• ••

••

• ••

• ••• •• ••• •• ••••••• ••••• ••• • •••• •••

• •• •• •••••• ••

••

•• •••• ••

•• ••• • •••

••••• • ••••••• ••••

• •• •• ••••••• •• •••••• • • ••••• ••• •

••• ••• •• •• •• • •• • ••••• •• ••• •• •• ••••• ••••

•• •••••••••• •

•• •••

••••

•• •• ••

•••••

•• •••

••• ••• •• •••• •• ••••• • ••

••••

•••

•• •••

•••••• •• ••• •••

••••• •

• ••••• •

• •• ••• • ••••••• •

• •••• • •• •• • •• •••••••• •••• •• • • ••• •• •• •

••• •••• ••••• •••• •••• ••• ••• •• ••••••• •• •• •• ••••••• •• •••••• • •• • • •• •• ••••• • ••• • •

• •• •• ••••• • • •• •• •••

•• •• •• ••••

•••

••• •• ••• ••••• •••• •••• •

•••

•

•• •

••

• • ••• •••

••

•• •••• ••••

•••• ••••• ••••• •• •• •• •• •• •••••

•••

• ••

••• ••• • • ••••• •• ••• • ••• •• • •• •• •• ••• •• • ••

•• •••• •• •• • • •• •

•• •• •• •• ••

••• • • •• •••• •

• •• •• • ••• • •

•• ••••

•• •••••• •••••

•••••• •• •• ••• ••• •• •• • •• •• ••• •••••• •• •• •• •• • ••• •• •• • ••• • •••

••

• • ••• •••

• •• •••• •• •••••• • •••••• ••• •• • • •• •••• •••• •• •• • •••

•• ••••• •

••• ••• ••

• ••• • ••••

•• • •• • ••••••••• •

•••• • •• •• •• • •• ••••••• •• •• •• • •• •• • ••• •• •• ••• • •• • ••• ••• •• ••• • • ••• •• ••• •••

••• • ••••••••••••

•• •• ••• • •••• ••• •• •

••

••• ••• • ••• • •

•••••

•• • •••

••

•• ••••••• •• ••••••• •

•• •••

• ••• •

•

•• •••

••• • •• •• ••

•••••

•• ••••• •• ••• •••••

•• ••

•• • •••• ••• •• •

• ••• •••

• •••••• •• •• •••••• •• •

••

•••

••

•• •

••• • •••

•• • •• ••• • •

••• •••• •

•• ••• ••••

• •• •• •••• • ••• ••••• •••••• •

••• •• ••• •• •••• •• • • ••••• • ••• ••• • ••• ••• • ••

••••••

•••

•• •••••

••

• ••

••••

• • •• ••• • •

• • ••• •

•• •

• •••

••

•• ••••• •

••

••

• ••••••• •• • •• •

•••

•• •••

• ••

• ••• •

••

••••

••

•• •

••

•• •• • •

•• •

•••••• •••• ••

•• ••••••

•••

•

• ••• • ••

••

•••• • •

••

••

•••• • ••••• •

•••

• • •

•

•••

•••• •

• •

•

• •• ••• •

••

•

• •• ••••••

•••• • •

• •• •••••• •

•• •

•

•

••

••

•••• • ••

•• ••

• •••

•• ••

• •••

•••••

••••••

• ••

••• ••

• •••

••••

• ••• • •

••••

••••

•• •• •• • •• •••

•••• •••

••

•••••• •• •

••

• •• • •• •••• ••• ••

••

• •••••• • ••••••

•• •••• • • •

•••

• •• • ••• •

•••••

•

• ••• •

••• •••

••

••

••

•• •• •••

••

•• •

• ••

••

•

••••••

••

•••••

•••

••

•

•

•••

•

••

••••

•• • •

•

•• ••

••

•

• •• •

••

••

•

••• • •• •• •

••• • ••

• •• • • •• • • ••

• ••

•

••

•

••

• ••

••

••

•• ••

•••

•• ••

• •• •

•••

•

•••

• •• •

•••

•••

•• •

•

••

•

••

•••

•• •• •• •

• ••• • ••••••

••

•

••

••

•••

•• • •• •

••••

•

• ••• ••• ••

•

•

••

••

••••

•••

••••

•

•

•• • •

••

••

• • • ••

•• •• •

••

• ••••• •• ••• • •••

••

• ••••

• • ••••

• ••

••

•• •

••• •

• •• ••

• ••

•

•• •• •••••

••

••

•• •••

••

••

••

••

•••

•

•••

••

•••

••

• •••••

••• •

••

••

• ••••••

• • ••• • • •••

•••••••

•• •• •

normal quantile

quan

tile

of re

turn

s

-4 -2 0 2 4

-15

-10

-50

510

Une valeur extrême négativeNon-normalité



Dépendance linéaire ou non-linéaire ? SP500

Lag

ACF

0 20 40 60 80 100

0.0

0.2

0.4

0.6

0.8

1.0

(a) ACF of returns

Lag

ACF

0 20 40 60 80 100

0.0

0.2

0.4

0.6

0.8

1.0

(b) ACF of squared returns

Correlogram of (a) the S&P 500 returns, and (b) the squared returns.

Présence de l’autocorrélation dans les carrés de la série



Qu’est-ce qu’une série non-linéaire ?

Definition (Formelle)

Un processus non-linéaire est tout processus stochastique qui n’est paslinéaire. Or, pour cela, un processus linéaire doit être défini.

Definition (Intuitive)

Les séries temporelles non-linéaires sont générés par des équations dy-namiques non-linéaires. Elles présentent des caractéristiques qui nepeuvent pas être modélisées par les processus linéaires : variance quivarie dans le temps, cycles asymétriques, dépendance dans les momentsd’ordre supérieur à 1, seuils et ruptures.



2. RAPPEL - MODELES LINEAIRES



Définition d’un processus linéaireDefinitionDans ce cours, un processus stochastique Yt, t ∈ Z est un processuslinéaire s’il est linéaire dans les paramètres

Par exemple le processus suivant est linéaire :

Yt = α+ βXt + ut

Le processus suivant est également linéaire malgré une non-linéaritédans les paramètres :

Yt = α+ βX2t + ut

A l’inverse, les modèle suivants ne sont pas linéaires dans les pa-ramètres

Yt = α+ β2Xt + ut, Yt = α+β

αXt + ut



Théorème de Wold

DefinitionUn processus stochastique stationnaire au sens faible Yt, t ∈ Z peuts’écrire comme une somme pondérée de chocs aléatoires orthogonauxcentrés et de même variance, éventuellement augmenté d’une compo-sante déterministe

Yt = ct +∞∑i=0

ψiut−i, ∀t ∈ Z,

avec ψi∞i=0 un ensemble de coefficients réels non aléatoires vérifiantla condition suivante :

∞∑i=0

ψ2i ≤ ∞

et ut−i∞i=0 une séquence de variables aléatoires iid, bruits blancs commeprécédemment.



Rappel sur la stationnaritéDefinitionLe processus stochastique Yt, t ∈ Z est stationnaire au sens faible ssi

Son espérance est constante dans le temps :

E(Yt) =

∫ ∞−∞

ytf(yt)dyt = µ, ∀t avec µ constant, fini

Sa variance est constante dans le temps :

V ar(Yt) =

∫ ∞−∞

(yt − µ)2f(yt)dyt = σ2 ∀t avec σ2 constant

Sa fonction d’autocovariance ne dépend pas du temps mais de l’in-tervalle séparant les deux variables aléatoires considérées :

Cov(Yt;Yt−k) = E[(Yt − µ)(Yt−k − µ)] = γ(k),

avec γ(k) ne dépendant pas de t.



Rappel sur la stationnarité II

DefinitionLe processus stochastique Yt, t ∈ Z est stationnaire au sens strict ssi

Y1, Y2, · · · , Yn et Y1+k, Y2+k, · · · , Yn+k ont la même distribu-tion quel que soit n ≥ 1 et n, k ∈ Z.

RemarkPour les séries non-linéaires, le plus souvent la stationnarité au sensstricte s’avère plus pertinente.



Processus linéaire et théorème de Wold

Il y a de nombreux processus stationnaires qui ne sont pas linéaires

Ils ont souvent une représentation de Wold qui semble linéaire.C’est une représentation incomplète, car elle porte uniquement surla structure d’autocovariance du processus.

Si E(u2t ) ≤ ∞ n’est pas respectée, Yt est un processus linéaire à

variance infinie (α− stable) qui ne fait pas l’objet de cette analyse



Modèles ARMA

Ainsi, dans la pratique, une fois qu’on est assuré de la stationnarité ausens faible d’un processus stochastique, on dispose grâce au théorèmede Wold d’une représentation linéaire utile pour l’estimation.

On distingue entre trois spécifications généralement retenues dans lecadre de la modélisation linéaire de la moyenne des processusstochastiques

La spécification moyennes mobiles (Moving Average)

Yt = c+

q∑i=0

θiut−i

avec θi = ψi, θq 6= 0.



Modèles ARMA

La spécification moyennes mobiles (Moving Average)

Yt = c+

q∑i=0

θiut−i

avec θi = ψi, θq 6= 0.La spécification autoregressive (AR)

Yt = µ+

p∑i=0

φiYt−i + ut

Demo : On suppose ψi = φi

⇒ Yt = c+ ut + φut−1 + φ2ut−2 + · · ·De cette spécification on a Yt(1−φL−φ2L2−φ3L3−· · · ) = µ+utet Yt = µ+ φYt−1 + φ2Yt−2 + φ3Yt−3 + · · ·+ utavec µ = (1− φ)c.La spécification autoregressive moyennes mobiles (ARMA)



Modèles ARMALa spécification moyennes mobiles (Moving Average)

Yt = c+

q∑i=0

θiut−i

avec θi = ψi, θq 6= 0.La spécification autoregressive (AR)

Yt = µ+

p∑i=0

φiYt−i + ut

La spécification autoregressive moyennes mobiles (ARMA)

Yt = µ+ φYt−1 + φ2Yt−2 + φ3Yt−3 + · · ·+ φpYt−p + ut + θ1ut−1 +θ2ut−2 + · · ·+ θqut−q

De façon équivalente, φ(L)Yt = θ(L)ut,où φ(z) et θ(z) sont de polynômes en (z) et L est l’opérateur retard(LkYt = Yt−k).



Stationnarité et inversibilité

TheoremLe processus ARMA(p,q) est stationnaire si les racines du polynômeφ(z) 6= 0, possiblement à valeur dans C, sont à l’extérieur du cercleunitaire

Conséquence : un processus MA est toujours stationnaire

TheoremLe processus ARMA(p,q) est inversible si les racines du polynôme θ(z) 6=0, possiblement à valeur dans C, sont à l’extérieur du cercle unitaire

Conséquence : un processus AR est toujours inversible



Autocovariance et autocorrélation

Definition (ACVF)

La fonction d’autocovariance (ACVF) d’un processus stationnaire Ytest

γ(k) = cov(Yt+k, Yt), ∀k in Z.

Definition (ACF)

La fonction d’autocorrélation (ACF) de Yt est

ρ(k) = γ(k)/γ(0) = corr(Yt−k, Yt), ∀k in Z.

Par ailleurs, γ(k) = γ(−k) et ρ(k) = ρ(−k)



Autocovariance et autocorrélation

Partons de la représentation MA(∞) d’un modèle ARMA stochastique

Yt =

q∑i=0

θiut−i,

avec∑∞i=0 |θi| ≤ ∞.

On peut montrer que

γ(k) = σ2∞∑i=0

θiθi+k, ρ(k) =

∑∞i=0 θiθi+k∑∞i=0 θ

2i

.

Remarque : Dans le cas d’un modèle MA(q), dés lors que k ≥ q,γ(k) = ρ(k) = 0.



Inconvénients des modèles ARMA

ils ne permettent pas de prendre en compte les phénomènes d’asy-métrie, ni les ruptures de fortes amplitudeexploitation incomplète de l’information contenue dans la série (au-tocovariance)



Généralisations du modèle AR(1) linéaire

1 Yt = φYt−1 + εt

2 Yt = g(Yt−1, θ) + εt

3 Yt = g(Zt, θ) + εt

4 Yt = φYt−1 + h(Yt−1, θ)εt

• 2 et 3 : non-linearité en moyenne (Chapitres 2 et 3)

• 4 : non-linearité en variance (Chapitre 4)



Plan

1 Faits stylisés

2 Rappel - modèles linéaires

3 Méthodes d’estimation

Méthode du Maximum de Vraisemblance

4 Conclusions

5 Références



Méthode du Maximum de VraisemblancePartons d’un exemple : soit un échantillon Xt = X1, · · · , Xn ∼P (θ)

P (θ) dénote la distribution de Poisson dont la fonction de masseest

Pr(Xi = x) =exp(−θ)θx

x!, θ > 0, ∀x ∈ N

Soit une réalisation de l’échantillon xt = x1, · · · , xn

La probabilité d’observer cette réalisation est

Pr((X1 = x1)∩, · · · ,∩(Xn = xn)

)L’indépendance des tirages donne l’équivalence avec le produit desprobabilités marginales

Pr((X1 = x1)∩, · · · ,∩(Xn = xn)

)=

n∏i=1

Pr(Xi = xi)



L’estimateur du Maximum de VraisemblanceEn remplaçant par la fonction de masse de la loi de Poisson onobtient

Pr((X1 = x1)∩, · · · ,∩(Xn = xn)

)=

n∏i=1

e−θθxi

xi!= e−nθ

θ∑ni=1 xi∏ni=1 xi!

Il s’agit donc d’une fonction dépendant de x1, · · · , xn et de θθ est un paramètre inconnu mais on observe x1, · · · , xnPar la suite on notera :

Ln(θ;x1, · · · , xn) = Pr((X1 = x1)∩, · · · ,∩(Xn = xn)

)Le principe du maximum de vraisemblance est le suivant :

Trouver le θ qui maximise la probabilité d’apparition de x1, · · · , xn

L’estimateur du maximum de vraisemblance est donc :

θ = arg maxθ∈R+

Ln(θ;x1, · · · , xn)



L’estimateur du Maximum de la log-VraisemblanceDans le cas de l’exemple reposant sur la loi de Poisson on a

θ = arg maxθ∈R+

e−nθθ∑ni=1 xi∏ni=1 xi!

La formule est complexe et la présence d’un produit n’arrange rien

Simplifions le programme de maximisation en considérant la log-vraisemblance

θ = arg maxθ∈R+

lnLn(θ;x1, · · · , xn)

Dans le cadre de notre exemple la log-vraisemblance est

lnLn(θ;x1, · · · , xn) = −nθ + ln(θ)

n∑i=1

xi − ln

(n∏i=1

xi!

)



Conditions nécessaire et suffisante

La condition nécessaire répond à la questionLe problème admet-il une solution ?

⇒ Pour répondre on annule la dérivée première par rapport à θ

∂ lnLn(θ;x1, · · · , xn)

∂θ

∣∣∣∣θ

= −n+ θ−1n∑i=1

xi = 0⇐⇒ θ = n−1n∑i=1

xi

Ici, la log vraisemblance est maximisée par la moyenne empirique

La condition suffisante répond à la questionCette solution est-elle un maximum?

⇒ Pour répondre on regarde le signe de la dérivée seconde par rapportà θ

∂2 lnLn(θ;x1, · · · , xn)

∂θ2

∣∣∣∣θ

= −θ−2n∑i=1

xi < 0

Négatif donc bien un maximum



Log-Vraisemblance GaussienneDans l’exemple, il s’agissait de variables aléatoires discrètes

Dans le cas de variables aléatoires continues, l’intuition est la même

Néanmoins, on raisonnera sur la densité de la loi jointe des variables

Ln(θ;x1, · · · , xn) = fX1,··· ,Xn(x1, · · · , xn; θ)

Soit une séquence Xn ∼ i. i.d. (µ, σ2) selon une loi normale

La densité de la loi normale implique 2 paramètres θ = (µ, σ2)′

Ln(θ;x1, · · · , xn) =

n∏i=1

(σε√

2π)−1e− (xi−µ)

2

2σ2ε

= (2πσ2ε)−n/2 exp

(−∑ni=1(xi − µ)2

2σ2ε

)lnLn(θ;x1, · · · , xn) = −n

2ln(σ2

ε)− n

2ln(2π)− 1

2σ2ε

n∑i=1

(xi − µ)2



L’estimateur du Maximum de Vraisemblance

Estimateur du maximum de vraisemblance

θ = arg maxθ∈R+

lnLn(θ;x1, · · · , xn)

Hypothèsesθ = (µ, σ2)′ est identifiable : ∀θ∗, θ avec θ∗ 6= θ, les lois jointes dex1, · · · , xn sont différentes

Condition nécessaire du gradient :

gn(θ;x1, · · · , xn) =∂ lnLn(θ;x1, · · · , xn)

∂θ

∣∣∣∣θ

= 0

Condition suffisante de la hessienne :

Hn(θ;x1, · · · , xn) =∂2 lnLn(θ;x1, · · · , xn)

∂θ2

∣∣∣∣θ

< 0



Condition nécessaire du MLE gaussien

Notons lnLn(θ;x1, · · · , xn) = `n(θ;x) et commençons par le gra-dient :

∂`n(θ;x)

∂θ=

∂`n(θ;x)∂m

∂`n(θ;x)∂σ2

=

1σ2

∑ni=1(xi −m)

− n2σ2 + 1

2σ4

∑ni=1(xi −m)2

⇒ ∂`n(θ;x)

∂θ

∣∣∣∣θ

=

(00

)⇒ θ =

m = n−1∑ni=1 xi = x

σ2 = n−1∑ni=1(xi − x)2

Le programme de maximisation a donc une solution

Les réalisations du ML sont m = n−1∑ni=1 xi = x et σ2 = n−1∑n

i=1(xi−x)2 (variance empirique non-corrigée)

Les estimateurs du ML sont m = n−1∑ni=1Xi = X et σ2 =

n−1∑ni=1(Xi − X)2



Condition suffisante du MLE gaussienLa solution est-elle bien un maximum?

∂2`n(θ;x)

∂θ∂θ′=

(∂2`n(θ;x)∂m2

∂2`n(θ;x)∂m∂σ2

∂2`n(θ;x)∂m∂σ2

∂2`n(θ;x)∂σ4

)On obtient alors

∂2`n(θ;x)

∂θ∂θ′

∣∣∣∣θ

=

(− nσ2 − 1

σ4

∑ni=1(xi − m)

− 1σ4

∑ni=1(xi − m) n

2σ4 − 1σ6

∑ni=1(xi − m)2

)D’après l’étude du gradient, on sait que n× m =

∑ni=1 xi et donc

− 1

σ4

n∑i=1

(xi−m) = − 1

σ4

n∑i=1

xi+1

σ4n×m =

1

σ4

n∑i=1

xi−1

σ4

n∑i=1

xi = 0

De plus, n× σ2 =∑ni=1(xi − m)2, ce qui donne

∂2`n(θ;x)

∂θ∂θ′

∣∣∣∣θ

=

(− nσ2 0

0 n2σ4 − nσ2

σ6

)=

(− nσ2 00 − n

2σ4

)



Condition suffisante du MLE gaussienLa solution est-elle bien un maximum?

∂2`n(θ;x)

∂θ∂θ′=

(∂2`n(θ;x)∂m2

∂2`n(θ;x)∂m∂σ2

∂2`n(θ;x)∂m∂σ2

∂2`n(θ;x)∂σ4

)On obtient alors

∂2`n(θ;x)

∂θ∂θ′

∣∣∣∣θ

=

(− nσ2 − 1

σ4

∑ni=1(xi − m)

− 1σ4

∑ni=1(xi − m) n

2σ4 − 1σ6

∑ni=1(xi − m)2

)D’après l’étude du gradient, on sait que n× m =

∑ni=1 xi et donc

− 1

σ4

n∑i=1

(xi−m) = − 1

σ4

n∑i=1

xi+1

σ4n×m =

1

σ4

n∑i=1

xi−1

σ4

n∑i=1

xi = 0

De plus, n× σ2 =∑ni=1(xi − m)2, ce qui donne

∂2`n(θ;x)

∂θ∂θ′

∣∣∣∣θ

=

(− nσ2 0

0 n2σ4 − nσ2

σ6

)=

(− nσ2 00 − n

2σ4

)Gilles de Truchis, Elena Dumitrescu Économétrie non-linéaire 43/63


Condition suffisante du MLE gaussien

Pour conclure, il faut montrer que la hessienne est définie négative

∂2`n(θ;x)

∂θ∂θ′

∣∣∣∣θ

=

(− nσ2 00 − n

2σ4

)Pour cela on s’intéresse aux mineurs principaux, ∆1 et ∆2. Lepremier mineur est

∆1 = − n

σ2< 0

Le second mineur est

∆2 = det

(− nσ2 00 − n

2σ4

)= − n

σ2×− n

2σ4− 0 > 0

Les mineurs principaux étant de signes opposés, la hessienne estbien définie négative et la solution du programme est bien un maxi-mum



Le scoreLe score ressemble au gradient mais en diffère pour la raison sui-vante :

Le gradient est déterministe car basé sur les réalisations :

∂`n(θ;x1, · · · , xn)

∂θ

Le score est une version stochastique du gradient car basé sur lesvariables aléatoires :

Sn(θ;X) =∂`n(θ;X1, · · · , Xn)

∂θ

Le score étant une variable aléatoire, il convient de s’intéresser àces moments et notamment son espérance

L’espérance nous intéresse afin de calculer la variance

La variance nous intéresse car elle permet de calculer la matriced’information de Fisher



La hessienne stochastique

De même que pour le gradient, on peut considérer une versionstochastique de la hessienne

La hessienne déterministe est basée sur les réalisations :

Hn(θ, x) =∂2`n(θ;x1, · · · , xn)

∂θ∂θ′

La hessienne stochastique est basés sur les variables aléatoires :

Hn(θ,X) =∂2`n(θ;X1, · · · , Xn)

∂θ∂θ′

La hessienne stochastique étant une variable aléatoire elle a desmoments :

l’espérance de la hessienne nous permet de calculer la matriced’information de Fisher



L’information de Fisher

La matrice d’information de Fisher peut se calculer de plusieursmanières

RemarkLa quantité d’information de Fisher associée à l’échantillon est uneconstante définie par la variance du score ou l’espérance de l’opposéede la hessienne stochastique :

In(θ) = V(Sn(θ;X)) = E(S2n(θ;X))− E(Sn(θ;X))2

ouIn(θ) = E(−Hn(θ,X))



L’information de Fisher et MLE Gaussien

Repartons du MLE Gaussien et calculons l’information de Fisher :

Sn(θ;X) =

(00

)⇒ θ =

1σ2

∑ni=1(Xi −m)

− n2σ2 + 1

2σ4

∑ni=1(Xi −m)2

Hn(θ;X) =

(− nσ2 − 1

σ4

∑ni=1(Xi −m)

− 1σ4

∑ni=1(Xi −m) n

2σ4 − 1σ6

∑ni=1(Xi −m)2

)Les deux méthodes peuvent être utilisée. Par exemple :

In(θ) = E(−Hn(θ,X))

= E(

nσ2

1σ4

∑ni=1(Xi −m)

1σ4

∑ni=1(Xi −m) − n

2σ4 + 1σ6

∑ni=1(Xi −m)2

)



L’information de Fisher et MLE Gaussien

Les quantités déterministe n’étant pas affectées par l’espérance onobtient

In(θ) =

(nσ2

1σ4

∑ni=1 E(Xi −m)

1σ4

∑ni=1 E(Xi −m) − n

2σ4 + 1σ6

∑ni=1 E((Xi −m)2)

)Or, E(Xi) = m donc E(Xi −m) = 0

De plus, par définition, E((Xi −m)2

)= σ2 ce qui nous donne

In(θ) =

(nσ2 00 n

2σ4

)La borne informationnelle de Cramer-Rao définissant l’efficacitédu MLE Gaussien est donc :

I−1n (θ0) =

(σ20

n 0

02σ4

0

n

)



Propriétés de maximum de vraisemblance

Commençons par poser 3 hypothèses dites de régularité

Hypothèse 1 : la fonction de densité fX(θ;xi) est trois fois différen-tiable par rapport à θ et ses dérivées sont continues et finies ∀x, θ

Hypothèse 2 : les espérances des dérivées première et seconde deln fX(θ;Xi) par rapport à θ existent

Hypothèse 3 : la vraie valeur de θ, i.e. θ0, appartient à un ensemblecompact Θ

Par ensemble compact il faut comprendre un ensemble fermé etpetit dont on ne peut pas s’échapper



Propriétés de maximum de vraisemblance

Sous cet ensemble d’hypothèses il est possible de montrer

que le MLE est convergent

θp−→ θ0

que le MLE est asymptotiquement efficace

V(θ) = I−1n (θ0)

que le MLE est asymptotiquement normalement distribué

√n(θ − θ0)

d−→N (0, I−1n (θ0))



Maximum de vraisemblance conditionnelle

Soit un modèle économétrique du type Yt = g(θ;Xt) + εt

Une approche par MLE nécessite de considérer la distributionconditionnelle de Y sachant les réalisations de X

fY |X(y|x; θ)

Remark (Vraisemblance conditionnelle)

Les fonctions de vraisemblance et log-vraisemblance conditionnelled’un échantillon yt, xtnt=1 sont définies par

Ln(θ; y|x) =

n∏t=1

fY |X(yt|xt; θ), et `n(θ; y|x) =n∑t=1

ln fY |X(yt|xt; θ)



MLE et modèle de régression linéaireDans le cadre simple du modèle Yt = βXt + εt ∼ i. i.d.

En supposant la normalité des erreurs, i.e. εt ∼ N (0, σ2), si Xi =xi, on obtient que Yi|xi ∼ N (βxi, σ

2)

On obtient alors la densité conditionnelle de Yi suivante

fY |X(yt|xt; θ) =1

σ√

2πexp

(− yi − βxi

2σ

)2

, θ = (β, σ2)′

Les fonctions de ML et log-ML conditionnelles sont alors

Ln(θ; y|x) =1

σ√

2πexp

(− yi − βxi

2σ

)2

et

`n(θ; y|x) = −n2

ln(σ2ε)− n

2ln(2π)− 1

2σ2ε

n∑i=1

(yi − βxi)2



Exercice typeSoit un échantillon (X1, · · · , Xn) ∼ i. i.d. selon une distributionexponentielle de paramètre θ−1

La fonction de densité d’une loi exponentielle est θ−1 exp(−θ−1X)

La log-vraisemblance de l’échantillon (x1, · · · , xn) est alors

`n(θ;x) = −n ln(θ)− θ−1n∑t=1

xt

L’estimateur du log-ML est alors

∂`n(θ;x)

∂θ= −n

θ+

1

θ2

n∑t=1

Xt = 0⇒ θ = n−1n∑t=1

Xt

Sachant que la loi exponentielle de paramètre λ a pour espéranceλ−1 et pour variance λ−2, E(Xt) et V(Xt) sont données par

E(Xt) = θ0, V(Xt) = θ20



Exercice type

Calculez E(θ)

E(θ) = E(n−1

n∑t=1

Xt

)= n−1

n∑t=1

E(Xt) =n× θ0

n= θ0

Calculez V(θ)

V(θ) = V(n−1

n∑t=1

Xt

)= n−2

n∑t=1

V(Xt) =n× θ2

0

n2=θ2

0

n

Que pouvez-vous conclure ?L’estimateur est sans biais et asymptotiquement convergent carlimn→∞

V(θ) = 0 et donc

θp−→ θ0



Exercice type

Calculez E(θ)

E(θ) = E(n−1

n∑t=1

Xt

)= n−1

n∑t=1

E(Xt) =n× θ0

n= θ0

Calculez V(θ)

V(θ) = V(n−1

n∑t=1

Xt

)= n−2

n∑t=1

V(Xt) =n× θ2

0

n2=θ2

0

n

Que pouvez-vous conclure ?

L’estimateur est sans biais et asymptotiquement convergent carlimn→∞

V(θ) = 0 et donc

θp−→ θ0



Exercice type

Calculez E(θ)

E(θ) = E(n−1

n∑t=1

Xt

)= n−1

n∑t=1

E(Xt) =n× θ0

n= θ0

Calculez V(θ)

V(θ) = V(n−1

n∑t=1

Xt

)= n−2

n∑t=1

V(Xt) =n× θ2

0

n2=θ2

0

n

Que pouvez-vous conclure ?L’estimateur est sans biais et asymptotiquement convergent carlimn→∞

V(θ) = 0 et donc

θp−→ θ0



Estimateur de Pseudo maximum de vraisemblance (QMLE)

Remark (Limite du MLE)

En cas d’erreur sur la distribution postulée, l’estimateur MLE n’a pasde fondement.

Proposition (L’idée générale des estimateurs du QMLE)

Cela consiste à démontrer que si l’on commet une erreur sur la distribu-tion conditionnelle des résidus en utilisant à tort une log-vraisemblancefondée sur une loi normale, l’estimateur du MV ainsi obtenu peut toutde même être convergent si la vraie loi des résidus appartient à la mêmeclasse de loi que la loi normale (Gourieroux, Montfort, 1989)



Propriétés de l’estimateur QMLE

Sous certaines conditions de régularité, il est possible de montrer

que le QMLE est convergent

θp−→ θ0

que le QMLE est asymptotiquement normalement distribué

√n(θQMLE − θ0)

d−→N (0, V )




où la matrice de variance covariance asymptotique de l’estimateurQML est

V = In(θ)−1Jn(θ)In(θ)−1

avec

In(θ) = E(−Hn(θ,X)) = E0(∂2`n(θ;X1, · · · , Xn)

∂θ∂θ′)

et

Jn(θ) = V(Sn(θ;X)) = E0(∂`n(θ;X1, · · · , Xn)

∂θ

∂`n(θ;X1, · · · , Xn)

∂θ′)

où E0 désigne l’espérance prise par rapport à la vraie loi.




Remark (1)

Dans la pratique les matrice In(θ) et Jn(θ) sont directement estiméesen remplaçant l’espérance E0 par la moyenne empirique et le paramètreinconnu θ par son estimateur convergent θQMLE

Remark (2)

Dans le cas où la vraie loi sous-jacente est normale (Maximum de Vrai-semblance), la matrice de variance covariance asymptotique se réduità

V (θQMLE − θ0) = In(θ)−1

puisque In(θ) = Jn(θ)



Optimisation numérique de la vraisemblance

On chercheθ = arg max

θ∈R+`n(θ;x1, · · · , xn)

La plupart du temps une solution analytique n’est pas disponible.

⇒ On utilise des algorithmes d’optimisation numérique (algorithmesitératifs) :

i) condition initiale

ii) règle de passage

iii) règle d’arrêt



Optimisation numérique de la vraisemblance



Conclusions

Modèle linéaire = modèle de base, fondé sur la normalité

Vaste classe de modèles non-linéaires, adaptées aux propriétés desséries économiques

On distingue notamment la non-linéarité en moyenne et en va-riance

NB : en prévision il est toujours difficile de faire mieux que lemeilleur modèle linéaire !



Bibliographie générale :

Gourieroux, C., Monfort, A., 1989, Statistics and Econometric Models, Volume 2,Cambridge University Press.

Tong, H., 1990. Non-Linear Time Series : A Dynamical Systems Approach,Oxford : Oxford University Press

Teräsvirta, T., Tjøstheim, D., et Granger, C. W. J. (2010), Modelling nonlineareconomic time series, Oxford University Press.


Économétrie non-linéaire - Chapitre 1: Introduction stylisés Rappel - modèles linéaires...

Documents

Transcript of Économétrie non-linéaire - Chapitre 1: Introduction stylisés Rappel - modèles linéaires...