ECO 4272 : Introduction à l'Économétrie Le modèle de ... · I Quasiment un rappel de la mati...

ECO 4272 : Introduction a l’EconometrieLe modele de regression multiple

Steve AmblerDepartement des sciences economiques

Ecole des sciences de la gestionUniversite du Quebec a Montreal

c©2018: Steve Ambler

Hiver 2018

Objectifs

1. Presenter le modele de regression multiple.

2. Deriver l’estimateur MCO.

3. Etudier ses proprietes algebriques.

4. Regarder les hypotheses statistiques du modele et analyserleurs consequences (absence de biais, convergence, efficience).

5. Distinguer entre les cas d’erreurs heteroscedastiques et erreurshomoscedastiques.

6. Analyser les tests d’hypothese simples et le calculd’intervalles de confiance dans le cadre du modele.

7. Les tests d’hypotheses jointes et les ensembles de confiance.

Introduction

I Presque rien de nouveau par rapport au modele de regressionsimple.

I Quasiment un rappel de la matiere d’avant l’examen intra.

I Introduction et utilisation de la notation matricielle.

I Nouveau concept : tester les hypotheses jointes.

Biais du a une variable omise

I Facon de motiver le modele de regression multiple.

I Si nous omettons un ou des facteurs qui ont un impact sur lavariable dependante, l’estime de l’impact de la variableexplicative d’interet peut etre biaise.

Biais du a une variable omise (suite)

I L’estimateur β1 est egal a

β1 = β1 +1n

∑ni=1

(Xi − X

)ui

1n

∑ni=1

(Xi − X

)2 .I Modifions les hypothese statistiques :

1

n

n∑i=1

(Xi − X

)ui

p−→ Cov (u , X ) = Corr (u , X )σuσX ,

et1

n

n∑i=1

(Xi − X

)2 p−→ σ2X .

Biais du a une variable omise (suite)

I On a

β1p−→ β1 +

Corr (u , X )σuσXσ2X

= β1 + Corr (u , X )σuσX

.

I L’estimateur ne converge plus a β1 en probabilite.

I Le signe du biais depend (meme lorsque n→∞) du signe dela correlation entre Xi et ui .

I Notez que dans ce cas-ci

E (ui |X = Xi ) 6= 0.

I S’il y a une variable dans la banque de donnees qui en principepourrait affecter la variable dependante de l’etude et quirisque d’etre correlee avec une variable qui est incluse commevariable explicative dans le modele, il y a probablement unprobleme de variable omise.

Exemple

I Nous pouvons etre encore plus explicite.

I Suppons que le vrai modele est donne par

Yi = β0 + β1X1i + β2X2i + ui

I Le modele estime est

Yi = β0 + β1X1i + ui

I Le terme d’erreur du modele estime incorpore la variableomise X2i avec le vrai terme d’erreur ui .

Exemple (suite)

I Nous avons

β1 =1n

∑ni=1

(X1i − X1

) (Yi − Y

)1n

∑ni=1

(X1i − X1

)2 =

1n

∑ni=1

(X1i − X1

) (β0 + β1X1i + β2X2i + ui − β0 − β1X1 − β2X2 − u

)1n

∑ni=1

(X1i − X1

)2= β1

1n

∑ni=1

(X1i − X1

)21n

∑ni=1

(X1i − X1

)2 + β2

1n

∑ni=1

(X1i − X1

) (X2i − X2

)1n

∑ni=1

(X1i − X1

)2+

1n

∑ni=1

(X1i − X1

)(ui − u)

1n

∑ni=1

(X1i − X1

)2

Exemple (suite)

I ce qui doit enfin etre egal a

= β1 + β2

1n

∑ni=1

(X1i − X1

) (X2i − X2

)1n

∑ni=1

(X1i − X1

)2+

1n

∑ni=1

(X1i − X1

)(ui − u)

1n

∑ni=1

(X1i − X1

)2 .

I Calculant l’esperance de β1, nous obtenons

Eβ1 = β1 + β2E

(1n

∑ni=1

(X1i − X1

) (X2i − X2

)1n

∑ni=1

(X1i − X1

)2)

+E

(+

1n

∑ni=1

(X1i − X1

)E ((ui − u) |X11,X12, . . . ,X1n)

1n

∑ni=1

(X1i − X1

)2)

Exemple (suite)

I ce qui doit enfin etre egal a

= β1 + β2E

(1n

∑ni=1

(X1i − X1

) (X2i − X2

)1n

∑ni=1

(X1i − X1

)2)

par la loi des esperances iterees.

I En general

E

(1n

∑ni=1

(X1i − X1

) (X2i − X2

)1n

∑ni=1

(X1i − X1

)2)6= 0.

I L’estimateur est biaise, le biais etant donne par la valeur del’esperance dans l’equation precedente.

Exemple (suite)

I Nous avons1

n

n∑i=1

(X1i − X1

) (X2i − X2

)qui est (presque) la covariance echantillonnale entre X1 et X2.

I Et1

n

n∑i=1

(X1i − X1

)2est (presque) la variance echantillonnale de X1.

Exemple (suite)

I Si les deux expressions sont des estimateurs convergents deleurs equivalents dans la population, nous avons :

1

n

n∑i=1

(X1i − X1

) (X2i − X2

) p−→ Cov (X1 , X2)

I et1

n

n∑i=1

(X1i − X1

)2 p−→ Var (X1) .

Exemple (suite)

I Theoreme de Slutsky =>

β1p−→ β1 + β2

Cov (X1 , X2)

Var (X1)

I L’ecart entre β1 et sa vraie valeur est approximativementegale a la vraie valeur de β2 fois le ratio de la covariance entreX1 et X2 et la variance de X1.

I Si on connaıt au moins le signe de β2 et de la covariance, onpeut predire le signe de cet ecart. Aussi, nous savons que

Cov (X1 , X2)

Var (X1)

est la valeur (asymptotique) du coefficient de pente d’uneregression ou X2 est la variable dependante et X1 est lavariable explicative.

Modele de regression multiple

I Modele :

Yi = β0 + X1iβ1 + X2iβ2 + . . .+ Xkiβk + ui .

I Version matricielle :

Y = Xβ + U,

I Il faut definir les matrices/vecteurs (page suivante).

Modele de regression multiple (suite)

Y ≡[Y1 Y2 . . . Yn

]′

X ≡

1 X11 X21 . . . Xk1

1 X12 X22 . . . Xk2...

......

. . ....

1 X1n X2n . . . Xkn

,β ≡

[β0 β1 β2 . . . βk

]′U ≡

[u1 u2 . . . un

]′

Estimateur MCO

I Probleme de minimisation :

minβ

U ′U.

I Remplacons U par sa definition.

minβ

(Y − Xβ)′ (Y − Xβ) .

I Equivalent a :

minβ

(Y ′Y − β′X ′Y − Y ′Xβ + β′X ′Xβ

).

Estimateur MCO (suite)

I CPOs (derivee par rapport a β) :

−X ′Y − X ′Y + X ′Xβ +(X ′X

)′β = 0

⇒ 2X ′Xβ − 2X ′Y = 0

⇒ X ′Xβ = X ′Y .

I Nous avons k + 1 equations lineaires pour trouver k + 1inconnus (les elements de β).

I Nous appelons communement ces equations les � equationsnormales. �

Estimateur MCO (suite)

I Nous obtenons(X ′X

)−1X ′Xβ =

(X ′X

)−1X ′Y = β.

I Resultat fondamental :

β =(X ′X

)−1X ′Y

Differentiation matricielle

I Application de :

y ∂y∂x

Ax A′

x ′A Ax ′x 2xx ′Ax Ax + A′x

I Etudiez bien la CPO pour comprendre pourquoi c’est uneapplication de ces regles.

I Etudiez bien les exemples simples dans les notes.

Approche non matricielle

I Le probleme est

minβ0,β1,...,βk

n∑i=1

(Yi − β0 − X1iβ1 − X2iβ2 − . . .− Xkiβk)2 .

I CPOs :

β0 : 0 = −2n∑

i=1

(Yi − β0 − X1iβ1 − . . .− Xkiβk) ;

βj : 0 = −2n∑

i=1

Xji (Yi − β0 − X1iβ1 − . . .− Xkiβk)

pour j 6= 0.

I k + 1 equations (lineaires) en k + 1 inconnus.

Approche non matricielle (suite)

I Nous obtenons

n∑i=1

Yi =n∑

i=1

(β0 + X1iβ1 + . . .+ Xkiβk) ;

n∑i=1

X1iYi =n∑

i=1

X1i (β0 + X1iβ1 + . . .+ Xkiβk) ;

n∑i=1

X2iYi =n∑

i=1

X2i (β0 + X1iβ1 + . . .+ Xkiβk) ;

. . .n∑

i=1

XkiYi =n∑

i=1

Xki (β0 + X1iβ1 + . . .+ Xkiβk) .


I Nous pouvons maintenant convertir en notation matricielle.

[1 . . . 1

] Y1...Yn

=[

1 . . . 1]X β;

[X11 . . . X1n

] Y1...Yn

=[X11 . . . X1n

]X β;

...

[Xk1 . . . Xkn

] Y1...Yn

=[Xk1 . . . Xkn

]X β,


I On empile les k + 1 equations les unes pardessus les autres :1 . . . 1X11 . . . X1n

X21 . . . X2n...

......

Xk1 . . . Xkn

Y1

...Yn

=

1 . . . 1X11 . . . X1n

X21 . . . X2n...

......

Xk1 . . . Xkn

X β

⇒ X ′Y = X ′X β

⇒ β = (X ′X )−1X ′Y .

I On obtient la meme solution (pas surprenant).

Proprietes algebriques de l’estimateur MCO

I Plus facile de les deriver en notation matricielle.

I Orthogonalite : les equations normales sont

X ′X β = X ′Y

⇒ X ′(X β − Y

)= 0

⇒ X ′(Y − X β

)= 0.

Y − X β ≡ U.

Donc, nous avons :X ′U = 0.

I Une consequence directe est que la somme des residus estegale a zero.

Orthogonalite (suite)

I Meme interpretation geometrique que dans le modele deregression simple.

Figure 1

Proprietes algebriques (suite)I Definissons

Y ≡ X β,

I Nous avons

Y ′U =(X(X ′X

)−1X ′Y

)′U = Y ′X

(X ′X

)−1X ′U = 0.

I Les valeurs predites de Y sont orthogonales aux residus.I Finalement, nous avons

X ′(Y − Y

)= X ′

(X(X ′X

)−1X ′Y − Y

)= X ′X

(X ′X

)−1X ′Y − X ′Y = X ′Y − X ′Y = 0.

I Consequence : la moyenne echantillonnale des valeurs preditesest egale a Y .

Ecart type de la regression

I On definitSER ≡ su,

ou

s2u ≡1

n − k − 1

n∑i=1

u2i =SSR

n − k − 1=

U ′U

n − k − 1.

I Donc SSR est la somme des residus au carre. On divise par(n − k − 1) afin d’obtenir un estime non biaise de la variancede l’erreur dans l’equation de regression (si les erreurs sonthomoscedastiques).

Ajustement statistique

I La mesure R2 est definie de la meme facon que dans le cas dumodele de regression simple :

R2 =ESS

TSS= 1− SSR

TSS,

ou on definit

ESS ≡n∑

i=1

(Yi − Y

)2,

ou Y est la moyenne echantillonnale des Yi , et

TSS ≡n∑

i=1

(Yi − Y

)2

Ajustement statistique (suite)I Il faut montrer que TSS = ESS + SSR.I Puisque Y ≡ Y + U, nous avons

TSS =(Y − Y

)′ (Y − Y

)=(Y + U − Y

)′ (Y + U − Y

)=((

Y − Y)

+ U)′ ((

Y − Y)

+ U)

=(Y − Y

)′ (Y − Y

)+(Y − Y

)′U + U ′

(Y − Y

)+ U ′U

=(Y − Y

)′ (Y − Y

)+ U ′U

≡ ESS + SSR,

ce qui fut a demontrer.

Ajustement statistique (suite)

I R2 est aussi egal a la correlation (echantillonnale) au carreentre Y et Y .

I Pour rendre la preuve plus facile, introduisons un peu denotation.

M0 ≡(I − i

(i ′i)−1

i ′).

I On aM0Y = Y − Y,

M0′ = M0, et M0M0 = M0.

I M0 est une matrice idempotente.


I Nous pouvons reecrire le R2 comme

R2 ≡ ESS

TSS=

(Y − Y

)′ (Y − Y

)(Y − Y

)′ (Y − Y

)=

Y ′M0Y

Y ′M0Y.

Nous avons aussiM0U = U

puisque la somme des residus est zero.


I Donc, nous avons

Y ′M0Y = Y ′M0(Y − U

)= Y ′M0Y − Y ′M0U

= Y ′M0Y − Y ′U

= Y ′M0Y − β′X ′U

(puisque Y ≡ X β)

= Y ′M0Y − 0 = Y ′M0Y

puisque X ′U = 0 (orthogonalite entre les variables expicativeset les residus).


I Nous pouvons donc ecrire le R2 comme

R2 =Y ′M0Y

Y ′M0Y

=Y ′M0Y

Y ′M0Y

Y ′M0Y

Y ′M0Y

(multipliant numerateur et denominateur par la meme chose)

=

(Y ′M0Y

)(Y ′M0Y

)(Y ′M0Y )

(Y ′M0Y

)

=

(Y ′M0Y

)(Y ′M0Y

)(Y ′M0Y )

(Y ′M0Y

) .


I On peut reecrire ceci en notation non matricielle pour obtenir(Y ′M0Y

)(Y ′M0Y

)(Y ′M0Y )

(Y ′M0Y

) =

(Y ′M0M0Y

)(Y ′M0M0Y

)(Y ′M0M0Y )

(Y ′M0M0Y

)

=

(∑ni=1

(Yi − Y

) (Yi − Y

))2(∑n

i=1

(Yi − Y

)2)(∑ni=1

(Yi − Y

)2)

=

(1

n−1∑n

i=1

(Yi − Y

) (Yi − Y

))2(

1n−1

∑ni=1

(Yi − Y

)2)( 1n−1

∑ni=1

(Yi − Y

)2)


=

1n−1

∑ni=1

(Yi − Y

) (Yi − Y

)√

1n−1

∑ni=1

(Yi − Y

)2√ 1n−1

∑ni=1

(Yi − Y

)2

2

≡(

Corr(Y , Y

))2.

I Le R2 nous dit a quel point le modele de regression permet depredire les variations de la variable dependante autour de samoyenne (mesure par la correlation entre les valeurs prediteset les valeurs realisees).


I Dans le cas du modele de regression simple, nous avons(Yi − Y

)=(Xi − X

)β1.

I Nous avons tout de suite 1n−1

∑ni=1

(Yi − Y

) (Yi − Y

)√

1n−1

∑ni=1

(Yi − Y

)2√ 1n−1

∑ni=1

(Yi − Y

)2

2

=

1n−1

∑ni=1

((Xi − X

)β1

) (Yi − Y

)√

1n−1

∑ni=1

(Yi − Y

)2√ 1n−1

∑ni=1

((Xi − X

)β1

)2

2


=

1n−1

∑ni=1

((Xi − X

)) (Yi − Y

)√1

n−1∑n

i=1

(Yi − Y

)2√ 1n−1

∑ni=1

(Xi − X

)22

≡(Corr (Y ,X )

)2⇒ R2 =

(Corr (Y ,X )

)2.

I On voit que le resultat trouve dans le chapitre sur le modelede regression simple n’est qu’un cas special du resultat generaldeveloppe ici.

R2 ajuste

I Ajouter une variable explicative au modele ne peut que faireaugmenter R2.

I Avec autant de variables explicatives que d’observations((k + 1) = n), on aura R2 = 1. X est alors une matrice carreeet on a

0 = U = Y − X β

⇒ Y = X β.

⇒ β = X−1Y .

I Donc, un R2 eleve n’est pas toujours et partout une bonnechose.

R2 ajuste (suite)

I Une autre mesure qui penalise l’ajustement lorsqu’on ajoutedes variables explicatives.

R2 ≡ 1− n − 1

n − k − 1

SSR

TSS= 1−

s2us2Y.

I Trois proprietes importantes du R2.

1. n−1n−k−1 > 1, et donc R2 < R2.

2. Ajouter une variable explicative supplementaire a deux effetssur R2. 1) SSR doit baisser, ce qui fait augmenter R2. 2) Lefacteur n−1

n−k−1 augmente, ce qui fait diminuer R2. L’effet netest ambigu.

3. R2 peut etre negatif.

R2 ajuste (suite)

I La definition du R2 ajuste semble arbitraire.

I Elle a une justification statistique.

I Si on ajoute une variable explicative additionnelle Xk+1 a unmodele, on peut tester sa significativite.

I Si la statistique t normalisee pour le test a une valeur absoluesuperieure a 1, le R2 ajuste augmente. Si non, il diminue.

I Nous allons revenir a cette question apres la section sur lestests d’hypothese.

Proprietes statistiques de l’estimateur MCO

I Hypotheses de base :

1. E (ui |Xi ) = 0.2. (Xi , Yi ) i.i.d.3. Xi et ui ont des quatriemes moments non nuls et finis.4. X est de rang plein en colonnes. En fait, cette hypothese est

necessaire pour que l’estimateur MCO existe.

I Hypotheses additionnelles :

1. Var (ui |Xi ) = σ2u.

2. La distribution de ui conditionnelle a la valeur de Xi suit uneloi normale.

Absence de biais

I Nous avonsβ = (X ′X )−1X ′Y

= (X ′X )−1X ′(Xβ + U)

= β + (X ′X )−1X ′U

→ E(β)

= β + E((X ′X )−1X ′U

)= β + E

((X ′X )−1X ′E (U|X )

)= β.

La derniere egalite depend de la loi des esperances iterees.

Theoreme de Slutsky

I Sous certaines conditions, Xnp−→ X ⇒ h (Xn)

p−→ h(X ).

I En general,Zn = f (Xn,Yn) ,

et si Xnp−→ X et Yn

p−→ Y , alors

Znp−→ f (X ,Y ).

I Convergence en probabilite et en distribution. Si anp−→ a ou a

est une constante et si Snd−→ S , alors

an + Snd−→ a + S ,

anSnd−→ aS ,

et si a 6= 0,Snan

d−→ S

a.

Convergence

I Nous avonsβ = (X ′X )−1X ′Y

= (X ′X )−1X ′(Xβ + U)

= β + (X ′X )−1X ′U

→(β − β

)=

((X ′X )

n

)−1((X ′U)

n

)Nous avons divise et multiplie par le scalaire n afin de pouvoir

parler de convergence en probabilite. (X ′X )n est une matrice

dont l’element i , j est donne par

Xi′Xj

n=

1

n

n∑l=1

Xi−1,lXj−1,l .

Convergence (suite)

I Par une des hypotheses du modele de regression multiple,nous avons

limn→∞

Xi′Xj

n= E

(Xi′Xj

).

I Ceci veut dire qu’il y a convergence en probabilite vers

l’esperance de Xi′Xj . Donc, (X ′X )

n converge en probabilite aQx , qui est definie comme

Qx ≡ E

(X ′X

n

).

I Donc, le premier terme converge en probabilite a

(Qx)−1

Convergence (suite)I Le 2e terme converge en probabilite a zero. Voici l’argument.

E

((X ′U)

n

)= E

((X ′E (U|X ))

n

)= 0.

I Si on considere l’ieme colonne de la matrice X , nous avons

Var

(1

nXi′U

)=

(1

n

)2

Var(Xi′U)

=

(1

n

)2

Var

(n∑

l=1

Xi−1,lUl

)

=

(1

n

)2 n∑l=1

Var (Xi−1,lUl) .

Definissons Xi−1,lUl ≡ Vi ,l . Nous avons

Var

(1

nXi′U

)=

(1

n

)2 n∑l=1

Var (Vi ,l) =

(1

n

)2

nVar (Vi )

=

(1

n

)Var (Vi ) .

Convergence (suite)

I Avec une esperance de zero et une variance qui tend vers zero,on a (presque) la preuve de la convergence :

(X ′U)

n

p−→ 0.

I Les hypotheses du theoreme de Slutsky sont satisfaites, doncla limite de probabilite du produit est le produit des limites deprobabilite. Donc, nous avons :(

β − β)

p−→ 0.

Covariances en notation matricielle

I Notation matricielle pour les covariances. Considerons

(Y − E(Y )) (Y − E(Y ))′ .

I L’element (i , j) est :

(Yi − E (Yi )) (Yj − E (Yj)) .

I Donc son esperance est une covariance (variance si i = j).

E ((Yi − E (Yi )) (Yj − E (Yj)))

I Donc, la matrice suivante contient toutes les variances etcovariances possibles entre les elements de Y .

E((Y − E(Y )) (Y − E(Y ))′

).

Distribution echantillonnale de β

I Nous avons √n(β − β

)=

((X ′X )

n

)−1((X ′U)√n

).

I Nous avons deja vu que

E(β − β

)= 0.

I Donc, une expression qui nous donne la matrice de

variance-covariance de√n(β − β

)est donnee par :

E

(n(β − β

)(β − β

)′)

Distribution echantillonnale de β (suite)

I Nous devons examiner le comportement en grand echantillonde ((

(X ′X )

n

)−1((X ′U)√n

))(((X ′X )

n

)−1((X ′U)√n

))′

=

((X ′X )

n

)−1((X ′U)√n

)((X ′U)√

n

)′((X ′X )

n

)−1.

I Nous avons deja vu que((X ′X )

n

)−1 p−→ (Qx)−1. Regardons

((X ′U)√

n

)((X ′U)√

n

)′.


I Nous avons :

(X ′U) =n∑

i=1

ui

X1iuiX2iui

...Xkiui

≡n∑

i=1

Vi .

I Selon le � Key Concept 18.1 �, les Vi sont i.i.d., donc

1

n

n∑i=1

Vip−→ 0,

1√n

n∑i=1

Vid−→ N (0 , ΣV ) ,

ΣV ≡ E(ViVi

′) .


I Donc (theoreme de Slutsky)

√n(β − β

)d−→ N

(0k+1 , Qx

−1ΣVQx−1) ,

Cas homoscedastique

I Nous pouvons ecrire

E(UU ′

)= σ2uIn.

Nous avons ((X ′U)√

n

)((X ′U)√

n

)′=

(X ′UU ′X

n

)p−→ E

(1

nσ2uX

′InX

)= E

(1

nσ2uX

′X

)= σ2uQx .

I Donc

√n(β − β

)d−→ N

(0k+1 , σ

2uQx

−1QxQx−1) = N

(0k+1 , σ

2uQx

−1) .

Estimateurs convergents

I Nous remplacons QX avec

Qx ≡(X ′X )

n.

I Nous remplacons ΣV avec

ΣV ≡1

n − k − 1

n∑i=1

XiXi′ (ui )

2

I Nous pouvons finalement ecrire

β ≈ N

(β ,

1

n

(Qx

)−1Σv

(Qx

)−1)≡ N

(β , Σβ

).

Cas homoscedastique

I Un estimateur convergent de σ2u est donne par

s2u ≡1

n − k − 1

n∑i=1

u2i .

Nous utilisons le meme estimateur de Qx , et donc

β ≈ N

(β ,

1

n

(Qx

)−1s2u

(Qx

)(Qx

)−1)≡ N

(β , Σβ

),

β ≈ N

(β ,

1

ns2u

(Qx

)−1)≡ N

(β , Σβ

),

Gauss-Markov

I Dans le cas homoscedastique, si β est n’importe quelestimateur lineaire et non biaise de β, il faut que

Var(c ′β)≤ Var

(c ′β)

pour toute combinaison lineaire c ′β.

I Il y a une preuve dans la section 18.5 du manuel.

I Notez que cette preuve ne suppose pas la normalite du termed’erreur. Voir Giles (2011b).

I Il y a aussi une preuve simple si on suppose que les variablesexplicatives X sont fixes ou non stochastiques. Voir la pagesuivante.

Gauss-Markov : preuve

I Soit β = CY un autre estimateur lineaire de β.

I On suppose que C peut s’ecrire C = (X ′X )−1 X ′ + D ou Dest une matrice non nulle.

I Nous avons

E (CY ) = E(((

X ′X)−1

X ′ + D)

(Xβ + U))

=((

X ′X)−1

X ′ + D)Xβ + E

(((X ′X

)−1X ′ + D

)U)

= β + DXβ + E(((

X ′X)−1

X ′ + D)E (U|X )

)= β + DXβ

Gauss-Markov : preuve (suite)

I Nous voulons prouver que β a la plus petite variance parmi lesestimateurs non biaises. Il faut donc que DX = 0

I Nous avons

Var (CY |X ,D) = CVar (Y |X ,D)C ′

= CVar (U|X )C ′ = σ2uCC′

= σ2u

( (X ′X

)−1X ′X

(X ′X

)−1+(X ′X

)−1X ′D ′

+DX(X ′X

)−1+ DD ′

)= σ2u

(X ′X

)−1+ σ2uDD

′

ou DD ′ est positive semi-definie.

Gauss-Markov : preuve (suite)

I Nous avonsVar

(β)−Var

(β)

= σ2uDD′

⇒ Var(c ′β)−Var

(c ′β)

= σ2uc′DD ′c ≥ 0,

ce qui fut a demontrer.

Tests d’hypotheses simples par rapport a un seul coefficient

I Nous utilison la statistique � t � donnee par

t =βi − βH0

i

sβi.

I Toute la discussion du chapitre sur la statistique et l’inferences’applique. Nous avons

t ∼ N (0 , 1) .

I Si H1 : βi 6= βH0i nous avons

Φ (−|ta|) = Pr (t ≤ −|ta|)

= Pr

(t ≤ −

∣∣∣∣∣ βi − βH0i

sβi

∣∣∣∣∣).

Tests d’hypotheses simples : H1 unilaterale 1

I On aH0 : βi = βH0

i

etH1 : βi > βH0

i ,

I La p-value du test est donnee par

p = Pr(z > tact

)= 1− Φ

(tact).

Tests d’hypotheses simples : H1 unilaterale 2

I On aH0 : βi = βH0

i

etH1 : βi < βH0

i ,

I La p-value du test est donnee par

p = Pr(z < tact

)= Φ

(tact).

Tests par rapport a une combinaison lineaire de coefficients

I Modele en notation non matricielle :


I Nous voulons tester la restriction suivante :

H0 : β1 + β2 = 1,

contreH1 : β1 + β2 6= 1.

Combinaison lineaire de coefficients (suite)

I Version equivalente au modele original :

Yi = β0 + X1i (β1 + β2) + (X2i − X1i )β2 + . . .+ Xkiβk + ui .

I Nous pouvons reecrire le modele comme

Yi = β0 + X1iγ1 + Ziβ2 + . . .+ Xkiβk + ui ,

ou Zi ≡ X2i − X1i et γ1 ≡ β1 + β2.

I Tester H0 : β1 + β2 = 1 revient a tester H0 : γ1 = 1.

Les tests sequentiels ne sont pas valides

I Supposons que nous voulons tester l’hypothese jointesuivante :

H0 : β1 = β2 = 0.

contreH1 : ∃i , i = 1, 2 tel que βi 6= 0.

I Pourquoi pas tester les 2 hypotheses de facon sequentielle ?

t1 =β1 − βH0

1

sβ1,

t2 =β2 − βH0

2

sβ2.

I On pourrait rejeter si une des deux hypotheses est rejetee parun test d’hypothese simple.

Les tests sequentiels ne sont pas valides (suite)

I Le probleme avec cette idee est qu’il s’agit de distributions deprobabilite jointes.

I Prenons le cas simple ou les 2 coefficients sontindependamment distribues.

I Dans les deux cas, on ne rejetterait pas l’hypothese nulle a unniveau de significativite marginal de 5% si |t1| < 1.96 et|t2| < 1.96.

I La probabilite d’obtenir au moins un rejet en effectuant deuxtests si les hypotheses nulles sont vraies serait egale a1− 0.952.

I Il faudrait au moins ajuster le niveau de significativitemarginal.

Test Bonferroni

I L’annexe (7.1) du livre decrit une facon d’ajuster les niveauxde significativite marginaux pour tenir compte de lacorrelation non nulle entre les coefficients.

I Cette methodologie peut etre utile dans certains cas,notamment lorsqu’on lit les resultats de regressions rapportesdans des articles publies ou des cahiers de recherche ou on nedonne pas la matrice variance-covariance complete descoefficients estimes.

Test Bonferroni

I Choisir une valeur critique ou la probabilite de rejeter H0 nedepasse pas la probabilite de la rejeter si on tient compte de lanon-independance entre les hypotheses faisant partie del’hypothese jointe.

I On rejette H0 si on rejette au moins une des hypothesesindividuelles.

I Cas de 2 hypotheses simples : appelons A l’evenement quenous rejetons la premiere hypothese, et B l’evenement quenous rejetons la 2e hypothese simple :

Pr (A ∪ B) ≤ Pr (A) + Pr (B) ,

I Avec des p-values identiques, on va choisir des p-values telque leur somme soit egale a la p-value desiree du test joint.

I Le test Bonferroni est tres conservateur : minimiser laprobabilite de rejeter H0 (jointe) lorsqu’elle est vraie.

Tests d’hypotheses jointes

I Reprenons l’exemple de la sous-section precedente.L’hypothese nulle a tester est

H0 : β1 + β2 = 1,

I Nous pouvons ecrire cette hypothese sous forme matricielle dela facon suivante :

[0 1 1 0 . . . 0

]

β0β1β2β3...βk

= 1

I Ceci est de la forme :Rβ = r ,

Tests d’hypotheses jointes (suite)

I Prenons un cas ou le nombre d’hypotheses est egal a deux.

H0 : β1 = β2 = 0

etH1 : ∃i , i = 1, 2 tel que βi 6= 0.

I Sous forme matricielle, nous avons

H0 :

[0 1 0 0 . . . 00 0 1 0 . . . 0

]

β0β1β2β3...βk

=

[00

].

Tests d’hypotheses jointes (suite)

I On peut montrer que la statistique suivante obeit, (en grandechantillon et sous H0) a une loi Fq,∞ :

F ≡(Rβ − r

)′ [RΣβR

′]−1 (

Rβ − r)/q.

I Ici, on a q le nombre de restrictions que l’on veut tester et Σβ

la matrice variance-covariance de l’estime β.

I Dans l’exemple que nous venons d’etudier, q = 2, et donc

Fd−→ Fq,∞.

I La plupart des logiciels de regression, dont R offrent lapossibilite de specifier les equivalents de R et r afin de testerdes hypotheses jointes quelconques.

Une seule restriction comme cas special

I Dans les cas q = 1, la statistique F est le carre de lastatistique t.

I Nous ne pouvons pas faire la distinction entre une statistiquet qui serait grande en valeur absolue et negative et unestatistique t grande en valeur absolue et positive.

I Pour illustrer l’equivalence prenons l’exemple H0 : β1 = 0.Sous forme matricielle

[0 1 0 . . . 0

]β0β1β2...βk

= β1 = 0.

Une seule restriction comme cas special (suite)

I Nous avons dans ce cas

F =(β1 − 0

)[

0 1 0 . . . 0]

Σβ

010...0

−1

(β1 − 0

).

I On peut montrer (exercice) que

[0 1 0 . . . 0

]Σβ

010...0

= σ2β1,

Une seule restriction comme cas special (suite)I Donc, nous avons

F =

(β1 − 0

sβ1

)2

= t2.

I Deuxieme exemple :

H0 : β1 + β2 = 1.

I Sous forme matricelle :

[0 1 1 0 . . . 0

]

β0β1β2β3...βk

= β1 + β2 = 1.


I Dans ce cas

F =(β1 + β2 − 1

)

0110...0

′

Σβ

0110...0

−1

(β1 + β2 − 1

).

I On peut verifier que

[0 1 1 0 . . . 0

]Σβ

0110...0

= s2

β1+ s2

β2+ 2sβ1,β2


I Ici, sβ1,β2 est l’element hors-diagonale de la matricevariance-covariance, un estime convergent de la covarianceentre β1 et β2.

I Il s’agit donc de l’estimateur convergent de la variance deβ1 + β2.

I La statistique F devient

F =

(β1 + β2 − 1

)2s2β1

+ s2β2

+ 2sβ1,β2= t2.

I On voit l’equivalence entre la statistique F et le carre de lastatistique t.

Significativite de la regressionI Souvent, on veut tester l’hypothese nulle selon laquelle tous

les coefficients de la regression sauf la constante sont egauxa zero.

I Nous pouvons ecrire cette restriction sous forme matriciellesans probleme avec

R =

0 1 0 0 . . . 00 0 1 0 . . . 00 0 0 1 . . . 0...

......

.... . .

...0 0 0 0 . . . 1

,et

r =

000...0

.

Cas homoscedastique

I Rien de different par rapport au cas general. On remplace Σβ

par Σβ.

I Donc, nous avons :

F ≡(Rβ − r

)′ [RΣβR

′]−1 (

Rβ − r)/q,

I Alternative : estimer le modele sous l’hypothese nulle et sousl’hypothese alternative, et utiliser la formule suivante :

F =(SSRrestricted − SSRunrestricted) /q

SSRunrestricted/ (n − kunrestricted − 1).

Cas homoscedastique (suite)

I Formule equivalente :

F =

(R2unrestricted − R2

restricted

)/q(

1− R2unrestricted

)/ (n − kunrestricted − 1)

,

I Vous devriez montrer algebriquement comment passer de lapremiere a la deuxieme version de ce test. La demonstrationest en fait tres simple.

I Nous n’allons pas montrer formellement pourquoi lesstatistiques F dans le cas homoscedastique peuvent etreecrites sous cette forme. Voir par exemple Greene (2000).

Cas homoscedastique (suite)I Un exemple concret. Soit le modele de regression multiple

standard


I Nous voulons tester H0 : β1 + β2 = 1. Isolant β2 nous donne

β2 = 1− β1.

I Substituant dans le modele, nous donne

Yi = β0 + X1iβ1 + X2i (1− β1) + . . .+ Xkiβk + ui ,

ou

Yi − X2i = β0 + (X1i − X2i )β1 + X3iβ3 + . . .+ Xkiβk + ui .

I Le modele a estimer devient

Yi = β0 + Ziβ1 + X3iβ3 + . . .+ Xkiβk + ui .

Cas homoscedastique (suite)

I La loi F est definie seulement pour des valeurs positives de lavariable aleatoire.

I Les estimes MCO du modele contraint proviennent de lasolution a un probleme de minimisation contraint, ou lacontrainte est l’hypothese nulle que nous voulons tester.

I Les estimes MCO du modele non contraint proviennent de lasolution a un probleme de minimisation ou cette contrainten’est pas imposee.

I Donc la somme des residus carres du modele contraint doitetre au moins aussi elevee que pour le modele non contraint,et la statistique F calculee par une des formules ou par l’autredoit etre positive.

I L’extension au cas d’hypotheses jointes est directe.

Test de significativite de la regression (homoscedasticite)

I Dans ce cas, lu modele contraint prend la forme

Yi = β0 + ui .

I On sait que β0 = Y .

I Nous avons

TSS ≡n∑=1

(Yi − Y

)2=

n∑i=1

(Y + ui − Y

)2=

n∑i=1

u2i ≡ SSR

⇒ R2 = 0.

Test de significativite de la regression (homoscedasticite)

I La deuxieme forme de la statistique F devient dans ce cas

F =

(R2)/k

(1− R2) / (n − k − 1)

=R2

(1− R2)

(n − k − 1)

k,

I Je n’ai pas ecrit explicitement � R2unrestricted

� puisqu’il n’y apas d’ambiguıte (on estime seulement le modele noncontraint).

Tests exacts

I Les tests developpes ici tiennent en grand echantillon.

I Si on fait l’hypothese les erreurs sont homoscedastiques, i.i.d.,et distribuees selon une loi normale, on peut montrer que lastatistique F suit une loi Fq,n−kunrestricted−1 meme en petitechantillon.

I Vous devriez comparer les valeurs tablees de Fq,∞ etFq,n−kunrestricted−1 pour des valeurs differentes de n afin dedevelopper une idee de la taille d’echantillon ou les differencesentre les deux deviennent negligeables.

Ensembles de confiance

I Extension naturelle de l’idee de tests d’hypothese.

I Un point est dans l’ensemble de confiance de X% si nous nepouvons rejeter ces valeurs a un niveau de significativitemarginal de (100− X )% sous l’hypothese nulle que les vraiesvaleurs des coefficients sont egales a celles obtenues parl’estimation MCO.

I Les bornes d’un ensemble de confiance prend la forme d’uneellipse dans le plan des coefficients pour lesquels on le calcule.

Ensembles de confiance (exemple)

I Supposons que nous voulons etablir un ensemble de confiancepour les coefficients β1, β2 et β4.

I Si nous voulons savoir si le point (β1,0 , β2,0 , β4,0) est dansl’ensemble de confiance, nous testons

H0 : β1,0 = β1 , β2,0 = β2 , β4,0 = β4.

I Si H0 est acceptee a un niveau de significativite marginal de(100− X )%, le point est dans l’ensemble de confiance.

I Le nombre de points dans la borne est infini. Il y a desformules explicites, basees sur la formule pour la statistique Futilisee pour tester si un point fait partie de l’ensemble deconfiance, mais nous n’allons pas etudier ces formules endetail.

Multicollinearite (parfaite)

I Il existe une relation lineaire exacte qui relie un sous-ensembledes variables explicatives.

I Il resulte normalement d’un probleme logique dans le choixdes regresseurs.

I L’exemple le plus connu de ce probleme est la soi-disant� trappe des variables dichotomiques �.

I Nous pouvons illustrer avec un exemple simple.

Multicollinearite parfaite (exemple simple)

I Un echantillon d’individus.

I Une premiere variable dichotomique prend la valeur de unlorsque l’individu est une femme et zero autrement.

I Une deuxieme prend la valeur de un lorsque l’individu est unhomme et zero autrement.

Multicollinearite parfaite (exemple simple suite)

I Nous pourrions avoir

X1 =

10110...0

, X2 =

01001...1

⇒ X1 + X2 =

11111...1

.

I Si nous essayons d’estimer une regression et d’inclure uneconstante, X1 et X2 comme variables explicatives, laconstante sera tout simplement la somme de X1 et X2. (X ′X )sera singuliere.

I Il y a plusieurs autres exemples classiques de multicollineariteparfaite. Voir la section 6.7 du manuel.

Multicollinearite imparfaite

I Une variable explicative est tres fortement correlee avec uneautre variable explicative ou avec une combinaison lineaire deces variables.

I La matrice (X ′X ) n’est pas singuliere mais peut souvent etrepresque singuliere. Elle aura une valeur caracteristique pres dezero, et beaucoup plus faible que les autres valeurscaracteristiques de la matrice X ′X .

I La multicollinearite imparfaite n’est typiquement pas un signed’une erreur logique dans le choix des variables explicatives dumodele, mais est due aux donnees utilisees et a la question alaquelle on essaie de repondre en specifiant le modele deregression multiple.

Multicollinearite imparfaite (suite)

I Une consequence de cette situation qui est strictement dans ledomaine de l’analyse numerique. Le calcul de (X ′X )−1 serasujet a des erreurs numeriques importantes. Les coefficientsestimes seront imprecis au sens numerique.

I Les ecarts types des coefficients estimes risquent d’etre plutoteleves.

I Difficile de montrer rigoureusement ce resultat L’Annexe 6.2du manuel presente un exemple specifique qui illustre leprincipe.

Multicollinearite imparfaite (exemple)

I Modele :Yi = β0 + β1X1i + β2X2i + ui .

I On a

Yi − Y = β1(X1i − X1

)+ β2

(X2i − X2

)+ (ui − u)

ou

Y = X

[β1β2

]+ U

I Estimateur MCO : [β1β2

]= (X ′X )−1X ′Y

Multicollinearite imparfaite (exemple suite)

I La matrice variance-covariance est (homoscedasticite)

Σβ =σ2un

[σ2X1

σX1,X2

σX1,X2 σ2X2

]−1.

I La matrice Q qui normalement est une matrice de momentsbruts est aussi (dans ce cas) la matrice variance-covariance deX1 et X2. On a [

σ2X1σX1,X2

σX1,X2 σ2X2

]−1

=1

σ2X1σ2X2− (σX1,X2)2

[σ2X2

−σX1,X2

−σX1,X2 σ2X1

]

Multicollinearite imparfaite (exemple suite)

I ce qui donne

σ2β1

=σ2un

[σ2X2

σ2X1σ2X2− (σX1,X2)2

]

=1

n

1

σ2X1− (σX1,X2)

2

σ2X2

σ2u

=1

n

1

1− (σX1,X2)2

σ2X1σ2X2

σ2uσ2X1

=1

n

[1

1− ρ2X1,X2

]σ2uσ2X1

.

I La variance estimee σ2β1

va croıtre avec la valeur absolue du

coefficient de correlation entre X1 et X2.

Multicollinearite imparfaite (suite)

I La multicollinearite imparfaite traduit le fait qu’il peut etretres difficile d’isoler l’impact individuel de chacune d’ungroupe de variables explicatives qui sont fortement correlees.

I Possible que chaque variable soit non significative tandis quele bloc est significatif sur la base d’une statistique F .

I Important d’insister sur l’importance du bloc de variables pourexpliquer la variable dependante, tout en soulignantl’impossibilite d’attribuer l’importance a une variableparticuliere.

I Truc 1 : Calculer la matrice de coefficients de correlation entrevariables explicatives.

I Truc 2 : Calculer la valeur du � conditionnement � de lamatrice (X ′X ).

Concepts a retenir

I Specification matricielle du modele.

I Hypotheses de base du modele.

I Suivre et comprendre le calcul de l’estimateur MCO ennotation matricielle.

I Suivre et comprendre le calcul de l’estimateur MCO ennotation non matricielle.

I Comprendre les preuves des proprietes algebriques del’estimateur MCO.

I Retenir les proprietes elles-memes.

I Comprendre la distinction entre R2 et R2.

I Comprendre pourquoi le R2 ne peut qu’augmenter si onajoute des variables au modele.

Concepts a retenir (suite)

I Comprendre les grandes lignes des proprietes de l’estimateurMCO.

I Comprendre les hypotheses qui doivent tenir pour que letheoreme Gauss-Markov tienne.

I Comprendre la distinction entre la matrice devariance-covariance robuste des coefficients et la matrice devariance-covariance non robuste.

I Comment effectuer un test d’hypothese simple.

I Comment effectuer un test d’hypothese simple portant surune combinaison lineaire de coefficients en estimant uneversion transformee mais equivalente du modele.

I Comment effectuer un test d’hypotheses jointes, et la facongenerale d’exprimer les contraintes a tester sous formematricielle.

Concepts a retenir (suite)

I Comment tester une ou des restrictions en estimant le modelerestreint dans le cas homoscedastique.

I L’idee que les ensembles de confiance sont des ellipses.

I L’idee que les ensembles de confiance sont des valeurs pourlesquelles on ne peut rejeter l’hypothese jointe que lescoefficients sont egaux aux valeurs estimees.

I La distinction entre multicollinearite parfaite etmulticollinearite imparfaite.

I L’idee que la multicollinearite parfaite indique un problemelogique dans la selection des variables explicatives.

I L’idee que la multicollinearite imparfaite reflete une correlationforte entre sous-ensembles de variables explicatives.

I L’idee qu’un groupe de variables peut etre significatif sans lapossibilite d’attribuer cette importance a une des variablesindividuelles du groupe.

ECO 4272 : Introduction à l'Économétrie Le modèle de ... · I Quasiment un rappel de la mati...

Documents

Transcript of ECO 4272 : Introduction à l'Économétrie Le modèle de ... · I Quasiment un rappel de la mati...