Le modŁle de regression simple - Le Mans...

Le modèle de regression simple


Ahmed Tritah, Université du Maine

Septembre 2017



Définition

Le modèle de régression simpleI Relation entre une variable indépendante(exogène/explicative) x et une variable dépendante(andogène/expliquée) y issus d’une même population.

I On veut expliquer la variation de y par la variation de x

I Plusieurs questions :I le traitement des autres facteurs qui affectent yI le choix de la forme fonctionelleI la relation entre y et x est-elle évaluée toute chose égale parailleurs?

I Modèle de régression linéaire simple :

y = β0 + β1x + u (RLS)

I u appelé terme d’erreur, représente les variables non observées.



Définition

Le modèle de régression simpleI L’équation (RLS) postule une relation linéaire entre x et yI Sous l’hypothèse que tous les autres facteurs sont maintenusconstant (∆u = 0), alors :

∆y = β1∆x (1)

I β1 est la pente de la relation entre y et x , β0 dénote la valeurde y lorsque x = 0.

I Exemple avec une équation de salaire :

salaire = β0 + β1educ + u (2)

I β1 mesure le supplément de salaire associé a une année d’étudesupplémentaire. Les autres facteurs (expérience, aptitudes,ancienneté, origine sociale, etc.) étant supposés constants.



Définition

I L’équation (RLS) représente-t-elle une relation causale?I Il faut pour cela faire des hypothèses sur la relation entre lavariable aléatoire x et la variable aléatoire y .

I Dans tous les cas on peut normaliser β0 de sorte que :

E (u) = 0 (3)

I Hypothèse centrale :

E (u|x) = 0 Moyenne conditionelle des erreurs nulle(MCNE)

L’épérance des erreurs sachant x est nulle.

I Ex. : E (aptitude|educ = 8) = E (aptitude|educ = 16) = 0=⇒ Faux si les individus aux aptitudes plus élevés étudientplus longtemps.



Définition

I L’hypothèse (MCNE) suggère une autre interprétation de β1,

E (y |x) = β0 + β1x + E (u|x) = β0 + β1x (4)

I E (y |x) est la Fonction d’Espérance Conditionnelle apelléeencore Fonction de Régression sur la Population (FRP).

I Cette fonction est linéaire en x .I Elle implique que pour toute valeur donnée de x , ladistribution de y est centrée autour de E (y |x).



Définition



Définition

Dérivation de l’estimateur des MCO

I On considére un échantillon aléatoire de la population de taillen : {(xi , yi ) : i = 1, ..., n}

I Ces données sont générées par la relation RLS, on peut doncécrire pout tout i: yi = β0 + β1xi + ui

I ui dénote le terme d’erreur pour l’observation i .I Pour obtenir une estimation de β0 et β1 sur cet échantillon onutilise les restrictions imposées par (3) et (MCNE)

E (u) = 0 (5)

etCov(x , u) = E (xu) = 0 (6)



Définition

I Les conditions (5) et (6) impliquent

E (y − β0 − β1x) = 0 et, (7)

E [x(y − β0 − β1x)] = 0 (8)

Soit l’équivalent sur l’échantillon :

n−1n

∑i=1(yi − β0 + β1xi ) = 0 et, (FOC1)

n−1n

∑i=1xi (yi − β0 + β1xi ) = 0 (FOC2)

=⇒ Il s’agit de l’approche par la méthode des moments



Définition

I Résolution : 2 équations (restrictions) à 2 inconnues (β0 etβ1)

β0 = y − β1x et, (9)

β1 =

n∑i=1(xi − x)(yi − y)n∑i=1(xi − x)2

≡ cov(x , y)var(x)

(10)



Définition

I Les moindres carré ordinaires : soit yi la valeur estimée, et uile résidu d’estimation :

ui = yi − yi = yi − β0 − β1xi (11)

Attention : ui est différent du terme d’erreur dans (RLS)I On montre que β0 et β1 minimisent la somme des carrés desrésidus (Exo):

n

∑i=1u2i =

n

∑i=1

(yi − β0 − β1xi

)2(12)

I L’estimation de β0 et β1 donne la droite des MCO :

y = β0 + β1x (FRE)

Il s’agit de la fonction de régression sur l’échantillon(FRE) ⇔ version estimée de FRP E (Y |x) = β0 + β1x .



Quelques exemples

Salaire des dirigeants et rendement des actifsI Soit y le salaire annuel d’un dirigeant d’une entreprise côtéeen bourse et x le rendement de l’action (en %, dénotée roe) .

I On postule le modèle de regression simple suivant :

salaire = β0 + β1roe + u (13)

Notre prédiction en tant qu’économiste est que β1 > 0I Données sur 209 dirigeants d’entreprise, la droite de regressionestimée par les MCO est :

salaire = 963, 191+ 18, 501roe (14)

I La variation prédite de salaire en fonction de la variation desrendements est : ∆salaire = 18.501(∆roe).

I si roe augmente de 1%, le salaire augmente de 18500 €.



Quelques exemples

Salaire des dirigeants et rendement des actifs : droiteestimée et droite théorique

010

0020

0030

0040

00

0 20 40 60return on equity, 8890 avg

1990 salary, thousands $ Fitted values



Quelques exemples

Salaire et niveau d’étude

I Soit y le salaire horaire d’un travailleur et x son nombred’années d’étude.

I L’échantillon (n = 526), donne la droite des MCO suivante :

salaire = −0, 90+ 0, 54educ . (15)

I Interprétation de la constante?I Interprétation de la pente?I Gains de salaire d’un passage de 8 à 12 année d’étude :

(16)

I L’hypothèse de linéarité génère un gain élevé à étudier.I Peut-être judicieux de considérer les non linéarités.



Quelques exemples

Salaire et niveau d’étude0

510

1520

25

0 5 10 15 20years of education

average hourly earnings Fitted values



Quelques exemples

Dépenses de campagne et résultats aux élections.I Des dépenses de campagnes plus élevées que ses concurentsaugmentent-elles la probabilité de remporter les élections?

I Deux parties en lisse A et BI Soit voteA la part des suffrages obtenus par A et shareA lapart de A dans les dépenses totales

I n = 173, l’équation estimée par MCO est :

voteA = 26, 81+ 0, 464shareA. (17)

I Interprétation de la constante?I Interprétation de la pente?I Cela représente—t-il une relation causale?I Quels sont les suffrages prédits pour le candidat A si shareA =6?


Propriétées des MCO vérifiées quel que soit l’échantillon

Valeures prédites et résidusI Par définition toutes les valeures prédites sont sur la droite deregression

I Le résidu pour l’observation i est la différence entre la valeurprédite et celle obervée : ui = yi − yi

I Exemple : salaire des dirigeants et rendement des actifs

Table: Dirigeants d’entreprise et rendement des actifs

obsno roe salaire salairehat uhat1 14,1 1095 1224,058 129,05812 10,9 1001 1164,854 163,85423 23,5 1122 1397,969 275,96924 5,9 578 1072,348 494,34845 13,8 1368 1218,508 149,49236 16,4 1078 1266,611 188,61087 16,3 1094 1264,761 170,76068 10,5 1237 1157,454 79,54626



Propriétés algébriques des statistiques des MCO I

I La somme (et donc la moyenne) des résidus est nulle

n

∑i=1ui = 0

⇐⇒ condition du premier ordre FOC1 des MCOI La covariance empirique entre la variable explicative et lerésidu des MCO est nulle

n

∑i=1xi ui = 0 (18)

⇐⇒ condition du premier ordre FOC2 des MCO



Propriétés algébriques des statistiques des MCO III (x , y) est toujours sur la droite de regression (cf Eq. (9))I Les MCO décomposent yi en 2 parties : prédiction + résidu

yi = yi + ui (19)

I la moyenne des résidus est égale à zero ⇔ ˆy = y

I Cov(yi , ui ) = 0

I Variation empirique de yi : SST =n∑i=1(yi − yi )2

I On montre que :

SCT = SCE + SCR (20)

⇔ variation totale = var . expliquee + var . r esiduelle

avec SCE ≡n∑i=1(yi − y)2 et SCR ≡

n∑i=1u2i (preuve en exo)



Qualité de l’ajustement

I La droite de regression est-elle bien ajustée aux données?I Réponse : coeffi cient de détermination (ou R2)

R2 ≡ SSE/SST = 1− SSR/SST (21)

I R2 ⇐⇒ fraction de la variation empirique de y expliquée par xI R2 ⇐⇒ carré de la corrélation empirique entre yi et yi (exo)

I R2 n’indique rien de la relation de causalité entre x et y


Unité de mesure et forme fonctionelle

Effets d’un changement d’unité de mesure sur lesstatistiques des MCO

I Si la variable dépendante est multipliée par une constante,alors la pente et l’ordonnée à l’origine de la regression simplesont multipliés par cette constante (exo)

I Considérez l’exemple du salaires des dirigeants en fonction durendement des actifs :

salaire = 963.191+ 18.501roe

n = 209, R2 = 0.0132

I Soit la variable roedec = roe/100I Quelle sera la valeur des paramètres de la régression de salairesur roedec?

I Quelle sera la valeur du R2?



Incorporer des non-linéarités

I Parfois la variable dépendante est sous forme logarithmiqueI Eq (15) =⇒ une année supplémentaire d’étude augmente lessalaires de 54 centimes: quel que soit le niveau initial.

I Plus cohérent que le gain varie en fonction du salaire initial.Pour cela on exprime le salaire en log:

log(salaire) = β0 + β1educ + u, et si ∆u = 0⇒ (22)

%∆salaire ≈ (100.β1)∆educ

I Ici le gain en valeur absolu est plus élevé pour les individusavec des salaires élevés.

I (22) implique des rendements de l’éducation croissants (exo)I Pour estimer (22), on transforme y de sorte que y = log(y).



Incorporer des non-linéarités I: exemple

I En utilisant les données sur les salaires on obtient :

log(salaire) = 0.584+ 0.083educ (23)

n = 526, R2 = 0.186 (24)

I Interprétez ces résultats...(exo)I Cette équation ne capte pas necessairement toutes les nonlinéarités (Ex. effets de pallier liés au diplôme).



Incorporer des non-linéarités II: exempleI La théorie peut suggérer une relation non-linéaire entre x et yI Exemple : taux de croissance linéaire ⇔ tendance lineaireCroissance exponentielle (population, revenus financiers) :y = A exp(rt)

log y = logA+ rt ⇔ y ∗ = A∗ + rt (25)

⇒transormation en log de la variable dépendante :r = ∂ log y/∂t

I La transformation log-log spécifie une relation à elasticitéconstante de type Cobb-Douglas

y = Axα ⇔ y ∗ = A∗ + αx∗ où (26)

y ∗ = log y , A∗ = logA et x∗ = log x

Elasticité de y à x : ηy ,x = ∂ log y/∂ log yI Formes polynomiales : y = a+ bx + cx2


Propriétés statistiques de l’estimateur des MCO

Les MCO sont sans biais II Hypothèse RLS1 (linéarité dans les paramètres)

y = β0 + β1x + u (27)

I Hypothèse RLS2 (échantillonnage aléatoire)Echantillon aléatoire de taille n, {(xi , yi ) : i = 1, ..., n}correspondant au modèle (27). On peut écrire l’équivalent de(27) pour un échantillon aléatoire :

yi = β0 + β1xi + ui (28)

Attention : ui terme d’erreur 6= du résidu ui(28) peut être représentée graphiquement pour un échantillondonné.

I Hypothèse RLS3 (x varie sur l’échantillon)La variable x , {xi , i = 1, ..., n} varie sur l’échantillon.



Les MCO sont sans biais II

I Hypothèse RLS4 (éspérance conditionelle des erreurs nulle)

E (u/x) = 0 (29)

Pour un échantillon aléatoire, cette hypothèse impliqueE (ui |xi ) = 0, ∀i = 1, ..., n.Cette condition permet de dériver toutes les caractéristiquesstatistiques des MCO conditionnelle aux valeurs de xi dansnotre échantillon.Cela revient à considérer xi comme fixe sur des échantillonsrépétés.



Les MCO sont sans biais IIII RLS1-RLS4 permettent de démontrer que l’estimateur desMCO est sans biais

I On réécrit l’estimateur des OLS comme (exo):

β1 =

n∑i=1(xi − x)yi

n∑i=1(xi − x)2

(30)

β1 est ici une variable aléatoire : conditionnelle à unéchantillon.

I Aprés développement on montre que (exo) :

β1 = β1 +

n∑i=1(xi − x)ui

SSTx= β1 + (1/SSTx )

n

∑i=1diui , (31)



Les MCO sont sans biais IVI β1 = paramètre de la population + terme qui est unecombinaison linéaire des ui .

I Etant donné un échantillon, le caractére aléatoire de uiprovient des erreurs dans l’échantillon.

I Si, conditionnelle aux xi , l’éspérance des erreurs n’est égales àzéro : E (β1) 6= β.

I La représentation (31) permet de démontrer la principalepropriété des MCO :

Theorem (L’estimateur des MCO est sans biais.)

Sous les hypothèses SLR1-SLR4 :

E (β1) = β1 et E (β0) = β0 (32)

Démonstration. exo



Quelques remarquesI Le caractère non biaisé dépend de la distribution de β0 et β1sur les échantillons

I Estimateurs non biaisés seulement si l’échantillon est"représentatif" de la population de départ.

I L’estimateur sera biaisé dés lors qu’une des 4 hypothèsesRLS1-RLS4 n’est vérifiée.

I Parfois sur-échantillon de certaines populations, problèmes desélectivité

I Pour le moment on se concentre sur l’hypothèse RLS4.I La corrélation entre x et u est fréquente dans le modèle RLSavec données non-expériementales.

I On obtient une corrélation naïve si dans le modèle RLS lavariable u inclu des facteurs qui affectent y et qui sontcorrélés avec x : la corrélation entre x et y est dûe aux autresfacteurs qui affectent y et qui sont corrélés avec x .



Exemple : performance des élèves et aide alimentaireI Effet de la gratuité du déjeuner sur les résultats enmathématiques des élèves

I On s’attend à un effet positifI Soit math10, le % d’étudiants ayant obtenues de bonsrésultats au test et lnchprg le % d’éléves élibles aux aides(bourses) dans les écoles. Le modèle RLS postule :

math10 = β0 + β1lnchprg + u (33)

u contient les caractéristiques des étudiants et de l’école quiaffectent les performances d’une école.

I Echantillon de 408 lycées en 1992-1993, on obtient :

math10 = 32, 4− 0, 319lnchprg (34)

n = 408, R2 = 0, 171 (35)

I Interprétez ces résultats. (exo)



Variance de l’estimateur MCOI Quelle est la précision de l’estimateur β1?I Pour la calculer on rajoute l’hypothèse :Hypothèse RLS5 (Homosédasticité)Quel que soit x , le terme d’erreur à une variance constante:

Var(u|x) = σ2 (36)

I RLS1-RLS4 necessaires pour avoir un estimateur sans biais.I RLS5 assure certaines propriétés d’effi cacité de l’estimateur.I RLS4⇒ Var(u|x) = E (u2) = Var(u) : σ2 est alors lavariance inconditionnelle de u.

I Il est utile de réécrire RLS4 et RLS5 comme :

E (y |x) = β0 + β1x et Var(y |x) = σ2 (37)

I Si Var(u|x) dépend de x ⇒hétérosédacticité et Var(y |x)dépend alors de x .



Exemple : hétérosédasticité dans une équation de salaire

I Pour obtenir un estimateur sans biais des rendements del’éducation on doit supposer

E (u|educ) = 0⇒ E (salaire|educ) = β0 + β1educ

I Si on suppose que les erreurs sont homosédastique alors :

Var(u|educ) ≡ Var(salaire|educ) = σ2

I Le salaire augmente avec le niveau d’éducation mais avec unevariabilité autour de sa moyenne constante quelque soit leniveau d’éducation.

I Que pensez vous de cette hypothèse?



I L’hypothèse d’hétérosédasticité permet de démontrer lethéorème suivant :

Theorem (Variance empirique de l’estimateur MCO)

Sous les hypothèses RLS1-RLS5 et étant donnée l’échantillon{x1, ..., xn},

Var(β1) =σ2

n∑i=1(xi − x)2

=σ2

SSTx, (38)

et

Var(β0) =σ2

n∑i=1x2i

nn∑i=1(xi − x)2

, (39)

Démonstration. exo (suggestion : utiliser l’expression (31))



Quelques remarques

I hétérosédasticité ⇒ (38) et (39) invalidesI (38) et (39) importantes pour estimer des intervalles deconfiance et tester des hypothèses.

I β1 estimé avec d’autant plus de précision que la variance deserreurs est faible et que la dispersion de la variables explicativeest élevée.

I Sur un échantillon de plus grande taille la précision sera plusélevée

I Les intervalles de confiances utilisent l’écartype de β1 et β0,sd(β1) et sd(β0), obtenu en prenant la racine carré del’expression de la variance dans (38) et (39)

I Question : montrez que l’estimation de β0 sera la plus précisesi x = 0. quel est dans ce cas Var(β0)?



Estimation de la variance des erreursI (38) et (39) ne peuvent étre déterminés car σ2 est inconnu.I C’est là qu’intervient la différence entre les erreurs (jamaisobservés) et les résidus (estimés).

I A partir de (19) et (28), la relation entre les deux s’écrit :

ui = ui − (β0 − β0)− (β1 − β1)xi (40)

En éspérance la différence entre ui et ui est égale à zéro, maispour chaque observation ui 6= ui .

I Puisque σ2 = E (u2) un estimateur sans biais de σ2 serait

n−1n∑i=1u2i . Cet estimateur ne peut pas être calculé car ui est

inconnu.I On doit donc se servir d’un estimateur de ui qui est le résidudes MCO ui .



I Un estimateur sans biais doit satisfaire :

n

∑i=1ui = 0 et

n

∑i=1xi ui = 0 (restrictions des MCO)

I Pour un échantillon de taille n, les résidus ont donc n− 2degrés de liberté contre n pour les erreurs ui .

I L’estimateur sans biais de σ2 est donc :

σ2 =1

n− 2n

∑i=1u2i = SSR/(n− 2) (41)



Theorem (L’estimateur sans biais de σ2)Sous les hypothèses RLS1-RLS5

E (σ2) = σ2. (42)

Démonstration. exo (suggestion : utiliser l’expression (40))I Un estimateur sans biais de Var(β0) et Var(β1) est obtenu enremplacant σ2 par σ2 dans (38) et (39).

I L’estimateur de l’écartype de β1 et β0 fait appel à :

σ =√

σ2 (ecartype de la regression)

I σ est un estimateur de l’écartype des non-observables quiaffectent y . Un estimateur de l’écartype de β1 est :

se(β1) = σ/√SSTx (erreur-type de β1)

Rq : σ et donc se(β1) sont des VA. se(β1) necessaire pour lestests et le calcul des intervalles de confiance



RésuméI Introduction et propriétés du modèle RLSI A partir d’un échantillon aléatoire utilisation des MCO pourestimer des paramètres sur la population.

I Calculs des valeurs prédites, des résidus et effet d’une variationde la variable indépendante sur la variable dépendante.

I Importance des unités de mesure et de la forme fonctionnelle(modèles à élasticité ou semi-élasticité constante).

I Sous les hypothèses RLS1-RLS4 estimateur des MCO sansbiais : l’hypothèse clé est que le terme d’erreur u a unemoyenne nulle étant donné x .

I Hypothèse souvent trop réstrictive : les facteurs contenusdans u sont corrélés avec x .

I Variance des erreurs étant donné x est constante : utile pourcalculer la variance des estimateurs.

I On a dérivé un estimateur sans biais de σ2 = Var(u)



La suite

I Comment tester des hypothèses concernant les paramètres?I Comment procéder à des inférences sur notre population?I Les MCO sont-ils effi caces par rapport à d’autres procéduresd’estimation?

I Ces questions (tests, intervalles de confiance et effi cacité) seposent aussi dans le cas de la regression multiple.

I La regression simple permet de présenter et de s’initier defaçon simple aux problèmes essentiels en économétrie.

I Répondez à l’ensemble des "exo" contenus dans ce chapitre.I Abordons maintenant le cas de la regression multiple.

Le modŁle de regression simple - Le Mans...

Documents

Transcript of Le modŁle de regression simple - Le Mans...