Régression linéaire multipleirma.math.unistra.fr/~mmaumy/enseignement/MCB2AM12014/... ·...

IntroductionPrésentation du modèle

Méthode des moindres carrés ordinairesPropriétés des moindres carrés

Hypothèses et estimationAnalyse de la variance : Test de Fisher

Autres tests et IC

Régression linéaire multiple

Myriam Maumy-Bertrand1

1IRMA, Université de StrasbourgFrance

MCB2A 1ère année 17-03-2015

Myriam Maumy-Bertrand Régression linéaire multiple




Autres tests et IC

Régression linéaire simpleExempleAffiner le modèle

Exemple : Issu du livre « Statistiques avec R », P.A. Cornillon,et al., Troisième édition augmentée, 2012, P.U.R.

Problème : Étude de la concentration d’ozone dans l’air.Modèle : La température à 12 heures (v.a. X1) et laconcentration d’ozone (v.a. Y ) sont liées de manièrelinéaire :

Y = β0 + β1X1 + ε.

Observations : n = 112 observations de la température à12 heures et de la concentration d’ozone.But : Estimer β0 et β1 afin de prédire la concentrationd’ozone connaissant la température à 12 heures.





Autres tests et IC






Autres tests et IC


Affiner le modèleSouvent la régression linéaire est trop simpliste. Il faut alorsutiliser d’autres modèles plus réalistes mais parfois pluscomplexes :

Utiliser d’autres fonctions que les fonctions affines commeles fonctions polynômiales, exponentielles,logarithmiques. . .Considérer plusieurs variables explicatives.

Retour à l’exemple de la concentration d’ozoneLa température à 12 heures et la vitesse du vent à 12 heures.





Autres tests et IC

Régression linéaire multipleVision pratique

Régression linéaire multiple

Le principe de la régression linéaire multiple est simple :Déterminer la variable expliquée Y .Déterminer (p − 1) variables explicatives X1, . . ., Xp−1.Il ne reste plus qu’à appliquer un modèle linéaire :

Y = β0 + β1X1 + · · ·+ βp−1Xp−1 + ε.





Autres tests et IC


Concentration d’ozoneLa variable expliquée Y : la concentration d’ozone.Les (p − 1) variables explicatives X1, . . ., Xp−1 : X1température à 9 heures, X2 température à 12 heures, X3température à 15 heures, X4 nébulosité à 9 heures, . . .Il ne reste plus qu’à appliquer un modèle linéaire :

Y = β0 + β1X1 + · · ·+ β11X11 + ε.





Autres tests et IC


Dans un échantillon de n individus, nous mesurons yi , xi,1, . . .,xi,p−1 pour i = 1, . . . ,n.

Observations Y X1 . . . Xp−1

1 y1 x1,1 . . . x1,p−12 y2 x2,1 . . . x2,p−1...

......

......

n yn xn,1 . . . xn,p−1

RemarqueLes variables xi,j sont fixes tandis que les variables Yi sontaléatoires.





Autres tests et IC

MéthodeVersion matricielleLes calculsCas p = 2Exemple avec le logiciel R

ProblèmeIl faut estimer les p paramètres β0, . . ., βp−1 du modèle derégression et ce de manière optimale.

SolutionUtiliser la méthode des moindres carrés. Cette méthode revientà minimiser la quantité suivante :

minβ0,...,βp−1

n∑i=1

(yi −

(β0 + β1xi,1 + · · ·+ βp−1xi,p−1

))2.





Autres tests et IC


Le système peut se réécrire : y1...

yn

=

1 x1,1 · · · x1,p−1...

......

...1 xn,1 · · · xn,p−1

β0

...βp−1

+

ε1...εn

y = X β + ε

Vecteur des résidus : e = y− y = y− Xβ.





Autres tests et IC


Remarque

Les variables y et X sont mesurées tandis que l’estimateur βest à déterminer.La méthode des moindres carrés ordinaires consiste à trouverle vecteur β qui minimise la quantité suivante :

‖ε‖2 = tεε.





Autres tests et IC


Les calculs

‖ε‖2 = t(y− Xβ)(

y− Xβ)

= tyy− tβtXy− tyXβ + tβtXXβ= tyy− 2tβtXy + tβtXXβ

car tβtXy = tyXβ est un scalaire. Donc il est égal à satransposée.

La dérivée de ‖ε‖2 par rapport à β est alors égale à :

−2tXy + 2tXXβ.





Autres tests et IC


Problème

Nous cherchons β qui annule cette dérivée. Donc nous devonsrésoudre l’équation suivante :

tXXβ = tXy.

Solution

Nous trouvons après avoir inversé la matrice tXX (il fautnaturellement vérifier que tXX est carrée et inversiblec’est-à-dire qu’aucune des colonnes qui compose cette matricene soit proportionnelle aux autres colonnes) :

β = (tXX)−1tXy.





Autres tests et IC


RemarqueRetrouvons les résultats de la régression linéaire simple(p = 2). D’une part nous avons :

tXX =

(n

∑xi∑

xi∑

x2i

); tXy =

( ∑yi∑

xiyi

).

D’autre part, en calculant, nous obtenons :

(tXX)−1 =1

n∑

x2i − (

∑xi)2

( ∑x2

i −∑

xi−∑

xi n

)=

1∑(xi − xn)2

( ∑x2

i /n −xn−xn 1

).





Autres tests et IC


Suite et fin de la remarqueFinalement nous retrouvons bien :

β =

(β0

β1

)=

Y n∑

x2i − xn

∑xiYi∑

(xi − xn)2

∑xiYi − nxnY n∑(xi − xn)2

ce qui correspond aux estimateurs de la régression linéairesimple que nous avons déjà rencontrés dans le cours 5 d’esti .





Autres tests et IC


Retour à la concentration d’ozoneReprenons l’exemple de la concentration d’ozone traité endébut de ce cours. Le jeu de données se trouve à l’adressesuivante :http://math.agrocampus-ouest.fr/infoglueDeliverLive/enseignement/support2cours/livres/statistiques.avec.RPuis téléchargeons et enregistrons sur le bureau par exemple,le jeu de données : ozone.txt.Introduisons deux variables explicatives : la température à 12heures et la vitesse du vent à 12 heures.





Autres tests et IC


Suite de l’exempleTapons la ligne de commande suivante pour charger le jeu dedonnées :> ozone<-read.table(file.choose())

Nous pouvons vérifier que le fichier est bien importé en tapantla ligne de commande suivante :> str(ozone)

Maintenant, construisons le modèle linéaire en utilisant lacommande lm() :> modele1<-lm(max03 ∼ T12+Vx12,data=ozone)> summary(modele1)





Autres tests et IC


Suite de l’exempleR renvoie le résultat suivant :

Call:lm(formula = max03∼T12+Vx12)

Residuals:Min 1Q Median 3Q Max-33.08 -12.00 -1.20 10.67 45.67





Autres tests et IC


Suite de l’exempleCoefficients:

Estimate Std. Error t value Pr(>|t|)(Inter.) -14.4242 9.3943 -1.535 0.12758T12 5.0202 0.4140 12.125 < 2e-16 ***Vx12 2.0742 0.5987 3.465 0.00076 ***--Signif. codes: 0=***; 0.001=**; 0.01=*;0.05=.; 0.1= .





Autres tests et IC


Suite de l’exempleResidual standard error: 16.75 on 109 degreesof freedomMultiple R-squared: 0.6533,Adjusted R-squared: 0.6469F-statistic: 102.7 on 2 and 109 DF,p-value: < 2.2e-16

RemarqueNous commenterons tous ces résultats par la suite.





Autres tests et IC


Fin de l’exemple

Le vecteur β cherché est égal à :

β =

β0 = −14,4242β1 = 5,0202β2 = 2,0742

·





Autres tests et IC

« à la Pythagore »Coefficient de détermination

Résultats préliminaires

1∑

i

y2i =

∑i

yiyi ou (forme matricielle) t yy = tyy

2∑

i

yi =∑

i

yi

Propriété des moindres carrés ordinaires∑i

(yi − yn)2 =

∑i

(yi − yn)2 +

∑i

(yi − yi)2

sctot = screg + scres





Autres tests et IC


Représentation graphique de la relation fondamentale





Autres tests et IC


Rappel sur le coefficient de détermination

Nous rappelons que le coefficient de détermination estdéfini par :

R2 =screg

sctot·

Intuitivement ce coefficient de détermination quantifie lacapacité du modèle à expliquer les variations de Y .

Si R2 est proche de 1 alors le modèle est proche de laréalité.Si R2 est proche de 0 alors le modèle explique très mal laréalité. Il faut alors trouver un meilleur modèle.





Autres tests et IC


Retour à l’exemple de la concentration d’ozonePour calculer le coefficient de détermination, avec R, il existeplusieurs méthodes.La plus rapide : trouver le coefficient de détermination dans lasortie de la commande summary().R2 est en face de Multiple R-squared:.Ici R2 est égal à 0,6533. Le modèle n’est pas très bon puisqueR2 < 0,80. Il faudrait donc envisager un autre modèle pourexpliquer la concentration d’ozone.





Autres tests et IC

Hypothèses pour les testsEstimation de la variance σ2

Les hypothèses indispensables pour réaliser les testsNous faisons les hypothèses suivantes :

y = Xβ + ε

où le vecteur aléatoire ε suit une loi multinormale qui vérifie leshypothèses suivantes :

les εi sont indépendantesE (ε) = 0Var (ε) = σ2In,

où σ2 est la variance de la population et In est la matriceidentité de taille n.





Autres tests et IC


ConséquencesLes hypothèses précédentes impliquent :

E (y) = XβVar (y) = σ2In.

Nous pouvons alors démontrer, sous ces hypothèses :

E(β)= β.

Ce qui signifie que le vecteur β est un estimateur sansbiais de β.

Var(β)= σ2(tXX)−1.





Autres tests et IC


Problème

La variance σ2 de la population est inconnue. Donc il fautestimer la variance σ2 !Comment ?En construisant un estimateur !





Autres tests et IC


Construction d’un estimateur de la variance σ2

Un estimateur sans biais de la variance σ2 est défini par :

CMres =

∑(Yi − Yi)

2

n − p=

SCres

n − p=

SCtot − SCreg

n − p

oùn est le nombre d’individus/d’observations,p est le nombre de variables explicatives.

Nous rappelons que la quantité (n − p) est le nombre dedegrés de liberté associé à SCres.





Autres tests et IC

Test de FisherTester l’hypothèse nulle :

H0 : β1 = β2 = · · · = βp−1 = 0

contre l’hypothèse alternative :

H1 : ∃ au moins un j pour lequel βj 6= 0 où j varie de 1 à p − 1.

RemarqueSi l’hypothèse nulle H0 est vérifiée alors le modèle s’écrit :

Yi = β0 + εi .





Autres tests et IC

Tableau de l’analyse de la variance

Source de sc ddl cm Fobsvariation

Régression screg =n∑

i=1

(yi − y)2 p − 1screg

p − 1cmreg

cmres

Résiduelle scres =n∑

i=1

(yi − yi)2 n − p

scres

n − p

Totale sctot =n∑

i=1

(yi − y)2 n − 1





Autres tests et IC

Retour à la concentration d’ozoneNous obtenons le tableau d’analyse de la variance en tapantles deux lignes de commande suivantes :> modele0<-lm(maxO3∼1,data=ozone)> anova(modele0,modele1)

Source de sc ddl cm FobsvariationRégression 57611 2 28805,5 102,6749Résiduelle 30580 109 280,5505Totale 88191 111





Autres tests et IC

Méthode du test de Fisher1 Calculer la statistique du test de Fisher :

Fobs =cmreg

cmres·

2 Lire la valeur critique F1−α,p−1,n−p où F1−α,p−1,n−p est le(1− α)-quantile d’une loi de Fisher avec (p − 1) et (n − p)degrés de liberté, car si l’hypothèse nulle H0 est vraie,alors la statistique F suit une loi de Fisher avec (p − 1) et(n − p) degrés de liberté.

3 Comparer la statistique (la valeur observée) à la valeurcritique F1−α,p−1,n−p.





Autres tests et IC

Règle de décision pour le test de Fisher

Si Fobs > F1−α,p−1,n−p, alors le test est significatif. Nousrejetons l’hypothèse nulle H0 et décidons d’accepterl’hypothèse alternative H1. Le risque d’erreur associé àcette décision est un risque de première espèce α = 5%.Si Fobs < F1−α,p−1,n−p, alors le test n’est pas significatif.Nous décidons de ne pas rejeter l’hypothèse nulle H0 etdonc de l’accepter, au seuil α = 5%. Le risque d’erreurassocié à cette décision est un risque de deuxième espèceβ qu’il faudrait évaluer.





Autres tests et IC

Test de normalité sur les résidusPour réaliser le test de Fisher, il faut s’assurer auparavant queles erreurs suivent une loi normale.Pour cela, nous devons réaliser un test de normalité deShapiro-Wilk sur les résidus auparavant.Il faut donc commencer par calculer les résidus. Pour cela, ilfaut utiliser R et en particulier la commande residuals().





Autres tests et IC

Retour à l’exemple de la concentration d’ozoneNous commençons par calculer les résidus en tapant la lignede commande suivante :> residus<-residuals(modele1)

Puis, nous réalisons le test de Shapiro-Wilk sur les résidus entapant la ligne de commande suivante :> shapiro.test(residus)





Autres tests et IC

Suite de l’exempleR renvoie le résultat suivant :

Shapiro-Wilk normality testdata: residusW = 0.9854, p-value = 0.2624





Autres tests et IC

Suite de l’exempleLa p-valeur (0,2624) du test de Shapiro-Wilk étant strictementsupérieure à α = 5%, le test n’est pas significatif. Nousdécidons de ne pas rejeter l’hypothèse nulle H0 et donc del’accepter, au seuil α = 5%. Le risque d’erreur associé à cettedécision est un risque d’erreur de deuxième espèce β. Dans lecas d’un test de Shapiro-Wilk, nous ne pouvons pas l’évaluer.





Autres tests et IC

Fin de l’exempleDéterminons la valeur critique en utilisant R et en tapant la lignede commande suivante :> qf(0.95,2,109)R renvoie le résultat suivant :[1] 3.079596Comme Fobs = 102,6749 > F0,95,2,109 = 3,079596, le test estsignificatif. Nous décidons de rejeter l’hypothèse nulle H0 etdécidons d’accepter l’hypothèse alternative H1, au seuilα = 5%. Le risque d’erreur associé à cette décision est unrisque d’erreur de première espèce α = 5%.Donc nous pouvons conclure, au seuil α = 5%, qu’il y a aumoins une des deux variables qui joue le rôle de variableexplicative dans le modèle.





Autres tests et IC

RemarqueNous pouvons aussi raisonner avec la p-valeur donnée par Rdans la sortie donnée par la ligne de commande :> summary(modele1)Il faut aussi s’assurer d’avoir la normalité des résidus pourinterpréter cette p-valeur.





Autres tests et IC

Retour à la concentration d’ozoneRappelons que R nous a renvoyé le résultat suivant :

Residual standard error: 16.75 on 109 degreesof freedomMultiple R-squared: 0.6533,Adjusted R-squared: 0.6469F-statistic: 102.7 on 2 and 109 DF,p-value: < 2.2e-16





Autres tests et IC

Fin de l’exemple

La p-valeur (< 2,2× 10−16) du test de Fisher étant inférieure àα = 5%, le test est significatif. Nous rejetons l’hypothèse nulleH0 et décidons d’accepter l’hypothèse alternative H1, au seuilα = 5%. Le risque d’erreur associé à cette décision est unrisque de première espèce α = 5%Donc nous pouvons conclure, au seuil α = 5%, qu’il y a aumoins une des deux variables qui joue le rôle de variableexplicative dans le modèle.

RemarqueNous retrouvons la même conclusion que précédemmentlorsque nous avons raisonné avec la statistique du test !





Autres tests et IC

Les tests de StudentIntervalles de confianceTest de Fisher partiel

Tests de StudentTester l’hypothèse nulle

H0 : βj = bj pour j = 0, . . . ,p − 1

contre l’hypothèse alternative

H1 : βj 6= bj pour un certain j entre 0 et p − 1.





Autres tests et IC


Méthode du test de Student1 Calculer la statistique du test de Student :

tobs =βj − bj

s(βj)

où s2(βj) est l’élément diagonal d’indice j de CMres(tXX)−1.

2 Lire la valeur critique tn−p;1−α/2 où tn−2;1−α/2 est le(1−α/2)-quantile d’une loi de Student avec (n− p) degrésde liberté, car si l’hypothèse nulle H0 est vraie, alors tobssuit une loi de Student avec (n − p) degrés de liberté.

3 Comparer la statistique (la valeur observée) à la valeurcritique.





Autres tests et IC


Règle de décision pour le test de Student

Si |tobs| > tn−p;1−α/2, alors le test est significatif. Nousrejetons l’hypothèse nulle H0 et décidons d’accepterl’hypothèse alternative H1. Le risque d’erreur associé àcette décision est un risque de première espèce α = 5%.Si |tobs| < tn−p;1−α/2, alors le test n’est pas significatif.Nous décidons de ne pas rejeter l’hypothèse nulle H0 etdonc de l’accepter, au seuil α = 5%. Le risque d’erreurassocié à cette décision est un risque de deuxième espèceβ qu’il faudrait évaluer.





Autres tests et IC


Cas particulier du test de StudentTester l’hypothèse nulle

H0 : βj = 0 pour j = 0, . . . ,p − 1


H1 : βj 6= 0 pour un certain j entre 0 et p − 1.





Autres tests et IC


Méthode du test de Student1 Calculer la statistique du test de Student :

tobs =βj

s(βj)·

2 Lire la valeur critique tn−p;1−α/2 où tn−p;1−α/2 est le(1−α/2)-quantile d’une loi de Student avec (n− p) degrésde liberté, car si l’hypothèse nulle H0 est vraie, alors tobssuit une loi de Student avec (n − p) degrés de liberté.






Autres tests et IC


Règle de décision pour le test de Student

Si |tobs| > tn−p;1−α/2, alors le test est significatif. Nousrejetons l’hypothèse nulle H0 et décidons d’accepterl’hypothèse alternative H1. Le risque d’erreur associé àcette décision est un risque de première espèce α = 5%.Si |tobs| < tn−p;1−α/2, alors le test n’est pas significatif.Nous décidons de ne pas rejeter l’hypothèse nulle H0 etdonc de l’accepter, au seuil α = 5%. Le risque d’erreurassocié à cette décision est un risque de deuxième espèceβ qu’il faudrait évaluer.





Autres tests et IC


Retour à l’exemple de la concentration d’ozoneRappelons que R a renvoyé le résultat suivant :

Coefficients:Estimate Std. Error t value Pr(>|t|)

(Intercept) -14.4242 9.3943 -1.535 0.12758T12 5.0202 0.4140 12.125 < 2e-16 ***Vx12 2.0742 0.5987 3.465 0.00076 ***





Autres tests et IC


Suite de l’exempleLa p-valeur (0,12758) du test de Student, associée à laconstante étant strictement supérieure à α = 5%, le test n’estpas significatif. Nous décidons de ne pas rejeter l’hypothèsenulle H0 et donc de l’accepter, au seuil α = 5%. Le risqued’erreur associé à cette décision est un risque de deuxièmeespèce β qu’il faudrait évaluer.Donc nous pouvons conclure, au seuil α = 5%, que laconstante n’intervient pas dans le modèle.





Autres tests et IC


Suite de l’exemple

La p-valeur (p-value < 2× 10−16) du test de Student, associéeà la variable « T12 » étant inférieure ou égale à α = 5%, le testest significatif. Nous rejetons l’hypothèse nulle H0 et décidonsd’accepter l’hypothèse alternative H1. Le risque d’erreurassocié à cette décision est un risque de première espèceα = 5%.Donc nous pouvons conclure, au seuil α = 5%, que la variabletempérature à 12 heures joue bien un rôle de variableexplicative dans le modèle.





Autres tests et IC


Fin de l’exempleLa p-valeur (0,00076) du test de Student, associée à la variable« Vx12 » étant inférieure ou égale à α = 5%, le test estsignificatif. Nous rejetons l’hypothèse nulle H0 et décidonsd’accepter l’hypothèse alternative H1. Le risque d’erreurassocié à cette décision est un risque de première espèceα = 5%.Donc nous pouvons conclure, au seuil α = 5%, que la variablevitesse du vent à 12 heures joue bien un rôle de variableexplicative dans le modèle.





Autres tests et IC


IC pour βj

Un intervalle de confiance au niveau (1− α) où α est laprobabilité d’erreur pour βj est défini par :]

βj − tn−p;1−α/2 × s(βj); βj + tn−p;1−α/2 × s(βj)[.

RemarqueCet intervalle de confiance est construit de telle sorte qu’ilcontienne le paramètre inconnu βj avec une probabilité de(1− α).





Autres tests et IC


Retour à l’exemple de la concentration d’ozonePour calculer les intervalle de confiance pour les paramètres dumodèle dans lequel il y a la température à 12 heures et lavitesse du vent à 12 heures, nous utilisons la commandeconfint(). Donc, en tapant la ligne de commande suivante :> confint(modeleTV)

R renvoie le résultat suivant :

2.5 % 97.5 %(Intercept) -33.0434740 4.195007T12 4.1995967 5.840850Vx12 0.8875903 3.260712





Autres tests et IC


Test de Fisher partielLa nullité d’un certain nombre r de paramètres dans un modèlede p paramètres.Tester l’hypothèse nulle

H0 : modèle réduit avec (p − r) paramètres


H1 : modèle complet avec p paramètres.





Autres tests et IC


Deux exemples1 Tester la nullité d’un paramètre. Par exemple : β1.

H0 : Yi = β0 + β2xi2 + · · ·+ βp−1xi(p−1) + εi

contre

H1 : Yi = β0 + β1xi1 + β2xi2 + · · ·+ βp−1xi(p−1) + εi .





Autres tests et IC


Suite des deux exemples2 Tester la nullité de plusieurs paramètres. Par exemple les

coefficients pairs : β2j .

H0 : Yi = β1xi1 + β3xi3 + · · ·+ β2p−1xi2p−1 + εi

contre

H1 : Yi = β0 + β1xi1 + β2xi2 + · · ·+ β2pxi2p + εi .





Autres tests et IC


Méthode du test de Fisher partiel1 Calculer les valeurs estimées yi en utilisant la méthode

des moindres carrés pour chacun des deux modèlesdéfinis par H0 et H1, notées : yi(H0) et yi(H1).

2 Calculer ensuite SCres(H0) et SCres(H1).3 Calculer la statistique du test de Fisher :

Fobs =SCres(H0)− SCres(H1)

SCres(H1)× n − p

r·





Autres tests et IC


Méthode - Suite et fin4 Lire la valeur critique F1−α,r ,n−p où F1−α,r ,n−p est le

(1−α)-quantile d’une loi de Fisher avec r et (n− p) degrésde liberté, car si l’hypothèse nulle H0 est vraie, alors Fobssuit une loi de Fisher avec r et (n − p) degrés de liberté.






Autres tests et IC


Règle de décision

Si Fobs > F1−α,r ,n−p, alors le test est significatif. Nousrejetons l’hypothèse nulle H0 et décidons d’accepterl’hypothèse alternative H1, au seuil α = 5%. Le risqued’erreur associé à cette décision est un risque de premièreespèce α = 5%.Si Fobs < F1−α,r ,n−p, alors le test n’est pas significatif.Nous décidons de ne pas rejeter l’hypothèse nulle H0 etdonc de l’accepter, au seuil α = 5%. Le risque d’erreurassocié à cette décision est un risque de deuxième espèceβ qu’il faudrait évaluer.





Autres tests et IC


Un autre exempleUn exemple d’utilisation du test de Fisher partiel se trouve dansla feuille de T.D. numéro 2, exercice 1.


Régression linéaire multipleirma.math.unistra.fr/~mmaumy/enseignement/MCB2AM12014/... ·...

Documents

Transcript of Régression linéaire multipleirma.math.unistra.fr/~mmaumy/enseignement/MCB2AM12014/... ·...