Choix du modèle -...

Critères de choixProcédures de sélection de variables

Deux variantes des méthodes précédentesProcédure de régression stagewise

Quelques conclusions

Choix du modèle

Frédéric Bertrand1

1IRMA, Université de StrasbourgFrance

ESIEA 4ème Année 06-04-2010

Frédéric Bertrand Choix du modèle




Ce cours s’appuie sur l’ouvrage suivant« Analyse de régression appliquée »Yadolah DodgeDunod, 1999

Le lecteur intéressé par ce sujet pourra consulter l’ouvragesuivant

« Le modèle linéaire par l’exemple »J.-M. Azais et J.-M.BardetDunod, 2005





Critère du R2

Critère du R2 ajustéCritère du Cp de MallowsCritères AIC et AICcCritère BIC

RemarqueDans tous les modèles que nous allons considérer, laconstante sera par défaut automatiquement présente. Ainsi, sile modèle comporte p − 1 variables explicatives, il y aura autotal p paramètres de régression notés β0, . . . , βp−1.

Critères de choixIl existe plusieurs critères pour sélectionner p − 1 variablesexplicatives parmi k variables explicatives disponibles,avec k > p − 1.Le critère du R2 se révèle le plus simple à définir.





Critère du R2


Inconvénient majeur du R2

Il augmente de façon monotone avec l’introduction de nouvellesvariables même si celles-ci sont peu corrélées avec la variableexpliquée Y .





Critère du R2


Pour parer à cet inconvénientIl est conseillé de se tourner vers l’utilisation des alternativessuivantes

1 le R2 ajusté2 le Cp de Mallows qui est un autre critère relatif au biais3 le critère AIC4 le critère AICc5 le critère BIC.

RemarqueCes six critères vont être maintenant présentés.





Critère du R2


Coefficient de détermination multiple : R2

Il a déjà été introduit dans le cours portant sur larégression linéaire simple.C’est une mesure qui permet d’évaluer le degréd’adéquation du modèle.Lors de l’introduction du test de Fisher partiel :accroissement de R2 au fur et à mesure de l’introductionde variables dans le modèle. Il atteint son maximumlorsque toutes les variables disponibles au départ sontincluses.





Critère du R2


Pour comparer deux modèles ayant le même nombre devariables explicatives

Comparer les R2 obtenus et choisir le modèle pour lequel R2

est le plus grand.

Pour comparer un sous-modèle avec p − 1 variables d’unmodèle avec (p − 1 + r) variablesUtiliser le test de Fisher partiel. Que nous dit ce test ?Ce test dit si l’introduction des variables supplémentairesaugmente suffisamment le R2 ou non.





Critère du R2


Coefficient de détermination multiple ajusté R2aj

Introduire un R2 qui concerne la population et non plusl’échantillon défini par :

R2pop = 1−σ2(ε)

σ2(Y )·

Estimer R2pop par :

R2aj = 1−s2(ε)s2(Y )

= 1− SCresSCtot

n − 1n − p

·





Critère du R2


Propriétés sur R2aj1 R2aj< R

2 dès que p > 2.2 R2aj peut prendre des valeurs négatives.

Intérêts de R2aj

R2aj n’augmente pas forcément lors de l’introduction devariables supplémentaires dans le modèle.Possibilité de comparer deux modèles n’ayant pas lemême nombre de variables à l’aide du R2aj et choisir lemodèle pour lequel R2aj est le plus grand.





Critère du R2


Statistique du Cp de Mallows

La statistique du Cp de Mallows est définie par :

Cp =SCresσ̂2

− (n − 2p)·

Remarque : problème

Il y a un problème ! Nous ne pouvons pas estimer σ2 par

s2 =SCresn − p

·

Pourquoi ? Car Cp vaudrait toujours p et alors il ne serait plusintéressant.





Critère du R2


SolutionQue faisons-nous dans la pratique ?

1 Nous estimons σ2 par le s2 du modèle qui fait intervenirtoutes les k variables explicatives du modèle à disposition.Pour ce modèle, qui a k + 1 paramètres, nous avonstoujours : Ck+1 = k + 1.Et pour les autres ? Cp prendra d’autres valeurs que p.

2 Critère du Cp de MallowsNous choisissons parmi les modèles le modèle où le Cp deMallows est le plus proche de p.





Critère du R2


Critère d’information d’Akaike (AIC)Le critère d’information AIC s’applique aux modèles estiméspar une méthode du maximum de vraisemblance : lesanalyses de variance, les régressions linéaires multiples, lesrégressions logistiques et de Poisson peuvent rentrer dans cecadre.Le critère AIC est défini par :

AIC = −2 log (L̃) + 2k̃

où L̃ est la vraisemblance maximisée et k̃ le nombre deparamètres libres dans le modèle.Avec ce critère, la déviance du modèle −2 log (L̃) est pénaliséepar 2 fois le nombre de paramètres libres.





Critère du R2


InterprétationLe critère AIC représente donc un compromis entre le biais,diminuant avec le nombre de paramètres libres, et laparcimonie, volonté de décrire les données avec le plus petitnombre de paramètres possibles.

Expression dans le cadre du modèle linéaire gaussien

Le critère AIC devient

AIC = 2k̃ + n[ln(

2π × SCresn

)+ 1].





Critère du R2


Remarques1 La rigueur voudrait que tous les modèles comparés

dérivent tous d’un même « complet » inclus dans la listedes modèles comparés.

2 Il est nécessaire de vérifier que les conditionsd’utilisation du modèle complet et de celui sélectionnésont remplies.

3 Le meilleur modèle est celui possédant l’AIC le plusfaible.





Critère du R2


Critère d’information d’Akaike corrigé (AICc)

Lorsque le nombre de paramètres libres k̃ est grand parrapport au nombre d’observations n, c’est-à-dire si n/k̃ < 40, ilest recommandé d’utiliser l’AIC corrigé.Le critère d’information d’Akaike corrigé, AICc , est défini par :

AICc = AIC +2k̃(k̃ + 1)

n − k̃ − 1·

Référence : « Model selection for extended quasi-likelihoodmodels in small samples. »Hurvich, C. M. and Tsai, C.-L., 1995. Biometrics 51 :1077-1084.





Critère du R2


Critère BICLe critère d’information bayésien BIC est défini par :

BIC = −2 log (L̃) + k̃ log (n).

RemarqueIl est plus parcimonieux que le critère AIC puisqu’il pénaliseplus le nombre de variables présentent de le modèle.Ripley en 2003, souligne que l’AIC a été introduit pour retenirdes variables pertinentes lors de prévisions, et que le critèreBIC vise la sélection de variables statistiquement significativesdans le modèle.





Recherche exhaustiveMéthodes de type pas à pasRecherche exhaustiveMéthode descendanteMéthode ascendanteProcédure stepwise

Plusieurs types de procédures de sélection de variables1 la recherche exhaustive2 les méthodes de type pas à pas.






RemarqueBien que l’efficacité de ces méthodes ne puisse être démentiepar la pratique, il ne serait pas raisonnable de se fieruniquement aux résultats statistiques fournis par unprogramme informatique. En effet, pour décider d’ajouter ou desupprimer une variable dans un modèle, il faut conserver :

1 une part d’intuition2 une part de déduction3 une part de synthèse.

RemarqueSurtout ne pas oublier l’objectif recherché !






Exemples1 Pour rendre l’équation utile à des fins de prévision, il est

souhaitable que le modèle contienne un maximum devariables explicatives afin d’en augmenter le pouvoirexplicatif.

2 En raison du coût élevé relatif à l’obtention d’informationspour un grand nombre de variables explicatives, l’analystesouhaite avoir un modèle avec un minimum de variablesexplicatives.






Les méthodesPour obtenir un compromis entre ces deux extrêmes, lestatisticien dispose d’une gamme de méthodes.

1 la recherche exhaustive2 la méthode descendante3 la méthode ascendante4 la régression stepwise5 deux variantes des quatre méthodes précédentes6 la régression stagewise.






Remarque très importanteToutes ces procédures ne mènent pas forcément à la mêmesolution quand elles sont appliquées au même problème.






Recherche exhaustiveLorsque le nombre de variables explicatives, noté k , àdisposition n’est pas trop élevé, il est envisageable deconsidérer tous les modèles possibles.Il y a

Crk =k !

r !(k − r)!modèles différents faisant intervenir r variables explicatives.






Recherche exhaustive - Suite et finCela fait au total

k∑r=0

Crk = 2k

modèles possibles à considérer.

RemarqueNous choisissons ensuite le modèle pour lequel, par exemple,le R2aj est le maximum.






Méthodes de type pas à pas

Les méthodes de type pas à pas consistent à considérerd’abord un modèle faisant intervenir un certain nombre devariables explicatives. Puis nous procédons par élimination ouajout successif de variables.

Nous parlons de la méthode descendante lorsque nouséliminons des variables (elle sera développée dans leparagraphe 4)Nous parlons de la méthode ascendante lorsque nousajoutons des variables (elle sera développée dans leparagraphe 5).La méthode stepwise est une combinaison de ces deuxméthodes (elle sera développée dans le paragraphe 6).






La recherche exhaustiveC’est une méthode fastidieuse et difficile à utiliser sans unordinateur rapide.

Pourquoi ?

Parce qu’il faut calculer toutes les régressions possiblesimpliquant un sous-ensemble des k variables explicatives àdisposition, soit un total de 2k régressions.






Que faisons-nous ensuite ?Ces équations sont réparties selon le nombre r devariables explicatives qu’elles contiennent.Chaque ensemble d’équations est ordonné selon le critèrechoisi, souvent le R2 ou l’AIC.Les meilleures équations de régression issues de ceclassement sont ensuite sélectionnées pour un examenplus détaillé.






Méthode descendante (ou élimination en arrière)C’est une simplification de la méthode de la rechercheexhaustive.

En quoi est-elle une simplification ?

Cette méthode examine non pas toutes les régressionspossibles mais uniquement une régression pour chaquenombre r de variables explicatives.






En pratique comment faisons-nous ?1 Calculer la régression pour le modèle incluant toutes les k

variables explicatives à disposition.2 Effectuer un test de Student pour chacune des variables

explicatives.Deux cas se présentent :

Les variables sont trouvées significatives. Ce modèle estalors choisi. Nous arrêtons là notre analyse.Éliminer la variable la moins significative du modèle.

3 Recommencer le processus avec une variable en moins.

Le modèle final est donc un modèle au sein duquel toutes lesvariables sont significatives.






ConclusionsLa méthode descendante est très satisfaisante pourl’utilisateur préférant avoir toutes les variables possiblesafin de ne rien ignorer.C’est une procédure plus économique en terme de tempset d’interprétationMais il y a un inconvénient majeur. Il n’est plus possible deréintroduire une variable une fois qu’elle a été supprimée !






Méthode ascendante (ou sélection en avant)C’est également une simplification de la méthode de larecherche exhaustive.Cette méthode procéde dans le sens inverse de laméthode descendante.Cette méthode examine un modèle avec une seulevariable explicative puis introduction une à une d’autresvariables explicatives.






En pratique comment faisons-nous ?Effectuer les k régressions possibles avec une seulevariable explicative. Pour chacune d’elles, effectuer le testde Student. Retenir le modèle pour lequel la variableexplicative est la plus significative.Effectuer les (k − 1) régresions possibles avec deuxvariables explicatives. Pour chacune d’elles, effectuer letest de Student pour la nouvelle variable. Retenir lemodèle pour lequel la variable est la plus significative. Siaucune variable est retenue, alors nous arrêtons leprocessus.






SinonRéitérer le processus en effectuant les (k − 2) régressionspossibles avec trois variables explicatives. Pour chacuned’elles, effectuer le test de Student pour la nouvellevariable. Retenir le modèle pour lequel la variable est laplus significative. Si aucune variable est retenue, alorsnous arrêtons là le processus.

SinonRéitérer le processus en effectuant les (k − 3) régressionspossibles avec quatre variables explicatives...

Le processus se termine lorsque nous ne pouvons plusintroduire des variable significatives dans le modèle.






Remarque

Parmi les méthodes présentées, la méthode ascendante estla plus économique.

Avantages et inconvénient de la méthode ascendante

évite de travailler avec plus de variables que nécessaire,améliore l’équation à chaque étape.Mais l’inconvénient majeur de la méthode ascendante :une variable introduite dans le modèle ne peut plus êtreéliminée.






RemarqueLe modèle final peut alors contenir des variables nonsignificatives.Ce problème est alors résolu par la procèdure stepwise.






Procèdure stepwiseC’est une amélioration de la méthode ascendante.

Pourquoi ?

Parcequ’à chaque étape, nous réexaminons toutes lesvariables introduites précédemment dans le modèle. En effet,une variable considérée comme la plus significative à uneétape de l’algorithme peut à une étape ultérieure devenir nonsignificative.






Pourquoi ce phénomène ?En raison de ces corrélations avec d’autres variablesintroduites après coup dans le modèle.






Comment remédier à cela ?La procédure stepwise propose après l’introduction d’unenouvelle variable dans le modèle :

réexaminer les tests de Student pour chaque variableexplicative anciennement admise dans le modèle,après réexamen, si des variables ne sont plussignificatives, alors retirer du modèle la moinssignificative d’entre elles.

Le processus continue jusqu’à ce que plus aucune variable nepuisse être introduite ni retirée du modèle.






Procédure stepwise

La procédure stepwise semble être la meilleure procédure desélection de variables.Mais

la procédure stepwise peut facilement abuser l’utilisateurqui a tendance à se focaliser exclusivement sur le résultatde la sélection automatique proposé par l’outilinformatique.En effet, il faut se méfier de certaines situations : celles oùapparait un phénomène de multicolinéarité. Larégression PLS permet de traiter ce problème.






Un exempleX1 et X2 expliquant significativement Y , sont fortementcorrélées entre elles.

L’introduction de X1 dans le modèle masquera le pouvoirexplicatif de X2.

En effet, l’introduction de X1 en premier va accroitre le R2 alorsque l’introduction ultérieure de X2 provoquera un faible effet.

Et réciproquement.





La première variante des méthodes précédentesLa seconde variante des méthodes précédentes

Premières remarquesLes méthodes présentées jusqu’ici :

ne sélectionnent pas nécessairement le meilleur modèleabsolu,

mais donnent généralement un modèle acceptable.

Des procédures alternatives et combinatoires sont apparues.Nous présenterons très brièvement seulement deux méthodesdans ce cours.






Première varianteEffectuer d’abord la procédure stepwise.

Supposons que le modèle sélectionné contient r variablesexplicatives.Effectuer alors Crk régressions possibles utilisant r variables.Choisir comme modèle final celui pour lequel R2 est maximal.D’un point de vue pratique, les améliorations apportées parcette procédure sont faibles...et nécessitent beaucoup decalculs.






Deuxième varianteUtiliser deux seuils de signification différents lors de l’utilisationde la méthode stepwise :

un certain seuil (par exemple α = 0,05) lors de laprocédure d’élimination de variables,

un seuil plus petit (par exemple α = 0,01) lors de laprocédure d’introduction de variables.






Nous favorisons l’introduction des variables les plussignificatives, tout en acceptant de les maintenir dans le modèlesi elles deviennent par la suite un peu moins significatives.

C’est intéressant d’utiliser cette méthode.

Pourquoi ?

Cette méthode propose un modèle alternatif au modèle donnépar la méthode stepwise tout en maintenant son pouvoirexplicatif.





La procédure de régresion stagewise

Elle diffère des procédures présentées ci-dessus.

Pourquoi ?

La procédure de régresion stagewise n’aboutit pas toujoursà une équation obtenue par la méthode des moindres carrés.





Cette méthode se déroule de la façon suivante :

effectuer la régression avec la variable la plus corréléeavec Y.

Calculer les résidus obtenus avec cette régression.

Considérer ensuite ces résidus comme une nouvellevariable dépendante que l’on veut expliquer à l’aide desvariables explicatives restantes.





Sélectionner ainsi celle d’entre elles qui est la pluscorrélée avec les résidus.

Effectuer une nouvelle régression avec les résidus de lapremière régression dans le rôle de la variable expliquée.

Également calculer les résidus obtenus avec cettenouvelle régression.

Réitérer le processus avce des variables explicativesrestantes, jusquà ce que plus aucune d’entre elles ne soitcorrélée significativement avec les résidus.





Quelques conclusionsD’un point de vue théorique, la recherche exhaustive estla meilleure.Pour les autres méthodes : Des résultats semblablessans nécessiter autant de calculs. Ces derniers dépendentdu choix des seuils de signification utilisés lors desdiverses procédures.Dans la pratique, la procédure stepwise et laprocédure descendante sont les plus utilisées.En cas de doute et si les conditions le permettent, toutesles régressions doivent être examinées.Les autres méthodes peuvent trouver leur utilisation dansdes applications plus spécifiques.


Critères de choixCritère du R2Critère du R2 ajustéCritère du Cp de MallowsCritères AIC et AICcCritère BIC

Procédures de sélection de variablesRecherche exhaustiveMéthodes de type pas à pasRecherche exhaustiveMéthode descendanteMéthode ascendanteProcédure stepwise

Deux variantes des méthodes précédentesLa première variante des méthodes précédentesLa seconde variante des méthodes précédentes

Procédure de régression stagewiseQuelques conclusions

Choix du modèle -...

Documents

Transcript of Choix du modèle -...