Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité....
-
Upload
cosme-normand -
Category
Documents
-
view
108 -
download
0
Transcript of Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité....
![Page 1: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/1.jpg)
Modèle linéaire.
Analyse numérique d’une matrice de
corrélation.
Transitivité et Colinéarité.Thierry Foucart
UMR 6086, Mathématiques, SP2MI, Bd Marie et Pierre Curie, BP 30179 86962 FUTUROSCOPE CHASSENEUIL CEDEX.
![Page 2: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/2.jpg)
1. introduction au modèle linéaire.
![Page 3: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/3.jpg)
1.1 un exemple
• étude des liaisons entre le revenu, l’âge, la CSP, le niveau de diplôme, l’orientation politique, le sexe … au sein d’une population d’électeurs.
• Grand nombre de tableaux croisés : impuissance des tests classiques du 2 et de Fisher
• modélisation : expression mathématique des liaisons.
![Page 4: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/4.jpg)
1.2 modèle linéaire.
Y : revenuX1 : âgeX2 : CSPX3 : diplômeX4 : orientation politique : variable d’ajustement
Y = 0 + 1 X1 + 2 X2 + 3 X3 + 4 X4 +
hypothèses rigides (linéarité, indépendance des observations, normalité et homoscédasticité de la variable d’ajustement ).
![Page 5: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/5.jpg)
1.3 interprétation du modèle
• toutes choses égales par ailleurs.
• recherche d’un effet propre de Xj sur Y : j 0.
• l’âge X1 augmente d’un an : le revenu moyen Y augmente toujours de 1, quelle que soient la CSP, le diplôme, l’orientation politique.
• démarche implicite : on suppose a priori l’existence d’un effet propre et on le contrôle.
![Page 6: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/6.jpg)
1.4 analyse en quatre points :
• Analyse numérique de la matrice des corrélations : transitivité, corrélation partielle.
• Colinéarité : instabilité des estimations
• Evaluation de la régression bornée.
• Régression orthogonale. Sélection des composantes principales.
![Page 7: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/7.jpg)
2. Analyse numérique d’une
matrice de corrélation
![Page 8: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/8.jpg)
2.1 Modèle linéaire. Y = 0 + 1 X1 + … + j Xj + ... + p Xp +
E(Xj) = 0, V(Xj) =
1j = coefficients de régression théoriques
: variable résiduelle : E() = 0, V() = 2
X : matrice des observations des Xj (en colonnes)Y : matrice des observations de Y (en colonne)R : matrice symétrique p x p des corrélations entre les variables Xj
![Page 9: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/9.jpg)
2.2 Estimateur MCO
B : estimateur sans biais de variance minimale (efficace) défini par
(B1, B2, ..., Bp)t.
Bj : estimateur du coefficient j
Les propriétés des estimateurs dépendent de R-1
![Page 10: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/10.jpg)
2.3. Factorisation de Cholesky.
Le calcul de R-1 consiste à factoriser R puis àinverser T.
Factorisation de Cholesky
T matrice triangulaire supérieure
La matrice R étant symétrique définie positive est inversible : la matrice T existe et est inversible.
L
R = T T t
![Page 11: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/11.jpg)
2.4 Calcul de la matrice T i = 1,..., p ti,1 = r1,i / [r1,1 ]
½ (1)
i-1i = 2, ..., p ti,i = [ri,i - ti,k
2 ]1/2 (2) k=1
i-1 ri,j - ti,k tj,k
k = 1i=2,...,p-1 j=i+1,...p tj,i = ___________________ (3)
ti,i
![Page 12: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/12.jpg)
-1 ap,p–1< rp,p–1 < bp,p-1 1
2.5 Encadrement d’un terme
ap,p–1 = – tp–1,p–1 [1 – tp,k2]1/2 + tp–1,k tp,k
bp,p–1 = tp–1,p–1 [1 – tp,k2]1/2 + tp–1,k tp,k
généralisation par permutation
k = 1
k = 1
k = 1
k = 1
p-2
p-2 p-2
p-2
ai,j < ri,j < bi,j
![Page 13: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/13.jpg)
cp,p = tp,k2 rp,p > cp,p
rj,j > cj,j
cj,j = Rj2
k = 1
2.6 terme diagonalp-1
Rj2 : coefficient de détermination obtenu
dansla régression de Xj par les autres
variables explicatives
![Page 14: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/14.jpg)
2.6 Exemple numérique
X1 X2X3 X4
X1 1
X2 0.5 1
X3 0.5 0.5 1
X4 -0.5 0.4 0.3 1
r1,2 ] -0.3697771 , 0.5126343 [
r4,4 ] .98 , + [ R42 =
0.98
![Page 15: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/15.jpg)
3. Relations entre les corrélations
![Page 16: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/16.jpg)
3.1 Transitivité de la corrélation.
X Y ZX 1
R = Y 0.8 1Z r3,1 r3,2 1
•Forte corrélation entre X et Y : r1,2 = 0.8
•Une forte corrélation entre Y et Z (r3,2 = 0.8) implique-t-elle une forte corrélation entre X et Z (r3,1 élevé) ?
![Page 17: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/17.jpg)
X Y ZX 1
R = Y 0.8 1Z r3,1 r3,2 1
• r3,2 =-0.2 r3,1 ]-0.75, 0.43[
• r3,2 = 0.6 r3,1 ] 0, 0.96 [
• r3,2 = 0.746 r3,1 ] 0.196, 1[ (>>0 pour n=100)
• r3,2 = 0.919 r3,1 ] 0.499, 1[
3.2 Evaluation de la transitivité
![Page 18: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/18.jpg)
3.3 Représentation graphique
ensemble des couples (r3,2, r3,1) tels que la matrice soit définie positive (r1,2 = 0.8)
![Page 19: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/19.jpg)
3.4 Généralisation• cas d’une matrice p x p :
• relation entre r1,2 et r3,4 : quelle est la conséquence de la liaison entre la CSP et le diplôme (r1,2) sur la liaison entre l’âge et le revenu (r3,4) ?
X1 X2 X3
X4
X1 1
X2 0.5 1
X3 0.5 0.5 1
X4 -0.5 0.4 0.3 1
![Page 20: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/20.jpg)
3.5 Représentation graphique
![Page 21: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/21.jpg)
3.6 Représentation graphique
![Page 22: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/22.jpg)
3.7 Positionnement du coefficient de corrélation
Evaluation de la position de ri,j dans son intervalle ] a, b [ à l’aide d’un indice variant de –1 à 1
- 1 (ri,j – (a+b)/2) / [ (b – a)/2 ] 1
![Page 23: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/23.jpg)
3.8 corrélation partielle
• relation entre rk,l et rpi,j : rk,l tend vers a (ou b) implique que rpi,j tend vers 1 en v.a. (sous conditions)
On obtient le coefficient de corrélation partielle :
• ri,j = (a + b)/2 si et seulement si rpi,j = 0• rpi,j fonction linéaire croissante de ri,j• ri,j tend vers a ou b si et seulement rpi,j tend vers 1 en v.a.
rpi,j = (ri,j – (a+b)/2) / [ (b – a)/2 ]
![Page 24: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/24.jpg)
4. Colinéarités statistiques.
![Page 25: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/25.jpg)
4.1 Application du modèle• Domaine d’application D = ensemble des
valeurs vraisemblables des variables explicatives.
• forte liaison entre la CSP et le diplôme : un employé a rarement un diplôme BAC+5. Le modèle ne permet pas d’estimer le revenu d’un employé titulaire d’un BAC+5.
• Plus les variables explicatives sont nombreuses :plus le risque de colinéarité est élevé.moins la colinéarité est visible.plus le domaine d’application est restreint.
![Page 26: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/26.jpg)
4.2 Colinéarités statistiques
• entre deux variables : leur coefficient de corrélation linéaire est proche de 1 en valeur absolue .
• entre plusieurs variables : il existe une combinaison linéaire de ces variables de variance faible (d’où l’ACP).
![Page 27: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/27.jpg)
4.3 Conséquences numériques
Les termes de la matrice R-1 sont élevés, en particulier les termes diagonaux.
Termes diagonaux de VB : variances des estimateurs Bj
![Page 28: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/28.jpg)
4.4 Effets de la colinéarité statistique
• Variances des estimateurs MCO des j élevées : d’où valeurs des coefficients estimés parfois élevées.
• Coefficients de corrélation entre les Bj proches de 1 : compensation entre les estimations
• Conséquence : coefficients estimés parfois opposés aux coefficients théoriques
• Coefficient de détermination instable.
![Page 29: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/29.jpg)
4.5 modèle simulé.
Y = 0.5 X1 + 0.5 X2 – 0.5 X3 – 0.5 X4 +
n = 100 R 2 = 1
X1 X2 X3 X4
X1 1
X2 0.5 1
X3 0.5 0.5 1
X4 -0.5 0.4 0.3 1
![Page 30: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/30.jpg)
4.6 Interprétation du modèle :
Le modèle théorique correspond aux propriétés suivantes :
• l’âge et la CSP ont un effet propre positif sur le revenu (1 = 2 = 0.5 )
• le diplôme et l’orientation politique un effet propre négatif sur le revenu (3 = 4 = - 0.5 ).
![Page 31: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/31.jpg)
4.7 Estimations suivant les MCO
(premier échantillon, n = 100) Estimation écart-type t vraie valeur
b1 1.6339 0.8739 1.870 0.5b2 -0.1482 0.5659 -0.262
0.5b3 -1.0375 0.4153 -2.498 -0.5b4 0.4439 0.7848 0.566 -0.5
b0 -0.1650 0.1110 -1.486 0
R2 = 0.49
![Page 32: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/32.jpg)
4.8 Estimations suivant les MCO
(deuxième échantillon, n = 100)Estimation écart-type t vraie valeur
b1 0.4638 0.7832 0.592 0.5b2 0.3674 0.5072 0.724 0.5b3 -0.5204 0.3722 -1.398 -
0.5b4 -0.5594 0.7033 -0.795 -0.5b0 -0.0985 0.0995 -0.990 0
R2 = 0.50
![Page 33: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/33.jpg)
4.9 Coefficient de déterminationTroisième exemple
X1 X2 X3 Y
X1 1
X2 0.6 1
X3 -0.279 0.6 1
Y 0.0446 0 0 1
R2 = 0.99536 (r1,2 = 0.600)
R2 = 0.45260 (r1,2 = 0.599)
![Page 34: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/34.jpg)
4.10 Variation du coefficient de détermination R4
2 en fonction de r1,2
![Page 35: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/35.jpg)
5. Détection de la colinéarité.
X1 X2 X3
X4
X1 1
X2 0.5 1
X3 0.5 0.5 1
X4 -0.5 0.4 0.31
![Page 36: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/36.jpg)
5.1 Facteurs d’inflation• Facteurs d’inflation :
• Indice de multicolinéarité (Tomassonne) :
En l’absence totale de colinéarité, les facteurs d’inflation et l’indice I sont égaux à
1
fj = 1 / (1 – Rj2)
(termes diagonaux de la matrice R-1)
I = (1/p) fj
(moyenne des facteurs d’inflation)
![Page 37: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/37.jpg)
5.2 Valeurs propres• On note 1, 2, …, p les valeurs propres de R
classées suivant les valeurs décroissantes.
• L’indice de conditionnement (Belsley et al.):
= 1/ p (ou 1/ p)
• L’indice de multicolinéarité : I = (1/p) 1/ j
Faibles valeurs propres : colinéarité statistique
![Page 38: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/38.jpg)
5.3 Application au modèle simulé
b1 f1 = 62
b2 f2 = 26b3 f3 = 14b4 f4 = 50
•Facteurs d’inflation :
I = 38
= 148.83
1=2.019 2=1.47 3=0.5 4= 0.007
•Valeurs propres
• Indice de conditionnement
•Indice de multicolinéarité
![Page 39: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/39.jpg)
6. Application de la régression
bornée.
![Page 40: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/40.jpg)
6.1 Estimateur biaisé d’un paramètre
E[(X’ – )2] = V(X’) + [E(X’) – ]2
E[(X – )2] = V(X) > E[(X’ – )2]
![Page 41: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/41.jpg)
6.2 Estimateur de la régression bornée
(Pour k = 0, on retrouve l’estimateur des MCO)
critère des MC sous la contrainte B 2 M
![Page 42: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/42.jpg)
6.3 Application.
• On fait varier k de 0 à 1.
• on estime les coefficients de régression par l’estimateur de la régression bornée.
• On construit la représentation graphique des bj en fonction de k appelée ridge trace.
• On choisit k de façon que leurs valeurs soient stabilisées.
![Page 43: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/43.jpg)
6.4 Premier exemple
![Page 44: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/44.jpg)
6.5 estimations (k = 0.1)
![Page 45: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/45.jpg)
6.6 Deuxième exemple
![Page 46: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/46.jpg)
6.7 estimations (k = 0.02).
![Page 47: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/47.jpg)
6.8 Distances entre vecteur observé et vecteur réeld, B= bj–j
(erreur quadratique)
• 50 échantillons de taille 100 : 50 distances
1) par la régression des MCO k = 02) par la régression bornée k = 0.013) par la régression bornée k = 0.05
![Page 48: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/48.jpg)
6.9 Résultats numériques
Carrés des distances entre vecteurs estimés et vecteur vrai
(50 vecteurs estimés)
![Page 49: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/49.jpg)
6.10 Les 20% plus mauvais résultats par les
MCO
![Page 50: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/50.jpg)
6.11 fonction de répartition des carrés des distances
(MCO)
![Page 51: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/51.jpg)
6.12 Variation de la moyenne des ||B - ||2
![Page 52: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/52.jpg)
6.13 Optimisation
Meilleure Moyenne des Variancevaleur de k : carrés des distances k = 0.078 0.039 0.001
Forte stabilité de l’erreur quadratique pour
0.05 < k < 0.1
![Page 53: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/53.jpg)
6.14 Critique de la régression bornée
• amélioration considérable des estimations
• mise en oeuvre nécessitant une démarche critique d’analyse des coefficients de régression.
• résultats discutables dans le cas de coefficients de régression théoriques élevés en valeur absolue. D’où la nécessité de les évaluer a priori.
![Page 54: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/54.jpg)
6.15 Développements• Régression bornée partielle : on calcule
les dérivées des coefficients de régression par rapport à chaque terme diagonal de R, et on on ajoute une constante à ceux dont la dérivée est la plus grande en v.a.
• Détection de valeurs influentes : les valeurs observées influentes sont celles par rapport auxquelles les dérivées des coefficients de régression sont les plus grandes en v.a.
![Page 55: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/55.jpg)
7. régression orthogonale
![Page 56: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/56.jpg)
7.1 MéthodeACP du tableau de données X :
• U : tableau des vecteurs principaux, vecteurs propres unitaires de R.
• C : tableau des composantes principales Cl
(n lignes et q colonnes)
On considère les composantes principales comme variables explicatives.
C = X U
![Page 57: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/57.jpg)
7.2 Modélisation et estimateurs
estimateur B’’ des coefficients de régression des variables initiales :
Y = 0’ + 1’ C1 + … + l’ Cl + ... + p’ Cp +
B’ = 1/n D1/Ct Y
B’’ = U B’ VB’’ = U VB’ Ut
l’ = cov (Y, Cl) / l
![Page 58: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/58.jpg)
7.3 Choix des composantes principales
Algorithme descendant
On sélectionne la composante principale Cl en fonction de son coefficient de régression bl’ avec la variable expliquée Y.
• bl’ > b’0 : on sélectionne la composante principale.
• bl’ < b’0 :on écarte la composante principale.
Le test sur le coefficient de corrélation partielle rpl est équivalent : on fixe alors une valeur limite rp0.
![Page 59: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/59.jpg)
7.4 Premier type d’erreur
Y = 0’ + 1’ C1 + … + l’ Cl + ... + p’ Cp +
(théo.)
erreur possible : introduire Cl avec l’ nul :
la moyenne des carrés des erreurs est égale à :
bl’2 l
(erreur de type I)
Y = b0’ + b1’ C1 + … + bl’ Cl + ... + bp’ Cp + e
(obs.)
![Page 60: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/60.jpg)
7.5 Second type d’erreur
erreur possible : éliminer Cl avec l’ non nul
(erreur de type II)
La moyenne des carrés des erreurs est égale à l’
2 l
Y = b0’ + b1’ C1 + … + bl’ Cl + ... + bp’ Cp + e
(obs.)
Y = 0’ + 1’ C1 + … + l’ Cl + ... + p’ Cp +
(théo.)
![Page 61: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/61.jpg)
7.6 évaluation de l’erreur de type II:
• l’ inconnu : Démarche baysienne
• Probabilité a priori sur l’ensemble contenant le coefficient de régression l’
• E(l’2 l ) : mesure de l’erreur de type II.
• En pratique : on étudie le coefficient de corrélation partielle (loi normale tronquée).
![Page 62: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/62.jpg)
7.7 Algorithme
• On calcule la somme des deux erreurs
• on en déduit celui qui minimise la moyenne des deux erreurs.
•On choisit la région critique du test en fixant un coefficient de corrélation
partielle limite.
•On recommence le calcul en faisant varier le coefficient de corrélation partielle limite de -1 à 1.
On applique cet algorithme aux deux exemples précédents.
![Page 63: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/63.jpg)
7.8 Application (1e
simulation).Pour chaque valeur du coefficient de
corrélation partiel limite rp entre 0 et 1, on calcule la somme des deux erreurs
![Page 64: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/64.jpg)
7.9 Résultats numériques
Valeur limite du coefficient de corrélation partielle 0.0991
Valeur du coefficient de corrélation correspondant 0.0709
Valeur limite du F 0.9422 vraisemblance P(F>f)= 0.3389
![Page 65: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/65.jpg)
7.10 Exemple 1 : conclusion
• toutes les composantes principales sont conservées.
• les coefficients de régresion sont égaux aux coefficients de régression initiaux (MC). • la régression bornée et la régression orthogonale donnent des résultats très différents.
• D’où la nécessité d’une réflexion a priori sur les coefficients de régression théoriques.
![Page 66: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/66.jpg)
7.11 Application (2e
simulation).
• Valeur limite 0.149, observée 0.002. On élimine C4.
• On élimine également C1, et les prédicteurs retenus sont C2 et C3 (variance résiduelle estimée minimale).
![Page 67: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/67.jpg)
Exemple 2 : conclusion
0.047
0.094
0.104
0.065
b1 0.449
b2 0.323
b3 -0.561
b4 -0.556
0.464
0.367
-0.520
-0.559
0.783
0.507
0.372
0.703
Régression orthogonale des moindres carrésestimation écart-type estimation écart-type
La régression orthogonale diminue considé-rablement les écarts-types des estimateurs.
![Page 68: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/68.jpg)
7.13 Commentaires sur l’algorithme
• Eliminer une composante principale de faible variance n’est pas toujours une bonne décision.
• Le choix des composantes principales à éliminer dépend de [r(Y,Cl) 2 / l ].
• Risque de 1e espèce correspondant à la valeur limite largement supérieur à 5%.
• Conserver une composante principale de variance relativement élevée n’est pas toujours une bonne décision.
![Page 69: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/69.jpg)
CONCLUSION• Le modèle linéaire compense
l’impuissance des tests classiques en recourant à des hypothèses rigides.
• Ces hypothèses mathématiques sont vérifiées dans les simulations effectuées, mais jamais dans la réalité.
• Une réflexion non statistique sur la nature des données est indispensable pour appliquer le modèle linéaire et en interpréter correctement les résultats.
![Page 70: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/70.jpg)
BIBLIOGRAPHIE1. Colinéarité et régression linéaire, Math. &
Sci. hum. Mathematics and Social Sciences (43e année, n° 173, 2005(4), p. 5-25).
2. évaluation de la régression bornée. Revue des Nouvelles Technologies de l’Information, éd. Cépaduès sous presse.
3. Limites de l’informatisation des sciences de l’homme et de la société. Contribution à l’ouvrage collectif Les sciences humaines et sociales à l’heure des technologies de l’information et de la communication, dir. B. Reber C. Brossaud , publication prévue juin 2007, Hermès, Paris.
![Page 71: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/71.jpg)
Complémentshttp://foucart.thierry.free.fr
![Page 72: Modèle linéaire. Analyse numérique dune matrice de corrélation. Transitivité et Colinéarité. Thierry Foucart UMR 6086, Mathématiques, SP2MI, Bd Marie et.](https://reader036.fdocuments.fr/reader036/viewer/2022062417/551d9da2497959293b8d2026/html5/thumbnails/72.jpg)
Matrices de corrélation
X1 X2 X3 X4 Y
X1 1.000
X2 0.500 1.000
X3 0.500 0.500 1.000
X4 -0.500 0.400 0.300 1.000
Y1 0.540 0.216 -0.107-0.491 1.000
Y2 0.486 0.084 -0.199-0.584 1.000