Régression linéaire (STT-2400)

Section 3

Distributions des formes quadratiques

Version: 12 février 2007

STT-2400; Régression linéaire2

Introduction

L’objectif de cette section est de cerner les distributions de probabilité de quantités telle

De plus, on sera en mesure d’établir les distributions statistiques des différentes sommes de carrés dans la table d’ANOVA.

On va justifier la distribution F du test global dans la table d’ANOVA.

.1

ˆ 2

pn

RSS

STT-2400; Régression linéaire3

Remarque: hypothèse de normalité

Afin d’obtenir les distributions exactes on doit présumer:

Pour un vecteur aléatoire on considère sa norme:

La loi de la norme est telle que:

C’est un exemple de distribution khi-carrée centrée:

nN I0e

eXβy2,~

,

n

iin uN

1

22',~ uuuI0u

2

1

221

221

22

21

21 ~~,,~,~ n

n

iin uuuu

22222 ',~ nnN eeeI0e

STT-2400; Régression linéaire4

Distribution des estimateurs des moindres carrés

Considérons:

On a vu que l’estimateur des moindres carrés est:

nN I0e

eXβy2,~

,

yX'XX'β 1ˆ

12

1121

11

22

,~ˆ

,~ˆ

ˆ

,~,~

XX'ββ

XX'XX'XX'XβX'XX'β

X'XX'AyX'XX'β

AA'AXβAyIXβy

N

N

NN n

STT-2400; Régression linéaire5

Régions de confiance

Puisque la matrice X’X est symétrique, inversible et par conséquent définie positive, on peut écrire:

On rappelle que contient les valeurs propres de la matrice X’X.

CC'

PDP'PDP'

PDP'XX'

D0i

On rappelle: Ainsi:

Ceci implique que:

ICββC

IC'C'CCC'XX'C

C'XX'CCββC11

2

1

12

,~ˆ

,~ˆ

N

N

CC'XX'

21

221

2

21

221

2

21

21

~ˆ'ˆ~ˆ''ˆ

~ˆ'ˆ~ˆ

,~ˆ,~ˆ

pp

pp

pp NN

ββXX'ββββCCββ

ββCββCββC

I0ββCICββC

STT-2400; Régression linéaire7

Région de confiance quand la variance est connue

Considérons l’ensemble suivant:

L’ensemble précédent est appelé une région de confiance de niveau de confiance 1 –

En général il est difficile de représenter les régions de confiance graphiquement.

Les régions de confiance sont des ellipsoïdes.

.ˆ'ˆ 21,1

2 pββXX'βββ

STT-2400; Régression linéaire8

Définition: distribution chi-carrée décentrée

Définition: Soit un vecteur aléatoire

où le vecteur constant La loi de

est une chi-carrée à n degrés de liberté et paramètre de décentralité

On note

nnN Iθu ,~ '.,,, 21 n θ

n

iiu

1

22'uuu

n

ii

1

22' θθθ

θ'θu 22~ n

STT-2400; Régression linéaire9

Définition: distribution F de Fisher décentrée

Définition: Considérons U et V deux variables aléatoires indépendantes:

La loi de la variable aléatoire: est dite une loi de Fisher décentrée de degrés de liberté (m,n) et paramètre de décentralité .

On note

2

2

~

~

n

m

V

U

n

m

nV

mUF

n

m2

2

nmFF ,~

STT-2400; Régression linéaire10

Propriété 3.10

Soit . Soit A une matrice symétrique. Considérons la forme quadratique:

Alors nous avons le résultat suivant:

Dans un tel cas .

nnN Iθu ,~

Auu'Q

eidempotentest~2

222

AAθθ'Auu'

r

Q

Arangr

STT-2400; Régression linéaire11

Propriété 3.11: Indépendance entre deux formes quadratiques

Soit . Soient A1 et A2 deux matrices symétriques. Considérons les deux formes quadratiques suivantes:

On a alors le résultat suivant:

nnN Iθu ,~

uAu'QuAu'Q 2211 ,

0AA 21 tesindépendansontet 21 QQ

STT-2400; Régression linéaire12

Propriété 3.12: Théorème de Cochran

Soit . Considérons les p formes quadratiques suivantes:

où:

Le Théorème de Cochran affirme que

sont mutuellement indépendantes,

nnN Iθu ,~

uAu'uAu'uAu' ppQQQ ,,, 2211 npjjr IAAAA 21,rang

pQQQ ,,, 21

p

ijjjr

j rnQ

j1

22

2,~

θAθ' j