1

Méthode des moindres

carrés

2

Méthodes des moindres carrésChapitre 6 du polycopié

La méthode des moindres carrés permet de comparer des données expérimentales,

généralement entachées d’erreurs de mesure à un modèle mathématique censé

décrire ces données.

Ce modèle peut prendre diverses formes. Il s’agira en général de lois de

conservation que les quantités mesurées doivent respecter. La méthode des

moindres carrés permet alors de minimiser l’impact des erreurs expérimentales et

évaluer les valeurs plus probables des paramètres de la loi recherchée, ainsi

«ajoutant de l’information» dans le processus de mesure.

3

Les données suivent la courbe

figurée en pointillés et sont

affectées par une erreur

aléatoire.

Elles sont représentées

graphiquement sous la forme de

points de mesures, munis de

barres d'erreur.

Le meilleur ajustement déterminé

par la méthode des moindres

carrés est représenté en rouge.

Il s'agit de la fonction qui

minimise la somme

quadratique des écarts

(appelés résidus) entre les

données et le modèle.

4

Dans le cas le plus courant, le

modèle théorique est une famille de

fonctions ƒ(x,θ) d’une ou plusieurs

variables x, indexées par un ou

plusieurs paramètres θ inconnus.

La méthode des moindres carrés

permet de sélectionner parmi ces

fonctions, celle qui reproduit le

mieux les données

expérimentales. On parle dans ce

cas d’ajustement par la méthode des

moindres carrés.

Si les paramètres θ ont un sens

physique la procédure d’ajustement

donne également une estimation

indirecte de la valeur de ces

paramètres.

5

La méthode consiste en une prescription (initialement empirique) qui est que

la fonction ƒ (x;θ) qui décrit « le mieux » les données est celle qui minimise la

somme quadratique des déviations des mesures aux prédictions de ƒ (x;θ) .

Si par exemple, nous disposons de N mesures, (yi) avec i = 1, N,

les paramètres θ «optimaux» au sens de la méthode des moindres carrés sont

ceux qui minimisent la quantité :

où les ri(θ) sont les résidus au modèle, i.e. les écarts entre les points de

mesure yi et le modèle f (x;θ).

S(θ) peut être considéré comme une mesure de la distance quadratique

entre les données expérimentales et le modèle théorique qui prédit ces

données.

La prescription des moindres carrés commande que cette distance soit

minimale.

6

Sa grande simplicité fait que cette méthode est très couramment utilisée de

nos jours en sciences expérimentales.

Une application courante est le lissage des données expérimentales par une

fonction empirique (fonction linéaire, polynomes ou splines).

Cependant son usage le plus important est probablement la mesure de

quantités physiques à partir de données expérimentales.

Dans de nombreux cas, la quantité que l’on cherche à mesurer n’est pas

observable et n’apparaît qu’indirectement comme paramètre θ d’un modèle

théorique f (x, θ).

Dans ce dernier cas de figure, il est possible de montrer que la méthode des

moindres carrés permet de construire un estimateur de θ, qui vérifie certaines

conditions d’optimalité.

Par ailleurs, dans tous les cas, les estimateurs obtenus sont extrêmement

sensibles aux points aberrants: on traduit ce fait en disant qu’ils sont non

robustes. Plusieurs techniques permettent cependant de «robustifier» la

méthode.

7

Régression linéaire

Une régression linéaire est l'ajustement d'une loi linéaire du type

y = α x + β

sur des mesures indépendantes, fonction d'un paramètre connu x.

Ce type de situation se rencontre par exemple lorsque l'on veut calibrer un

appareil de mesure simple (ampèremètre, thermomètre) dont le

fonctionnement est linéaire.

y est alors la mesure instrumentale (déviation d'une aiguille, nombre de pas

d'un ADC, ...) et x la grandeur physique qu'est censé mesurer l'appareil,

généralement mieux connue, si l'on utilise une source de calibration fiable.

La méthode des moindres carrés permet alors de mesurer la loi de

calibration de l'appareil, d'estimer l'adéquation de cette loi aux mesures de

calibration (i.e. dans le cas présent, la linéarité de l'appareil) et de propager

les erreurs de calibration aux futures mesures effectuées avec l'appareil

calibré.

8

Les données suivent la loi figurée en

pointillés et sont affectées d'erreurs

gaussiennes.

L'ajustement déterminé (courbe rouge) est le

meilleur estimateur de la pente et de

l'ordonnée à l'origine compte tenu de la

quantité d'information contenu dans les

points de mesure.

Ajustement d'un modèle de type

y = a · x + bpar la méthode des moindres carrés

9

Régression linéaire: calcul des coefficients

La prescription des moindres carrés s'écrit pour ce type de modèle:

N

i

ii

N

i

ii xyxfyS1

2

1

2;

Le minimum de cette expression est trouvé quand les deux dérivées

partielles ∂S/∂α et ∂S/∂β sont égales à zéro:

N

i

ii

N

i

iii

xyS

xxyS

1

1

012

02

Ce qui donne le système d’équations suivantes:

N

i

i

N

i

i

N

i

ii

N

i

N

i

ii

yx

yxxx

11

11 1

2

10

Ce système d’équations:

peut être écrit en forme matricielle:

ce qui donne la solution:

N

i

i

N

i

ii

N

i

i

N

i

i

N

i

i

y

yx

x

xx

1

1

1

11

2

1

N

i

i

N

i

i

N

i

ii

N

i

N

i

ii

yx

yxxx

11

11 1

2

N

i

i

N

i

ii

N

i

i

N

i

i

N

i

i

y

yx

x

xx

1

1

1

11

2

1

1

11

Régression linéaire: un algorithme de calcul pratique

Si on défini les sommes suivantes:

les coefficients α et β sont ensuite calculés par:

NNXY

NXX

NY

NX

yxyxyxS

xxxS

yyyS

xxxS

...

...

...

...

2211

22

2

2

1

21

21

N

SS

SSSN

SSSN

XY

XXXX

YXXY

12

Régression linéaire – cas particulier: calcul de la pente si on suppose (ou

impose) le passage de la droite par zéro

La droite cherchée est du type y = · x .

La prescription des moindres carrés s'écrit pour ce type de modèle:

N

i

ii

N

i

ii xyxfyS1

2

1

2;

Le minimum de cette expression est trouvé quand la dérivée partielle ∂S/∂αest égale à zéro:

N

i

iii xxyS

1

02

Ce qui donne:

XX

XY

N

i

i

N

i

iiN

i

ii

N

i

iS

S

x

yx

yxx

1

2

1

11

2 donc et

13

Evaluation de l’écart-type par rapport à la régression

Diagramme avec barres d’erreurs

régression linéairey = 0.6364x + 0.5455

-2

0

2

4

6

8

10

12

0 5 10 15

X

Y

y

Linéaire (y)

14

Problème

On souhaite tester différentes formes de régressions linéaires sur l'ensemble des

points donnés dans le tableau suivant:

x = 1 3 4 6 8 9 11 14

y = 1 2 4 4 5 7 8 9

1. par minimisation de la somme des carrés des écarts sur les ordonnées.

2. par minimisation de la somme des carrés des écarts sur les ordonnées et en

forçant la droite à passer par l'origine

Faire l’exercice avec Excel mais sans utiliser l’option « courbe de tendance »

Déterminer les coefficients des droites de régression correspondantes aux

différents critères mentionnés et les représenter sur un graphe avec également

les points figurant dans le tableau.

Evaluer ensuite l’écart-type des écarts résiduels et tracer le diagramme avec les

barres d’erreur.

Vérifier qu’on obtient les mêmes résultats avec l’option « courbe de tendance »

15

Régressions curvilinéaires

Dans de nombreux problèmes, une relation nette apparaît entre les variables

étudiées, mais cette relation n’est pas linéaire.

Il peut alors être utile de procéder à l'ajustement d'une courbe de régression

au nuage de points observés.

Deux problèmes distincts se posent alors:

1. le choix de l'équation de la courbe (donc choix d'un certain type de

fonction),

2. la détermination des paramètres intervenant dans cette équation.

Il existe des régressions polynomiales, exponentielles, logarithmiques,….

16

Régressions curvilinéaires avec Excel

17

18

Le coefficient de détermination R

Le coefficient de détermination évalue la comparaison des valeurs

estimées par la régression aux valeurs réelles et varie entre 0 et 1.

Un coefficient de détermination égal à 1 indique une corrélation

parfaite de l'échantillon (aucune différence entre les valeurs y

estimées et réelles).

A l'inverse, un coefficient de détermination égal à 0 (zéro) indique

que l'équation de régression ne peut servir à prévoir une valeur y.

19

Problème

Déterminer avec Excel les coefficients A et B de la loi

y = AxB

pour l’ensemble des points suivants:

20

21

Ajustement d'un modèle linéaire

Un modèle f(x;θ) est linéaire, si sa dépendance en θ est linéaire.

Un tel modèle

où les φk sont n fonctions quelconques de la variable x.

Un tel cas est très courant en pratique: tous les types de régressions

proposés par Excel son linéaires sauf la «puissance».

Plus généralement tout modèle polynomial est linéaire, avec

φk(x) = xk.

Aussi, de très nombreux modèles utilisés en sciences expérimentales

sont des développement polynomiaux sur des bases fonctionnelles

classiques (splines, bases de Fourier, bases d'ondelettes, etc.).

22

Dans le cas le plus général on trouve que les min qui minimisent les écarts

entre une fonction linéaire

et une série de données yi(xi), sont trouvés par l’expression matricielle

avec les définitions suivantes:

La matrice J est appelée matrice jacobienne du problème. C'est une matrice

rectangulaire, de dimension N x n, avec généralement N >> n.

Elle contient les valeurs des fonctions de base φk pour chaque point de mesure.

La matrice diagonale W est appelée matrice des poids: elle prends en compte

le fait que chaque valeur de yi peut être affecté d’un écart type différent.

Si ce n’est pas le cas, W peut être remplacé par la matrice unité.

23

Ajustement d'un polynôme linéaire

Le cas d'ajustement d’un polynôme d'ordre k à un ensemble de n points de

mesures donnés par les couples (xi, yi) admet des méthodes de solution

assez simples à mettre en œuvre.

Définissons le polynôme recherché comme:

Les inconnues sont les valeurs des ak.

Il faut donc disposer de k+1 équations.

Multiplions successivement la relation précédente par x1, x2, … xk, on

obtient le système d’équations suivantes:

yxaxaxaxaxa k

k .............3

3

2

2

1

1

0

0

kkk

k

kkkk

k

k

k

k

k

k

xyxaxaxaxaxa

xyxaxaxaxaxa

xyxaxaxaxaxa

yxaxaxaxaxa

.............

............

.............

.............

.............

3

3

2

2

1

10

225

3

4

2

3

1

2

0

114

3

3

2

2

1

1

0

3

3

2

2

1

1

0

0

24

On écrit ces k+1 relations pour tous les n points Pi, de coordonnées xi, yi,

puis l'on somme toutes les équations par catégorie.

On obtient ainsi:

n

i

k

ii

i

n

i

i

n

i

i

kn

i

k

i

n

i

k

i

n

i

k

i

n

i

k

i

n

i

k

i

n

i

i

n

i

i

n

i

i

n

i

k

i

n

i

i

n

i

i

xy

xy

y

a

a

a

xxxx

xxxx

xxxn

1

1

1

1

0

1

2

1

2

1

1

1

1

1

1

3

1

2

1

1

11

2

1

1

.....

........

....

.....

.........................

.........................

.....

.....

25

Enfin les valeurs ao-k s’obtiennent par la solution de l’équation

matricielle suivante:

n

i

k

ii

i

n

i

i

n

i

i

n

i

k

i

n

i

k

i

n

i

k

i

n

i

k

i

n

i

k

i

n

i

i

n

i

i

n

i

i

n

i

k

i

n

i

i

n

i

i

kxy

xy

y

xxxx

xxxx

xxxn

a

a

a

1

1

1

1

2

1

2

1

1

1

1

1

1

3

1

2

1

1

11

2

1

1

1

0

.....

....

1

.....

.........................

.........................

.....

.....

....

....

26

Problème

Ajuster une parabole (polynôme d’ordre 2) par les points suivants:

x -4.1 -3.2 -1.8 -1 0 0.95 2.1 2.9 4.0

y 26 15.2 8.1 3.9 1.8 3.7 7.7 16 24.5

Faire l’exercice avec

1. Excel

2. Matlab, par la fonction polyfit

27

Cette équation peut s'écrire aussi:

ou:

avec:

2222 yxcbyax

222 )()( Rbyax

22222 )(22 yxbaRbyax

Soit un cercle de rayon R dont l'équation est donnée par:

222 baRc

Ajustement d'un cercle

28

on obtient:

2222 yxcbyax

Les inconnues sont

• a, b, les coordonnées x,y du centre

• c qui donnera R, rayon du cercle recherché

Il faut donc disposer de 3 équations.

En multipliant une fois par x et une fois par y la relation:

322

232

22

22

yyxycbyaxy

xyxxcbxyax

et

29

On écrit ces trois relations pour tous les N points Pi, de coordonnées xi,

yi, puis l'on somme toutes les équations par catégorie.

On obtient ainsi:

Ajustement d'un cercle par la méthode des moindres carrés

On a donc élaboré les trois relations suivantes:

322

232

22

22

22

22

yyxycybaxy

xyxxcxybxa

yxcybxa

i i

ii

i

i

i

i

i

iii

i i i

iii

i

iii

i

i

i

i

i

i

i

i

i

i

yyxycybyxa

yxxxcyxbxa

yxNcybxa

322

232

22

22

22

22

30

S’écrit sous forme matricielle:

i i

ii

i

i

i

i

i

iii

i i i

iii

i

iii

i

i

i

i

i

i

i

i

i

i

yyxycybyxa

yxxxcyxbxa

yxNcybxa

322

232

22

22

22

22

i

ii

i

i

i i

iii

i

i

i

i

i

i

i

i

i

ii

i

i

i

ii

i

i

i

i

i

i

yyx

yxx

yx

c

b

a

yyyx

xyxx

Nyx

32

23

22

2

2 2

2

Le système d’équations:

31

Ajustement d'un cercle par la méthode des moindres carrés

Enfin les valeurs de 2a, 2b, c s’obtiennent par la solution de l’équation

matricielle:

i

ii

i

i

i i

iii

i

i

i

i

i

i

i

i

i

ii

i

i

i

ii

i

i

i

i

i

i

yyx

yxx

yx

yyyx

xyxx

nyx

c

b

a

32

23

22

2

2

1

2

2

32

Problème

Déterminer (avec Matlab) le rayon R et les coordonnées du centre C

du cercle des moindres carrés passant parmi les points dont les

coordonnées polaires sont les suivantes:

R (mm) 83 64 50 54 70 88 93 91

(°) 0 45 90 135 180 225 270 315

33

Plus de 2 variables:

Ajustement d'un plan à un ensemble de points de

coordonnées x1 y1 z1, x2 y2 z2 , ... xn yn zn

Dans le cas des problèmes comportant plus de deux variables, le

processus de résolution est le même que pour deux variables.

Si par exemple, il existe une relation entre les variables x, y et z, celle-ci

peut être exprimée à l'aide de l'équation suivante:

Cette équation représente un plan dans un système de coordonnées à trois

dimensions.

cbyaxyxfz ),(

34

35

Ajustement d'un plan par la méthode des moindres carrés

36

i

i

i

ii

i

ii

i

i

i

i

i

i

i

i

i

ii

i

i

i

ii

i

i

z

zy

zx

nyx

yyyx

xyxx

c

b

a

1

2

2

Enfin les valeurs de a, b, c pour le plan

s’obtiennent par:

cbyaxyxfz ),(