MINI PROJET SUR LA METHODE DES MOINDRES CARREES.pdf

REPUBLIQUE ALGERIENNE DEMOCRATIQUE ET POPULAIREMINISTRE DE LENSEIGNEMENT SUPERIEURET DE LA RECHERCHEFacult de technologieDpartement gnie lectriqueOption automatique

Mini projetThme : La mthode des moindres carres

Anne universitaire 2013/2014

Prsent par: responsable de module

PLAN DE TRAVAIL

La mthode des moindres carres1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2 principe de la mthode . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.1 ajustement dun model de type y= + . . . . . . . . . . . . . . . .2.2 rgression linaire . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Calcul des coefficients . . . . . . . . . . . . . . . . . . . . . . . .Algorithme de calcul parthique. . . . . . . . . . . . . . . . . . .

3 Ajustement dun polynme linaire . . . . . . . . . . . . . . . . . . . . . . .3.1 Cas particuliers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3.2 Caractres transformes. . . . . . . . . . . . . . . . . . . . . . . . . .3.3 Formulation non linaire . . . . . . . . . . . . . . . . . . . . . . .

4 Fonctions MATLAB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4.1 Exemplesur larsolution dessystmes linaires . . . . . . . . . . . . . . . .

Conclusion. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

La mthode des moindres carres

1 INTRODUCTION:

La mthode du maximum de vraisemblance et celle des moindres carrs sont les outils de la thorie des erreurs ou de l'estimation, utiliss tous les jours dans toutes les sciences

d'observation.

La thorie des erreurs a t dveloppe pour rsoudre trois problmes :

Combiner les erreurs pour choisir une valeur "juste milieu", trouver la loi de densit de

probabilit (loi normal appele par ailleurs loi Gauss-Laplace ....) des erreurs, choisir une

dmarche pour dterminer des quantits dans un systme d'quations surdtermin.

L'estimation du maximum de vraisemblance est une mthode statistique courante utilise

pour infrer les paramtres de la distribution de probabilit d'un chantillon de mesures

donn.

La mthode des moindres carrs permet de comparer des donnes exprimentales,

gnralement entaches derreurs de mesure un modle mathmatique cens dcrire ces

donnes.

Ce modle peut prendre diverses formes. Il sagira en gnral de lois de conservation

que les quantits mesures doivent respecter. La mthode des moindres carrs permet alors de

minimiser limpact des erreurs exprimentales et valuer les valeurs plus probables des

paramtres de la loi recherche, ainsi ajoutant de linformation dans le processus de mesure.


2 Principe de la mthode des moindres carres :

Comme dj cit ci-dessus, on fait appelle la mthode des moindres carres pour

trouver la fonction qui dcrit des mesures acquises lors des expriences Y exprimentales et

s'approcher le maximum possible des valeurs des mesures de prdiction Y thoriques.

C'est dire, si on dispose de N mesures (Yi / i=1, 2, 3,.........N) lors d'une exprience, les

paramtres de la fonction qui dcrit, une certaine prcision, le comportement du system

tudi appels parfois " " sont calculs en suivant sont en suivant la mthode des MC par:

.

Ou les sont les erreurs ou les carts entre les points de mesures et la courbe et

les paramtres rels du model thorique supposs vraies. O est la mesure de la distance

quadratique entre les donnes exprimentales et le modle thorique qui prdit ces donnes. La

prescription des moindres carrs commande que cette distance soit minimale.

La mthode des moindres carres permet encore de faire lajustement dune fonction,

cest dire on peut chercher les paramtres de cette dernire qui une foi optimises nous

permettra de tracer la courbe des valeurs qui se rapproche considrablement des valeurs

relles.

2.1 Ajustement dun modle de type par la mthode des moindres

carrs :

Une srie statistique a deux variable est un ensemble de couple et ou ( est la premire

variable statistique et est la seconde).

Il peut existe entre ces deux variable des relations qui dversent :

Fig 1 fig 2

La figure 1 nous dmontre que la relation entre et est affine puisque le

nuage de point est align.

La figure 2 la relation entre et est de type exponentiel.


2.2 Rgression linaire : calcul des coefficients

- La prescription des moindres carrs scrit pour ce type de modle :

- Le minimum de cette expression est trouv quand les deux drives partielles S/a et S/ sont gales zro:

Ce qui donne le systme dquations suivantes:

Peut tre crit en forme matricielle:

Ce qui donne la solution:

Rgression linaire: un algorithme de calcul pratique :

Si on dfini les sommes suivantes:


Les coefficients et sont ensuite calculs par:

Ajustement d'un modle linaire :

O les Sont n fonctions quelconques de la variable x.

Un tel cas est trs courant en pratique: tous les types de rgressions Proposs son

linaires sauf la puissance.

Plus gnralement tout modle polynomial est linaire, avec

Aussi, de trs nombreux modles utiliss en sciences exprimentales sont des

dveloppements polynomiaux sur des bases fonctionnelles classiques (splines, bases de

Fourier, bases d'ondelettes, etc.).

Dans le cas le plus gnral on trouve que les qui minimisent les carts entre une

fonction linaire :

et une srie de donnes ,sont trouvs par lexpression matricielle

avec les dfinitions suivantes:

-La matrice j est appele matrice jacobenne du problme. C'est une matrice

rectangulaire, de dimension N x n, avec gnralement N >> n.

Elle contient les valeurs des fonctions de base pour chaque point de mesure.

-La matrice diagonale W est appele matrice des poids: elle prend en compte le fait que

chaque valeur de peut tre affect dun cart type diffrent.

Si ce nest pas le cas, W peut tre remplac par la matrice unit.


3 Ajustement d'un polynme linaire : Le cas d'ajustement dun polynme d'ordre k un ensemble de n points de mesures donns par les couples admet des mthodes de solution assez simples mettre en uvre. Dfinissons le polynme recherch comme:

Les inconnues sont les valeurs des . Il faut donc disposer de k+1 quations.

Multiplions successivement la relation prcdente par obtient le systme dquations suivantes:

On crit ces k+1 relations pour tous les n points Pi, de coordonnes xi, yi, puis l'on somme toutes les quations par catgorie. On obtient ainsi:

Enfin les valeurs matricielles suivantes sobtiennent par la solution de lquation :

-


3.1 Cas particuliers 3.2 Caractres transforms Remarque : Il se peut quun caractre explicatif apparaisse sous une forme transforme : cos(v), v, ln(v), . . . . Dans ce cas, on considre simplement que la forme transforme du caractre constitue une nouvelle variable explicative. 3.3 Formulation non-linaire Remarque : Il arrive parfois que la relation fonctionnelle entre la variable explique et les variables explicatives ne soit pas donne sous forme linaire, comme dans lexemple suivant :

Dans ce cas, on linarise :

La nouvelle variable explique est et les nouvelles variables explicatives sont Voici lalgorithme qui rsume les dmarche suivre fin parvenir au rsultat dsir :

Soit un systme dcrit par lquation aux diffrences suivante :

u(k) : lentre.

y(k) : la sortie.

e(k) : le bruit.

Lobjectif est de trouver les valeurs des paramtres

On utilise lestimateur suivant :

est le vecteur des paramtres estimes.

X est une matrice forme des entres et des sorties du systme .

Pour (N-n) chantillons des mesures la matrice X prend la forme suivante :


N : est le nombre de couple de mesure dentre/sortie.

n : degr du dnominateur,

p : degr du numrateur.

4 Programme avec matlab function [teta,Y,x]=mcs(n,p,u,y) N=length(u); N=length(y); for i=1:N-n for j=1:n x1(i,j)=-y(N+1-i-j); end; end; for i=1:N-n for j=1:p+1 x2(i,j)=u(N+2-i-j); end; end; x=[x1,x2]; Y=y(N:-1:n+1); teta=inv(x'*x)*x'*Y

2 Methode des moindres carres

1. Lensemble des solutions est

S =

02

3

+

11/2

3/2

, R

.

2. Le syste`me na pas de solution.

3. On cherche a` resoudre le syste`me lineaire

A

(c1c2

)= b avec A =

1 et1...

...1 etn

, et b =

y1...yn

.

2.2 Travaux pratiques.

1. >> A1=[ 1 1 1; 2 -1 1];>> b1=[5 ; 1];

>> x1=A1\b1 %On obtient une solution particuliere

x1 =

2.0000

3.0000

0

>> A1*x1 %x1 est bien solution

ans =

5.0000

1.0000

>> z1=null(A1) %On obtient une base du noyau de A1, sous forme

%approchee

z1 =

-0.5345

-0.2673

4.2 Exemple sur la resolution de systemes lineaire :

0.8018

>> A1*z1 %On nobtient pas tout a fait 0!

ans =

1.0e-15 *

-0.1110

-0.1110

>>z1= null(A1,r) %On obtient un vecteur de coordonnees rationelles.

z1 =

-0.6667

-0.3333

1.0000

>> A1*z1 %Cette fois, on a bien 0.

ans =

0

0

2. >> A2=[ 1 1; 2 -1; 0 1];>> b2=[2 0 -2];

>> y2=A2\b2

y2 =

0.4286

0.1429

Matlab rend une solution, alors quil ny en a pas ! En fait, Matlab rend le vecteur xqui minimise A2x b22.

3. >> t=[0 0.3 0.8 1.1 1.6 2.3];>> A3=[ones(6,1) exp(-t)];

>> b3=[0.82 0.72 0.63 0.6 0.55 0.5];

>> y3=A3\b3;

>> x=[0:0.01:2.5];

>> y=y3(1)+y3(2)*exp(-x);

>> plot(x,y,t,b3,+r)

>> title(Moindre carres)

>> xlabel(t)

>> ylabel(y)

On obtient la figure 1

0 0.5 1 1.5 2 2.50.5

0.55

0.6

0.65

0.7

0.75

0.8

0.85

0.9Moindre carres

t

y

Fig. 1 Approximation par moindres carres


Conclusion La rsolution dun problme de moindres carrs via les quations normales possde deux Inconvnients majeures. Dune part, la perturbation due aux erreurs darrondi lorsque lon Passe par les quations normales peut tre importante. En eet, si la matrice des donnes A est lgrement perturbe : A= A + A, le passage aux quations normales va amplier la perturbation : alors quen passant par dautres mthodes de rsolution (par exemple factoriser A sous la forme QR ou Q est orthogonale et R triangulaire) la perturbation des donnes sera moindre. Dautre part, le calcul de peut faire intervenir des overflow ou underflow parasites comme dans lexemple suivant : soit la matrice des donnes suivante :

Avec On a bien On a alors

Si est suprieur au plus petit flottant reprsentable alors que lui est infrieur, soit :

La matrice ne sera plus rgulire ! Pour ces problmes, on recourt des transformations orthogonales lmentaires comme celles de Householder ou de Givens. Avec ces mthodes, on obtient une meilleure stabilit de notre systme.

page de garde.pdfPLAN DE TRAVAIL.pdfUntitled 2.pdfUntitled.pdfpricipe de la methode mc - Copy.pdfsyst_lin.pdf

pricipe de la methode mc - Copy.pdf

MINI PROJET SUR LA METHODE DES MOINDRES CARREES.pdf

Documents

Transcript of MINI PROJET SUR LA METHODE DES MOINDRES CARREES.pdf