Validation Exemple N°1

download Validation Exemple N°1

of 21

Transcript of Validation Exemple N°1

  • 7/23/2019 Validation Exemple N1

    1/21

    1

    Validation d'une mthode analytique

    Exercices d'application avec WinNonlin

    Exemple 1 : Construction d'une droite du jour et son rejet en cas

    d'inadquation des rsultats obtenus par talonnage

    inverse (back calculation)

    Exemple 2 : Construction d'une droite du jour et acceptation sur la

    base des rsultats obtenus par talonnage inverse

    Exemple 3 : test de linarit d'une droite (test de lack-of-fit) Test de

    la composante quadratique (test raliss lors de la

    validation initiale)

    Exemple 4 Essai de rptabilit et de reproductibilit : calculs

    effectuer la main pour comprendre la dmarche

    gnrale

    Exemple 5 : Essai de rptabilit et de reproductibilit. Analyse

    d'un essai avec trois niveaux de concentrations.

    P.L. Toutain A. Bousquet-Mlou D. ConcordetEcole Nationale Vtrinaire de ToulouseUMR 181 de Physiopathologie et Toxicologie Exprimentales INRA/ENVT

    Mai 2008

  • 7/23/2019 Validation Exemple N1

    2/21

    2

    1. EXEMPLE N1

    1.1. Objectifs :

    L'objectif de ce premier chapitre est de montrer

    1- comment construire une droite ou une courbe d'talonnage avec WinNonlin

    (WN version 5.2 ou suprieure).

    2- Comment utiliser les diffrents outils statistiques disponibles sur WinNonlin

    pour valuer la validit de la courbe de calibration vis--vis des objectifs

    assigns une technique analytique.

    Une connaissance minimale de WinNonlin est ncessaire pour raliser lesdiffrents exemples.

    1.2. Les donnes

    Soit la gamme d'un analyte obtenue le 13/09/1993 (tableau 1.1.)

    Tableau 1.1: Concentrations en analyte et rponses chromatographiquesConcentration (g/mL) Rponses

    chromatographiques1 0.10 0.332 0.15 0.723 0.25 0.644 0.50 1.515 1.25 4.456 2.50 10.047 5.0 21.298 10 51.739 20 90.29

    Le niveau de quantification (LOQ) a t fix 0.10 g/mL. Pour cette concentration,

    prcision et exactitude doivent tre de 20% par rapport la valeur nominale : pour

    les autres concentrations, la tolrance est de 15%.

  • 7/23/2019 Validation Exemple N1

    3/21

    3

    1.3. Ouvrir ou entrer les donnes dans une feuille de WN

    Ouvrir un nouveau dossier dans WinNonlin ou ouvrir le workbook de WinNonlin

    contenant les donnes (fig. 1.1). Elles sont places sur 2 colonnes intitules :

    concentrations et rponse.

    Nous allons utiliser ces donnes pour effectuer diffrents ajustements avec unedroite simple avec ou sans pondration.

    Figure 1.1: Concentrations en analyte et rponses entres dans le workbook de WNet correspondant au tableau 1.1

    Bouton pour accder aux diffrents types de modles

    Editer les colonnes en allant dans "Data" puis "column properties".

    1.4. Ajustement des donnes

    a) Ajustement une droite y = ax + b sans pondration

    Se placer dans le modulede WinNonlin soit en allant dans "Tools", soit avec l'icne

    correspondante (fig.1.1).

  • 7/23/2019 Validation Exemple N1

    4/21

    4

    Figure 1.2 : cran daccueil pour slectionner le module d'analyse de rgressionlinaire et faire "Next".

    L'cran d'accueil du modle apparat, cliquer alors sur "Linear"(fig 1.3)

    Figure 1.3.: cran d'accueil du module de rgression linaire aprs la slection dumodle "Linear" (modle 502)

    Faire "Next" et "Finish". Apparat alors l'cran de la figure 1.4.

  • 7/23/2019 Validation Exemple N1

    5/21

    5

    Figure 1.4Pour slectionner ses variables, aller dans "Model" puis "Data Variables"

    ou cliquer sur l'icne

    Pour raliser une rgression, il convient de dclarer le nom de la variable

    indpendante et de la variable dpendante. Pour cela il faut aller dans "Data

    variable" soit en cliquant sur l'icne (fig. 1.5) soit en allant dans le menu Model>Data

    variablepuis par simple glissement, placer le vecteur "concentration" dans la bote "X

    variable" et le vecteur "Response" dans la bote "Y variable" (fig.1.5).

    Figure 1.5.: Ecran d'accueil de "Data variable". Les noms des variables dpendantes

    (response) et indpendantes (concentration) sont placs dans les fentres ad hoc

    par glisser-coller pour dclarer les variables.

    Faire OK

    Icne "Data variables"

    X

    Y

  • 7/23/2019 Validation Exemple N1

    6/21

    6

    Ensuite, aller vrifier qu'aucun facteur de pondration n'est utilis en allant sur l'icne

    "Model options" ou en allant dans le menu Model > Model options(fig 1.6). Dans la

    fentre Model options(fig 1.6) cliquer sur "Weight" et vrifier que le programme est

    configur par dfaut "uniform weighting". Cliquer sur OK. On peut donner un titre auxfutures figures, tableaux etc. en ditant le tableau qui s'ouvre en cliquant sur "Title"

    (fig. 1.6). De mme on peut changer l'algorithme d'optimisation en allant dans "Linear

    setting" (ici on gardera l'option "Gauss Newton" offerte par dfaut).

    Figure 1.6.: cran daccueil pour slectionner des options de modlisation dont

    lutilisation dun facteur de pondration (Weight)

  • 7/23/2019 Validation Exemple N1

    7/21

    7

    Figure 1.7. : cran daccueil pour la gestion des facteurs de pondration ; par dfaut,

    il ny a pas de pondration et la boite Pre-Selected Scheme indique "Uniform

    Weighting" ce qui veut dire que le mme poids sera donn toutes les donnes

    Pour excuter les calculs cliquer sur l'icne "Start modeling" ou en allant dans le

    menu Model > Start modeling(fig. 1.8)

    Figure 1.8. : bouton pour dmarrer les calculs

    Aprs l'excution des calculs, apparaissent 3 feuilles intitules respectivement

    "Linear workbook", "Linear text", et "Linear Chart" (fig 1.9). Pour bien visualiser ces 3

    feuilles aller dans le menu Window > Cascade. Dcaler les feuilles avec le pointeur.

    Start modelin

  • 7/23/2019 Validation Exemple N1

    8/21

    8

    En allant dans l'onglet "Non-transposed final parameters" (fig 1.11) on peut visualiser

    les rsultats avec les deux paramtres estims savoir l'ordonne l'origine =

    intercept : INT = -0.414471 et la pente : Slope = 4.647302.

    Figure 1.9. : cascade de fentres montrant les 3 feuilles de rsultats pour lanalysedes donnes par rgression linaire des donnes du tableau 1.1.

    Figure 1.10 : Premire fentre des tableaux de rsultats de lanalyse des donnesdu tableau 1.1 avec un modle de rgression linaire simple et sans pondration.Les onglets situs au bas de la feuille permettent de faire dfiler les diffrentstableaux de rsultats.

    Onglets de dfilement pour les tableaux de rsultats"Non transposedfinal parameters"

    donnant l'ordonne l'origine de la pente

  • 7/23/2019 Validation Exemple N1

    9/21

    9

    Figure 1.11: fentre intitule "Non transposed final parameters" donnant la valeur dela pente (Slope= 4.6473) et de lordonne lorigine (INT=-0.4144)

    Sur cette fentre sont galement donns des intervalles de confiance (CI) des

    estimateurs. On peut constater que pour l'intercept, l'intervalle de confiance est de -

    2.778 et +1.949 ce qui veut dire que l'intercept n'est pas significativement diffrent de

    0. Cela dit, il est usuel de garder l'ordonne l'origine comme variable d'ajustement

    pour avoir les meilleures prdictions possibles sur l'intervalle d'interpolation.

    Toujours sur cette feuille, aller l'onglet "Diagnostic" (fig. 1.12) pour avoir la valeur

    du coefficient de corrlation : CORR-(Obs,pred)=0.997. On notera que le coefficient

    de corrlation est trs lev mais qu'il ne prjuge en rien de la qualit de la droite de

    rgression.

    Figure 1.12 : fentre ouverte avec longlet Diagnostic et donnant la valeur ducfficient de corrlation (r=0.997)

  • 7/23/2019 Validation Exemple N1

    10/21

    10

    En cliquant sur l'onglet "Summary table" on pourra visualiser le tableau des valeurs

    observes et des valeurs prdites correspondantes (figure 1.13). On notera aussi

    que tous les poids (colonne Weight) sont gaux 1 (pas de pondration).

    Figure 1.13 : fentre ouverte avec longlet Summary Table donnant les valeursprdites des rponses chromatographiques par le modle de rgression linaire.

    Avant de travailler avec cette fentre, notamment pour faire les "Back calculations",

    nous allons inspecter la feuille donnant les graphiques. Pour la faire rapparatre

    faire Window > Cascadeet slectionner 3-Linear Chart(fig.1.14) ou encore rduire lafeuille de rsultats pour faire apparatre les graphiques.

    La premire figure qui apparat est celle des "X vs. observed Y and predicted Y" (fig.

    1.15A). L'inspection visuelle de ce premier graphique plaide pour un ajustement

    satisfaisant. Pourtant on doit considrer que la gamme des concentrations tait plutt

    large (de 0.1 20) et que ce type de graphique est incapable de permettre de faire

    un bon diagnostic de la qualit de la rgression car les grandes valeurs "crasent"

    les petites valeurs. La seule faon de juger visuellement de la qualit de l'ajustement

    est d'inspecter les rsidus. Pour cela cliquer sur l'onglet "X vs. weighted residual Y"(fig 1.15B).

  • 7/23/2019 Validation Exemple N1

    11/21

    11

    Figure 1.14: Ecran montrant comment slectionner une feuille de rsultats partir

    de la cascade donne par WinNonlin

    Figure 1.15A : figure montrant lajustement des donnes du tableau 1.1 parrgression linaire ; premire vue cet ajustement parat satisfaisant.

    Les onglets

  • 7/23/2019 Validation Exemple N1

    12/21

    12

    Figure 1.15B : reprsentation des valeurs des rsiduelles en fonction desconcentrations testes (X) ; on notera la prsence de structure c'est--dire dunerpartition des rsiduelles qui nest pas alatoire de part et dautre de la lignehorizontale dordonne 0.

    Les rsidus sont la diffrence entre les valeurs observes et les valeurs prdites par

    le modle. Les rsiduelles peuvent tre ngatives ou positives et un bon ajustement

    implique une alternance rgulire de rsiduelles positives et ngatives. Ici, on

    remarque que les rsiduelles ne se rpartissent pas de faon alatoire autour de la

    ligne horizontale d'ordonne 0. Au contraire, on a une tendance claire la

    dcroissance des rsiduelles pour les concentrations allant de 0.1 6 et une

    remonte des rsiduelles pour les concentrations gales 10. On dit qu'il y a de la

    "structure" dans le graphique des rsiduelles. Pour mieux le visualiser on peut diter

    les symboles des points en double-cliquant sur l'un des points. Cela fait apparatre

    une fentre (fig. 1.16) qui permet d'diter la figure en y ajoutant une ligne (onglet

    Lines) ou en changeant les symboles des points ( gauche aller dans Seriescliquer

    sur Series 1 > data point > markers > filled circle). Le rsultat est donn par la figure

    1.17.

  • 7/23/2019 Validation Exemple N1

    13/21

    13

    Figure 1.16 : fentre permettant dditer la figure en y ajoutant une ligne entre lespoints et en changeant le symboles des points pour les rendre plus visibles.

    Figure 1.17 : aprs dition ; la prsence dune ligne pour rejoindre les points desrsiduelles facilite lindentification dune tendance dans la rpartition des rsidus

    En retournant sur le tableau "Summary table" (fig 1.13) on peut voir la valeur des

    rsidus. On remarquera immdiatement que les rsiduelles des 2 premires

    concentrations (0.27, 0.437) sont positives alors qu'elles sont ngatives pour toutes

    les autres concentrations l'exception de la concentration "10". Cela suggre djun mauvais ajustement.

    Dans un ajustement idal, on aurait une alternance rgulire de rsiduelles positives

    et ngatives.

    L'inspection des rsidus suggre que l'ajustement une droite n'est pas acceptable.

  • 7/23/2019 Validation Exemple N1

    14/21

    14

    Pour mieux se convaincre du caractre inacceptable de cette droite qui nous tait

    pourtant apparue comme adquate et qui nous avait donn un cfficient de

    corrlation lev (r=0.997), nous allons "recalculer" les concentrations

    nominales avec la droite ajuste c'est--dire recalculer les valeurs de X avec

    cette droite. On parle de "back calculation" ou encore d'talonnage inverse.Pour cela, nous allons utiliser directement WinNonlin qui permet de faire les calculs

    simplement. Si on veut utiliser la feuille "Summary Table" contenant les "Residuals" il

    faut pouvoir l'diter. Pour cela il faut d'abord la dverrouiller avec la fonction "Detach"

    qui est obtenu par un click droit de la souris.

    Remarque cette fonction "Detach" n'est pas accessible par le menu "Edit".

    Ensuite on peut grer cette feuille exactement comme une feuille EXCEL. Enlever les

    colonnes inutiles avec "Delete". Ensuite, calculer les concentrations prdites par ladroite avec l'quation (fig. 1.19) :

    ( ) +=

    =

    Figure 1.19 : Calcul des valeurs prdites par la droite de calibration pour lesconcentrations ayant servi construire la droite et biais relatif par rapport aux valeurs

    nominales.

    Ensuite, calculer le pourcentage de dviation c'est--dire (tableau 1.2) :

  • 7/23/2019 Validation Exemple N1

    15/21

    15

    Deviation (%) =( ) ( )[ ]

    ( )

    Tableau 1.2: calcul des concentrations thoriques de la gamme de l'exemple 1.1 partir de la droite ajuste par rgression linaire et sans pondration.

    Concentrationsthoriques(mg/mL)

    Rponseschromato-graphiques

    Concentrationsthoriques recalculesavec les paramtres dela droite issus dutableau 1.1

    Dviation (%)

    0.10 0.33 0.160 +600.15 0.72 0.244 +62.70.25 0.64 0.226 -9.60.5 1.51 0.414 -17.21.25 4.45 1.046 -16.3

    2.50 10.04 2.249 -10.045.0 21.29 4.670 -6.610 51.73 11.22 +12.220 90.29 19.52 -2.4Concentration calcule = (rponse + 0.41447)/4.647

    L'inspection du tableau 1.2 montre clairement que cette droite est incapable de

    prdire les concentrations ayant servi construire la gamme avec une exactitude

    approprie (

  • 7/23/2019 Validation Exemple N1

    16/21

    16

    valeurs de 1/X et 1/X. Nous allons utiliser les 2 vecteurs de pondration 1/X

    (weight 1) et 1/X (weight 2). (Aller dans l'onglet Window > Cascade > workbook)

    En reprenant le modle de rgression on va refaire tous les calculs prcdents mais

    avec la pondration. Nous allons slectionner le vecteur "Weight_1" dans la cellule

    "Weights on file in column".

    Figure 1.20: Fentre pour le calcul dune droite pondre avec 1/X. On doit daborddclarer le vecteur des poids dans la bote Weights on File in Column avecl'ascenseur.

    Faire OK et lancer les calculs. Aller inspecter les rsultats de la nouvelle feuille dans

    l'onglet "Non transposed final parameters".

    Les paramtres estims avec une droite pondre par 1/X sont la pente (4.6125) et

    l'ordonne l'origine (-0.2606). La figure 1.21 montre la droite de rgression

    obtenue. Ici encore, la droite parat satisfaisante mais l'inspection des rsidus

    suggre que cette droite obtenue avec un facteur de pondration n'est toujours pas

    acceptable (fig 1.22).

    Pondration

  • 7/23/2019 Validation Exemple N1

    17/21

    17

    Figure 1.21: droite obtenue avec les donnes du tableau 1.1 ajuste par un modlede type y = aX + b et avec une pondration de 1/X. Linspection visuelle de la figuresuggre un bon ajustement

    Figure 1.22 Inspection des rsidus pondrs (weighted_residuals)

    L'inspection de la figure 1.22 montre une mauvaise rpartition des rsidus pondrs.

  • 7/23/2019 Validation Exemple N1

    18/21

    18

    Le mauvais ajustement est confirm par un calcul "back calculation" = talonnage

    inverse (fig 1.23).

    L'inspection du tableau montre que les concentrations calcules par talonnage

    inverse sont meilleures qu'avec celles calcules avec la droite non pondre mais

    les dviations restent inacceptables.

    Figure 1.23: Calcul des concentrations thoriques de la gamme de l'exemple 1.1 partir de la droite ajuste par rgression linaire avec une pondration 1/X

    Nous allons reprendre tous les calculs avec une droite pondre par 1/X (fig. 1.24).

    Pour cela il faut re-slectionner la feuille des donnes avec Window > workbook.Puis dans la fentre des "Model > options" remplacer "Weight_1" par "Weight _2" et

    lancer les calculs.

    Les paramtres obtenus sont b = -0.0738 et a = 4.1098. Le tableau des rsidus

    pondrs est donn dans la figure 1.23. La figure 1.24 donne une reprsentation

    graphique des rsidus pondrs. L'inspection de la figure 1.24 montre nouveau

    que la rpartition des rsidus n'est pas satisfaisante.

  • 7/23/2019 Validation Exemple N1

    19/21

    19

    Figure 1.24. : rsidus pondrs (weighted_residuals) calculs partir delajustement ralis avec un facteur de pondration de 1/X2

    Figure 1.25.:Inspection des rsidus pondrs (weighted_residuals) calculs partirde l'ajustement ralis avec un facteur de pondration de 1/X

  • 7/23/2019 Validation Exemple N1

    20/21

    20

    L'inspection du tableau de la figure 1.26 des "Back-calculations" montre que les

    valeurs prdites sont meilleures que celles obtenues prcdemment mais qu'elles ne

    sont pas encore satisfaisantes car les dviations de plusieurs d'entre elles dpassent

    encore 20% c'est--dire la tolrance acceptable.

    Aprs avoir tent les diffrents schmas de pondration, il apparat impossibled'ajuster correctement les donnes du tableau 1.1 avec une droite pondre ou

    non.

    Figure 1.26. : concentrations obtenues par talonnage inverse avec la droiteobtenue avec une pondration par 1/X2 .

    En fait, l'inspection des donnes brutes du tableau 1.1 montre que les

    observations 2 et 3 mritent d'tre reconsidres dans la mesure o la rponse

    chromatographique est plus leve avec une concentration de 0.15 (0.72)

    qu'avec la concentration de 0.25 mg/mL (0.64).

    Selon les recommandations internationales, deux points de la gamme peuvent tre

    rejets. Lorsque les observations 2 et/ou 3 sont enleves, on peut recalculer la droite

    et en valuer comme prcdemment, les performances en terme d'aptitude prvoir

    les concentrations de la gamme. De mme, on peut rduire l'tendue de la gamme

    en excluant les concentrations les plus leves (10 et 20 g/mL). Cela a t ralis

    et aucune des droites calcules n'a t acceptable. Il est donc raliste de mettre en

  • 7/23/2019 Validation Exemple N1

    21/21

    21

    doute les donnes brutes c'est--dire la validit les rponses obtenues pour raliser

    des dosages exprimentaux.

    1.6. Conclusion

    Sur la base des arguments statistiques usuels, les diffrentes droites obtenues avec

    ou sans pondration sont rejeter car l'exactitude des valeurs prdites sera

    inacceptable vis--vis de nos objectifs analytiques.

    L'analyste devra donc reconstruire une nouvelle droite.

    Cet exemple nous aura permis de montrer comment on peut construire une droite

    avec WinNonlin et en discuter la valeur vis--vis des objectifs analytiques.

    Dans l'exemple suivant nous allons construire une droite du jour c'est--dire celle qui

    est ralise en routine.