03 décembre 2002 1

Apprentissage et adaptation pour la modélisation stochastique de systèmes dynamiques réels

Laurent JEANPIERRE

Equipe MAIA

Directeur de thèse : François Charpillet

03 décembre 2002 2

Système dynamique

SystèmeRéel

Modèle informatique

ObservationsActions

Perturbations

03 décembre 2002 3

Introduction

Contributions Modèle compréhensible par des

utilisateurs Apprentissage de modèle Bibliothèque logicielle

Cadre applicatif DIATELIC (ALTIR) Assistance à l’anesthésie (CHU Brabois) Navigation d’un robot mobile

03 décembre 2002 4

Plan de la présentation

Introduction à DIATELIC Modélisation

Processus statistiques Perceptions floues Modèle global

Apprentissage et adaptation Conclusion et perspectives

03 décembre 2002 5

Le projet DIATELICIntroduction

1995 – 2002 Suivi de patients

Traités en DPCA Dialysés à domicile Quotidiennement

Étude de l’hydratation Joue un rôle central dans la dialyse Non mesurable directement

IntroductionIntroduction Processus statistiques Perceptions floues Modèle global

Apprentissage et adaptation Conclusion

03 décembre 2002 6

Le projet DIATELICPrésentation schématique

IntroductionIntroduction Processus statistiques Perceptions floues Modèle global

Apprentissage et adaptation Conclusion

Données

Diagnostic

Traitement

03 décembre 2002 7

Le projet DIATELICPrésentation schématique

IntroductionIntroduction Processus statistiques Perceptions floues Modèle global

Apprentissage et adaptation Conclusion

Données

Diagnostic

Alertes

Traitement

03 décembre 2002 8

DIATELICUn projet d’envergure

IntroductionIntroduction Processus statistiques Perceptions floues Modèle global

Apprentissage et adaptation Conclusion

Une infrastructure conséquente Un transport de données par réseau Un serveur hébergeant le service Une base de données

Des interfaces homme-machine Un appui médical Un module de diagnostic

03 décembre 2002 9

Le projet DIATELICSurveillance d’un système dynamique

Le patient, un système complexe Traitement médical Observation quotidienne Dynamique mal connue Evolution spontanée

Modélisation On recherche un cas moyen Il existe des divergences, des aléas

IntroductionIntroduction Processus statistiques Perceptions floues Modèle global

Apprentissage et adaptation Conclusion

03 décembre 2002 10

Processus de décision Markovien partiellement observable

Un POMDP est un n-uplet {S,A,O,B,T,R} S Ensemble fini d’états A Ensemble fini d’actions O Ensemble fini d’observations B Fonction d’observation

B : OxS [0; 1] T Loi de transition probabiliste

T : SxAxS [0; 1] R Fonction de récompense

R : SxA Ë

Introduction Processus statistiquesProcessus statistiques Perceptions floues Modèle global

Apprentissage et adaptation Conclusion

03 décembre 2002 11

Les POMDPs

Introduction Processus statistiquesProcessus statistiques Perceptions floues Modèle global

Apprentissage et adaptation Conclusion

Obs

ObsObs

Obs

03 décembre 2002 12

Ensemble fini d’étatsProblème de diagnostic

Un état normal Des états représentant des déviations

Poids-sec Hydratation

Choix de modélisation : Modélisation des situations « pures » Pas de modélisation des interactions

Introduction Processus statistiquesProcessus statistiques Perceptions floues Modèle global

Apprentissage et adaptation Conclusion

03 décembre 2002 13

Ensemble fini d’actionsProblème de diagnostic

Une action modifie l’évolution du système Une action peut être incertaine Dans DIATELIC :

« Observer » Reflète notre mauvaise connaissance de l’évolution

du patient Chaque état mène aux autres avec une probabilité

équivalente « Modifier le poids-sec »

Chaque état peut mener à tous les autres Probabilité égale pour chaque état Oublie le passé du patient

Introduction Processus statistiquesProcessus statistiques Perceptions floues Modèle global

Apprentissage et adaptation Conclusion

03 décembre 2002 14

Évolution du patientLe modèle DIATELIC

Introduction Processus statistiquesProcessus statistiques Perceptions floues Modèle global

Apprentissage et adaptation Conclusion

État normal

Déshydratation

Hyperhydratation

Poids-sec trop bas

Poids-sec trop haut

03 décembre 2002 15

Les perceptions

POMDP Observations discrètes DIATELIC : Observations continues

Poids Tension Tension différentielle Ultrafiltration

Adaptation nécessaire

Introduction Processus statistiques Perceptions flouesPerceptions floues Modèle global

Apprentissage et adaptation Conclusion

03 décembre 2002 16

Discrétisation des valeurs continues

Discrétisation par intervalles Effets de seuils gênants Beaucoup de paramètres

Utilisation de fonctions continues Expressivité très importante Forme paramétrique fixée Peut nécessiter beaucoup de paramètres

Introduction Processus statistiques Perceptions flouesPerceptions floues Modèle global

Apprentissage et adaptation Conclusion

03 décembre 2002 17

Perceptions floues Peu d’intervalles

Sémantique claire Complexité faible

Transitions douces Pas d’effet de seuil Bonne tolérance au bruit

Filtrer les observations fv(O) = P(v | O) ; vV distribution de probabilités

Fonction d’observation : B* : VxS [0; 1] B (o,s) = ∑ B*(v, s).fv(o)

vV

Introduction Processus statistiques Perceptions flouesPerceptions floues Modèle global

Apprentissage et adaptation Conclusion

Valeur observée

Pro

babilité

du sy

mbole

03 décembre 2002 18

Expression du modèle perceptif Chaque état est décrit :

Par son influence sur les observations Indépendamment des autres états

Les capteurs sont supposés indépendants La valeur fournie par un capteur ne dépend que

de l’état du modèle Chaque capteur est décrit séparément

Introduction Processus statistiques Perceptions floues Modèle Modèle globalglobal

Apprentissage et adaptation Conclusion

03 décembre 2002 19

Quelques chiffres De nombreux paramètres :

Actions x Etats² probabilités de transition DIATELIC : 50 paramètres

Valeurs x Etats probabilités d’observation pour chaque capteur DIATELIC : 60 paramètres

DIATELIC : 40 paramètres libres Probabilités de transition fixées Contraintes sur les probabilités

Introduction Processus statistiques Perceptions floues Modèle Modèle globalglobal

Apprentissage et adaptation Conclusion

03 décembre 2002 20

Le profil–patient Un profil–patient contient donc

Son poids-sec Ses moyennes mobiles

Tension artérielle Débit moyen de chaque type de poche

Ses probabilités d’observation 41 paramètres à régler par patient !

Apprentissage d’un profil générique Apprentissage des variations

Introduction Processus statistiques Perceptions floues Modèle Modèle globalglobal

Apprentissage et adaptation Conclusion

03 décembre 2002 21

Apprentissage du profil

Apprentissage d’un profil générique Algorithme de Baum & Welsh

[Rabiner89] Etiquetage d’un corpus

Chaque donnée est étiquetée Le modèle est défini par des statistiques

Validation manuelle par les médecins Vérification de la sémantique Étude du diagnostic de cas connus

Introduction Processus statistiques Perceptions floues Modèle Modèle globalglobal

Apprentissage et adaptation Conclusion

03 décembre 2002 22

Calcul du diagnostic

Procédure Forward [Rabiner89] Prédiction

Estimation de l’état actuel Action en cours connue Projection sur l’état au temps suivant

Recalage Lecture de l’observation Calcul des états compatibles Affinage de la prédiction

Introduction Processus statistiques Perceptions floues Modèle Modèle globalglobal

Apprentissage et adaptation Conclusion

03 décembre 2002 23

Adaptation à un patient

En cas de désaccord du médecin A partir des données observées

Spécifique à un patient Permet un meilleur diagnostic futur

Avec l’aide d’un médecin Modification manuelle des paramètres Recherche automatique des paramètres Validation du modèle

Introduction Processus statistiques Perceptions floues Modèle global

Apprentissage et adaptationApprentissage et adaptation Conclusion

03 décembre 2002 24

Adaptation : un problème difficile

Les conditions théoriques optimales Chaque état est visité Un grand nombre de fois De façon représentative

La réalité Le patient évolue

Peu de données Les pathologies sont rares

Tous les états ne sont pas visités

Introduction Processus statistiques Perceptions floues Modèle global

Apprentissage et adaptationApprentissage et adaptation Conclusion

03 décembre 2002 25

Descente de gradient Minimise une distance entre

Le diagnostic calculé Le diagnostic corrigé

Maximise la robustesse Probabilité des observations connaissant

le modèle Critère de Baum & Welsh

Fonction complexe Optimisation sans dérivées Paramètres bornés

Introduction Processus statistiques Perceptions floues Modèle global

Apprentissage et adaptationApprentissage et adaptation Conclusion

03 décembre 2002 26

Descente de gradient en action

Introduction Processus statistiques Perceptions floues Modèle global

Apprentissage et adaptationApprentissage et adaptation Conclusion

03 décembre 2002 27

Une architecture générique

Introduction Processus statistiques Perceptions floues Modèle global

Apprentissage et adaptation ConclusionConclusion

EEGECGEMG

InjecterAnalgésiquesHypnotiquesCurarisants

Maintenir un niveau de sommeil optimal

Assistance à l’anesthésie

Profondeur de sommeil

de l’analgésie

DIATELICPoids

TensionUltrafiltration

DialyseMédicaments

Régime

Maintenir une

hydratation correcte

HydratationPoids-sec

Navigation en robotique

InfrarougesSonarsCaméra

AvancerReculerTourner

Atteindre une position

donnée

Position sur une carte

Applications Perceptions ActionsBut

recherchéEnvironnement

Localisation

03 décembre 2002 28

Conclusion

Une architecture logicielle Adaptée au diagnostic Basée sur l’observation

Valeurs discrètes Valeurs continues

Facilitant l’interaction avec un expert Expression du diagnostic Expression du modèle Correction du diagnostic

Introduction Processus statistiques Perceptions floues Modèle global

Apprentissage et adaptation ConclusionConclusion

03 décembre 2002 29

Perspectives

Planification Recommandation d’action Boucle fermée (à long terme)

Adaptation par prédiction Remplacer l’expert humain Utiliser une prédiction de l’observation

comme contrôle

Introduction Processus statistiques Perceptions floues Modèle global

Apprentissage et adaptation ConclusionConclusion

03 décembre 2002 30

Perspectives

Aspects continus Actions

Paramétriques Effet durable

Etats Gradient de sévérité Dynamique du processus

Introduction Processus statistiques Perceptions floues Modèle global

Apprentissage et adaptation ConclusionConclusion