Modèles de Markov Cachés(HidenMarkovModel)

Université des Sciences et de la Technologie d’Oran

Département d’informatique.2 ème année Master.

Option RFIA

Présenté par

MESTAR Kheira

Responsable du module

Mr BENYETTOU Mohamed

PLAN Introduction La chaine de markov  Historique Le modèle de markov caché Problèmes de base des hmm Algorithme de forward Algorithme de viterbi Domaine d’application Exemple détaillé Conclusion

INTRODUCTION

La notion de l’optimisation est un mécanisme par lequel on trouve la valeur Maximale ou minimale d’une fonction objectif. Cette optimisation permet de résoudre différents problèmes .

Dans ce rapport on va donner une approche théorique sur la méthode classique,HMM (le modèle de markov caché).

LA CHAINE DE MARKOV

Une chaîne de Markov est de manière générale un processus de Markov à temps discret et à espace d'états discret. En mathématiques, un processus de Markov est un processus stochastique possédant la propriété de Markov

HISTORIQUE

Les chaînes de Markov sont inventées par Andreï Markov: est un mathématicien russe, Ses travaux sur la théorie des probabilités l'ont amené à mettre au point les chaînes de Markov qui l'ont rendu célèbre. Il a publié les premiers résultats sur les chaînes de Markov à espace d'états fini en 1906.

La théorie des modèles de Markov cachés a été développée dans les années 1960 et début 1970

«modèle de Markov caché» a été inventé par Neuwirth.

UN PROCESSUS DE MARKOV

LE MODÈLE DE MARKOV CACHÉ Distribution de P d’observation d’un symbole à l’état

j:

Distribution des états initiaux:

Un HMM est décrit par:

PROBLÈMES DE BASE DES HMM

1. Évaluation:1. Problème: calculer la probabilité d’observation

de la séquence d’observations étant donnée un HMM:

2. Solution: Forward Algorithm

2. Décodage:1. Problème: trouver la séquence d’états qui

maximise la séquence d’observations2. Solution: Viterbi Algorithm

3. Entraînement: 1. Problème: ajuster les paramètres du modèle

HMM afin de maximiser la probabilité de générer une séquence d’observations à partir de données d’entraînement

2. Solution: Forward-Backward Algorithm

ALGORITHME DE FORWARD

1. Initialisation:

2. Induction:

3. Terminaison:

ALGORITHME DE VITERBI

1. Initialisation:

2. Induction:

3. Terminaison:

4.La suite d’états retenue:

ALGORITHME FORWARD-ACKWARD(L’ALGORITHME BAUM-WELCH)

Consiste à entraîner les paramètres du modèle HMM

Afin de maximiser la probabilité

DOMAINE D’APPLICATION

On général les HMM sont utilisés dans les domaines suivants :

Intelligence Artificielle : ex Reconnaissance de Formes (Reconnaissance de caractères, de la Parole).

Classification (apprentissage).

EXEMPLE DÉTAILLÉ

Dans cet exercice on suppose qu’on a modélisé via HMM les 2 phrases suivantes :

Reconnaissance des formes Reconnaissance digitale Pour cela chaque mot (reconnaissance, des,

formes, digitale) a été modélisé par un HMM, la quantification vectorielle a données les deux symboles suivants :

Reconnaissance :( HMM à 3 états les symboles observables «x  » et  « y»

Des :( HMM à 2 états les symboles « x» et «y »

Formes :( HMM à 2 états les symboles observables « x» et «y »

Digitale:( HMM à 2 états les symboles observables « » et « »

Après phase de prétraitement et segmentation d’un signal sonore, la phrase de codage a donnée les 2 mots suivants.

Question1 : Utilisez les modèles HMM afin de déduire la phrase reconnue.

On commence par quantifier les mots en symboles en utilisant les centroides obtenus lors de la phase de codage et la distance de hamming :

MOT1

Et donc la suite des symboles quantifiés pour le mot1 est « x y x »

Mot2 En appliquant le même calcule on obtient la

suite des symboles quantifiés pour le MOT2 est « y y »

On passe maintenant à la phase de reconnaissance, on utilise l’algorithme « forward » afin de déterminer quel est le modèle qui donne le plus de probabilité au mot à reconnaitre et donc déduire le mot reconnu

MOT1 : « «x y x »MOT2 : «  y y  »

Donc le mot reconnu pour «Mot1 » est le max des Pλn (0.25 , 0 , 0, 0.142) et qui est 0.25 donc le mot reconnu est « Reconnaissance » avec une probabilité de 0.25.

On fait la méme chose avec le Mot2 « y y » Et donc Pλ1 (yy)=0+0=0

Et donc Pλ2 (yy)=0+0=0

Et donc Pλ3 (yy)=0+1=1

Et donc Pλ4 (yy)=0.104+0.126=0.23 Donc le mot reconnu pour «Mot2 » est le max des

Pλn (0 , 0 , 1, 0.23) et qui est 1 donc le mot reconnu est « Formes » avec une probabilité de 1

On déduit que la phrase reconnue est « reconnaissance formes » en utilisant les modèle HMM présentés qui correspond à une phrase syntaxiquement fausse

Cependant il est plus courant d’utiliser l’algorithme de viterbi qui donne la probabilité du meilleur chemin au lieu de l’algorithme forward (qui donne la somme des probabilités de tous les chemins possibles).

CONCLUSION

Les applications de HMM prouvent que cet outil reste est Efficace, Performant et Un outil Puissant pour la modélisation.

 

BIBLIOGRAPHIE

[Chr 2009]--Apprentissage et reconnaissance, Professeur : Christian Gagné, Univ-LAVAL, 2009.

[Mar 2008] -Hidden Markov Models, Martin Sewell, Department of Computer Science University College London, August 2008.

[Phi 2001]-Modèles Graphiques HMM & RB Temporels, Philippe.Leray, 2001.

[Gos2000]- Classification et Reconnaissance Statistique de Formes, Notes de Cours, Faculté Polytechnique de Mons - B. Gosselin, 2000.

[Rab1986]- (Rabiner, 1986) L. R. Rabiner, “An introduction to Hidden Markov Models“, IEEE ASSP Magazine, pp :4-16, Jan. 1986.

[Rab1989]- (Rabiner, 1989) L. R. Rabiner, “A Tutorial on

Hidden Markov Models and selected applications in speech recognition“, Proceedings of IEEE, Vol. 77, N°2, pp:257-286, Feb. 1989.