Modèles à Événements Discrets - · PDF fileLe comportement...

Modèles à Événements DiscretsRéseaux de Petri Stochastiques

Leonardo [email protected]

www.lsis.org/brennerl

LSIS - Laboratoire des Sciences de l’Information et des Systèmes

Table des matières

1 Chaînes de MarkovDéfinition formelleIdée généraleDiscrete Time Markov ChainsContinuous Time Markov ChainsPropriétésAnalyse de Performance

2 Réseaux de Petri StochastiquesIdée generaleTypes de Réseaux de Petri StochastiquesGraphe d’atteignabilitéMatrice de transitionIndices de performancesExercices

Leonardo Brenner (LSIS) Modèles à Événements Discrets 2 / 37

Chaînes de Markov

Table des matières




Chaînes de Markov Définition formelle

Chaînes de Markov

Définition formelle

Un processus stochastique {X(t), t ≥ 0} forme une chaîne de Markov àtemps continu si pour tous les entiers n, et pour n’importe quelle séquencet0, t1, ..., tn, tn+1 telle que t0 < t1 < ... < tn < tn+1, on a

Prob{X(tn+1) = xn+1|X(t0) = x0,X(t1) = x1, ...,X(tn) = xn}

= Prob{X(tn+1 = xn+1|X(tn) = xn}

Probabilités de transition

À partir du processus stochastique Prob{X(tn+1 = xn+1|X(tn) = xn} on peutécrire les probabilités de transition d’une chaîne de Markov à temps continu etnon-homogène par :

pij(s, t) = Prob{X(t) = j|X(s) = i}

où X(t) est l’état de la chaîne de Markov dans le temps t ≥ s


Chaînes de Markov Idée générale

Chaînes de Markov

Pourquoi étudier ce modèle ?

Formalisme classique ;

Avantage : simplicité et facilité d’utilisation ;

Problème : quasiment impossible d’envisager une modélisation directepour de grands systèmes.

Les propriétés mathématiques facilitent l’analyse des performances.

Modélisation par des Chaînes de Markov

Représentation du système en terme d’états/transitions ;

La dynamique du système est représentée par une matrice de transition ;

Échelles de temps :Temps continu, distribution exponentielle, taux de transition ;Temps discret, distribution géométrique, probabilités de transition.



Chaînes de Markov

Définition

Une chaîne de Markov est une suite de variables aléatoires (Xn, n ∈ N) quipermet de modéliser l’évolution discrète et dynamique d’un systèmealéatoire : Xn représente l’état du système à l’instant n.

Propriété de Markov

La propriété fondamentale des chaînes de Markov, dite propriété de Markov,est que son évolution future ne dépende du passé que au travers de sa valeuractuelle.

Autrement dit, (Xo, ...,Xn) et (Xn+k , k ∈ N) sont indépendants en relation à Xn.



Chaînes de Markov

Représentation graphique

R S

E

b

dc

a

R (reveillé), S (sommeil) et E (endormi) sont des états ;

a, b, c et d sont des taux ou probabilités de transition.


Chaînes de Markov Discrete Time Markov Chains

Chaînes de Markov à temps discret - DTMC

Présentation

Dans une chaîne de Markov à temps discret, on observe l’état du systèmedans un ensemble discret du temps. Autrement dit, l’intervalle de temps entrechaque observation est constant.

Intervalle d’observation

Un important paramètre dans le DTMC est le choix de l’intervalle de tempsentre les observations :

Un intervalle trop petit ne permet pas d’observer des changements d’état.

Un intervalle trop grand permet de multiples changements d’état entrechaque observation.


Chaînes de Markov Discrete Time Markov Chains

Chaînes de Markov à temps discret - DTMC

Étudiant endormi

R S

E

0.3

0.9

0.5

0.6

Matrice de transition

P =???

P est une matrice stochastique si la somme de chaque ligne est égal 1.


Chaînes de Markov Continuous Time Markov Chains

Chaînes de Markov à temps continu - CTMC

Présentation

Dans une chaîne de Markov à temps continu, le changement d’état peut seproduire dans n’importe quel point dans le temps.

Ces points sont aléatoires et pas nécessairement entiers.

Intervalle de temps

L’intervalle de temps entre chaque changement d’état suit une variableexponentielle dont le taux dépend uniquement de l’état courant du système.



Rappels lois exponentielles

X variable aléatoire à valeur dans R≥0

Distribution sur R≥0

Densité de probabilité : f : R≥0 → R≥0 telle que∫

R≥0f (t)dt = 1

Fonction de répartition : F (x) = P(X ≤ x) =∫ x

t=0 f (t)dt

Propriété “sans mémoire”

On cherche une distribution de probabilité vérifiant la propriété :

P(X > s + t | X > t) = P(X > s)

Solutions de cette équation : les lois exponentielles



Rappels lois exponentielles (2)

Lois exponentielles

Paramètre λ ∈ R>0

Densité de probabilité : f (t) = λe−λt

Fonction de répartition : F (x) = P(X ≤ x) = 1 − e−λx

Densité de probabilité Fonction de répartition

Propriétés

loi sans mémoire

Espérance (valeur moyenne) = 1λ



Chaînes de Markov à temps continu - CTMC

Étudiant endormi

R S

E

2

64

3


Q =???


Chaînes de Markov Propriétés

Propriétés

Irreductibilité

état accessible : Un état j est dit accessible à partir d’un état i (i → j) si àpartir de l’état i on peut arriver à l’état j avec une probabilité non-nulle.

état communicant : Un état i est dit communicant avec l’état j (i ↔ j) sii → j et j → i. Un ensemble d’états C est une classe communicante sitous les états dans C communique avec tous les autres et aucun étatdans C communique avec un état en dehors de C.

Chaîne de Markov irréductible

Une chaîne de Markov est dite irréductible si son espace d’états est formé parune seule classe communicante. Autrement dit, s’il est possible d’atteindren’importe quel état à partir d’un état quelconque.



Propriétés

Periodicité

état périodique : Un état i a une période k si tout retour à l’état i doit avoirlieu dans un nombre de pas multiple de k (k > 1).

état apériodique : Si k = 1, alors l’état est dit apériodique.

Chaîne de Markov apériodique

Une chaîne de Markov est apériodique si tous les états sont aperiodiques. Ilsuffit d’un seul état apériodique pour que tous les états d’une chaîne deMarkov irréductible soient aperiodiques.



Propriétés

Récurrence

état transitoire : un état i est dit transitoire si, étant donné qu’oncommence par l’état i, il y a une probabilité non-nulle de ne plus jamaisretourner à l’état i.

état récurrent : un état i est récurrent s’il n’est pas un état transitoire.

état absorbant : un état i est dit absorbant s’il est impossible de sortir decet état.



Propriétés

Ergodicité

état ergodique : un état i est dit ergodique s’il est apériodique etrécurrent.

Chaîne de Markov ergodique

Une chaîne de Markov est ergodique si elle est apériodique, et si tous sesétats sont ergodiques.


Chaînes de Markov Analyse de Performance

Analyse de performance

Type d’analyse

Transitoire : évolution du comportement du système (dépendant dutemps et de l’état initial) ;

Stationnaire : comportement moyen du système (independant du tempset de l’état initial).

L’analyse transitoire nous permet d’observer l’évolution d’un système dans letemps à partir d’un état initial. Ces systèmes ont tendance à aller vers un com-portement stationnaire, indépendant de l’état initial et du temps.

Évolution du système

. . .

. . .

. . .0

0

1

1 3

Probabilité

2 t

Régime stationnaire

Temps∞

de l’état xπ[x ]



Analyse de performance : cas ergodique

On considère des chaînes de Markov ergodiques

Discrete Time Markov Chain

On note Q la matrice de transition.Le comportement en régime stationnaire est caractérisé par une distributionde probabilités π, vecteur de taille n (nb d’états de la chaîne de Markov),vérifiant :

∑

i πi = 1

π.Q = π

Continuous Time Markov Chain

On note Q la matrice de transition.Le comportement en régime stationnaire est caractérisé par une distributionde probabilités π, vecteur de taille n (nb d’états de la chaîne de Markov),vérifiant :

∑

i πi = 1

π.Q = 0



Exercice - Chaînes de Markov

PageRank (simplifié)

PageRank est l’algorithme d’analyse des liens concourant au système declassement des pages Web utilisé par le moteur de recherche Google. Ilmesure quantitativement la popularité d’une page web.

Fonctionnement

Le principe de base est d’attribuer à chaque page une valeur proportionnelleau nombre de fois que passerait par cette page un utilisateur parcourant legraphe du Web en cliquant aléatoirement, sur un des liens apparaissant surchaque page.Chaque lien d’une page vers une autre correspond à une transition. Chaquepage représente un état.



Exercice - Chaînes de Markov

Exercice

Considerez un ensemble de 4 pages web. Chaque page a les liens suivants :

Page 1 : 2 et 3

Page 2 : 3 et 4

Page 3 : 1, 2 et 4

Page 4 : 1 et 2

Donnez la chaîne de Markov, la matrice de transition et le PageRank dechaque page.


Réseaux de Petri Stochastiques

Table des matières




Réseaux de Petri Stochastiques Idée generale

Réseaux de Petri Stochastiques

Définition générale

Un réseau de Petri stochastique est un réseau de Petri dans lequel les tempsde franchissement des transitions sont générés par des variables aléatoiresde distributions données quelconques à support dans [0,∞).

Motivations

Permet de modéliser des tâches avec des temps d’exécution nondeterminites

Possibilité de prendre en compte des pannes aléatoires

...

Pourquoi utiliser des RdPS ?

ils permettent de modéliser et spécifier le comportement du systèmeétudié

de valider le modèle

d’évaluer le modèle (simulation ou calcul numérique)


Réseaux de Petri Stochastiques Types de Réseaux de Petri Stochastiques

Differents Réseaux de Petri Stochastiques

Cas général

Le comportement dynamique d’un réseau de Petri stochastique est décrit autravers de processus stochastiques :

A chaque transtion t, on associe un processus stochastique{Xt(k), k = 1, ..,∞}, où Xt (k) est une variable aléatoire correspondant au kme

temps de franchissement de la transition t.

Independance des variables

Les Xt (k) pour k = 1, ..,∞ sont des distributions identiques et indépendantes.Les séquences {Xt (k), k = 1, ..,∞} pour tout t ∈ T , sont mutuellementindépendantes.



Réseaux de Petri Stochastiques - Distributionexponentielle

Réseaux de Petri Stochastiques / Stochastic Petri Nets (SPN)

RdP temporisé dans lequel les temps d’exécution des transitions sontreprésentés par des variables aléatoires de distributions exponentielles.

Réseaux de Petri Stochastiques Généralisés / Generalized Stochastic PetriNet (GSPN)

RdP dans lequel le franchissement de certaines transitions est immédiat, etles temps d’exécution des autres transitions sont représentés par desvariables aléatoires de distributions exponentielles.

Réseaux de Petri Stochastiques et déterministes / Deterministic andStochastic Petri Net (SPN)

C’est une extension des GSPN dans laquelle les temps d’exécution destranstions temporisées sont déterministes ou représentés par des variablesaléatoires de distributions exponentielles.



Définition formelle

Définition

Soit SPN = (P,T ,Pre,Post ,M0,Λ) un réseau de Petri stochastique où :

P est un ensemble fini de places ;

T est un ensemble fini de transitions ;

Pre et Post sont, respectivement, les matrices d’incidence avant etaprès ;

M0 est le marquage initial ;

Λ = (λ1, .., λ|T |) où λi est le taux associé à la transition ti (paramètre de laloi exponentielle).

Rappel : le taux est l’inverse de la moyenne des temps de franchissement.



Hypothèses necessaires

Hypothèses

Les taux associés aux transitions sont indépendants du marquage ;

Chaque transition correspond à un serveur unique (pas de transitionsmultiples au même instant) ;

On choisit une politique concurrentielle (pas de reservations de tokens).



RdPS - Exemple

Étudiant endormi

P1

P2P3

t1

t3

t4

t2

Transition Taux

t1 3

t2 2

t3 4

t4 6


Réseaux de Petri Stochastiques Graphe d’atteignabilité

Grafe d’atteignabilité

Propriétés

Le graphe d’atteignabilité d’un SPN est identique à celui du réseau dePetri non temporisé correspondant.

Un SPN est isomorphe à une chaîne de Markov à temps continu(CTMC). En particulier, un SPN k-borné est isomorphe à une CTMC finie.

Construction de la CTMC

Le graphe d’atteignabilité, valué par les taux correspondant au franchissementdes transitions, définit le générateur d’un processus markovien homogéne. LaCTMC associée à un RdPS donné est donc obtenue en appliquant les règlessuivantes :

1 l’espace d’états de la CTMC S = {si}correspond à l’ensemble desmarquages atteignables à partir de M0 (i.e. R(M0)) du réseau de Petri ;

2 Les taux pour passer de l’état si (correspondant à Mi ) à l’état sj (Mj) estobtenu en sommant tous les taux de franchissement des transitions quipermettent de passer de Mi à Mj .


Réseaux de Petri Stochastiques Graphe d’atteignabilité

SPN → CTMC : exemple

Étudiant endormi

1,0,0 0,1,0

0,0,16

4

1,0,0 0,1,0

0,0,1

3

2

t1

t3

t2

t4

2 étudiants

Comment modeliser le comportement de deux étudiants ?


Réseaux de Petri Stochastiques Matrice de transition


Matrice de transition Q

La matrice de transition Q (appelée aussi générateur du processusmarkovien) est obtenue ainsi :

qij =

{

∑

k/tk∈Ej(Mi )λk si i 6= j

−qi si i = j

où

qi =∑

k/tk∈E(Mi )λk

E(Mi ) : ensemble des transitions franchissables à partir du marquage Mi

Ej(Mi ) : ensemble des transitions de E(Mi) permettant d’obtenir Mj

Construisez la matrice de transition de l’exemple précédent pour 2 étudiants.


Réseaux de Petri Stochastiques Indices de performances

Indices de performances

Temps de séjour

Le temps de séjour suit une loi exponentielle de taux qi (la somme des tauxde toutes les transitions possibles). On a donc :

La probabilité de franchir en premier tj ∈ E(Mi ) à partir de Mi est égal à λj

qi

Le temps de séjour moyen dans la marquage Mi est égal à 1qi

Probabilités en régime stationnaire

La distribution de probabilité des états d’un SPN en régime stationnaire estreprésentée par un vecteur π = (π1, .., πs) = (π(M1), .., π(Ms)) de dimensions, où s correspond au nombre de marquages du SPN.Si le SPN est ergodique, π est obtenu en résolvant le système suivant :

{

πQ = 0∑s

i=1 πi = 1




Fonction indice

On peut associer à chaque marquage une fonction indice (ou récompense)r(M). Cette fonction associe le marquage à la probabilité d’état correspondantau marquage. L’indice moyen est defini par :

R =∑

i/Mi∈R(M0)

r(Mi )πi

Probabilité d’une condition particulière

Si γ(M) est vraie uniquement dans certains marquages du SPN, on peutdéfinir une fonction indice tel que :

r(M) =

{

1 si γ(M) est vraie0 sinon

on définit alors : P(γ) =∑

i|Mi∈A πi = R où A = {Mi ∈ R(M0) | γ(Mi)vraie}




Nombre moyen de jetons

Pour calculer le nombre moyen de jetons, on définit la fonction indice tel que :

r(M) = n ssi M(Pi ) = n

On obtient ainsi :

E(M(Pi )) =∑

n>0

nP{A(i, n)} où A(i, n) = {Mj ∈ R(M0)/Mj(Pi) = n}

Nombre moyen de franchissement

Le nombre moyen de franchissement par unité de temps pour une transition tiest défini par :

Fi =∑

j|Mj∈Ai

λi

qj

πj

où Ai = {Mj ∈ R(M0) | ti ∈ E(Mj)}


Réseaux de Petri Stochastiques Exercices

Ordinateur à memoire partagée

Problème

Considérez un ordinateur avec 4 processeurs et une seule mémoire partagéeentre ces processeurs. Chaque processeur peut être dans les états suivants :Calcul, Attente et Memoire.A chaque fois que le calcul se termine, le processeur passe à l’état d’attentepour pouvoir accéder à la mémoire et récupérer de nouvelles données. Unseul processeur peut accéder à la mémoire à la fois. Lorsqu’il a les nouvellesdonnées, il reprend le calcul.Considérez les taux suivants :

Transition TauxC -> A 5A -> M 10M -> C 5

Quelle est la probabilité qu’un seul processeur soit dans l’état d’attente ?Combien de processeurs peut-on mettre dans cet ordinateur sans perdre deperformances ?



Test de logiciel

Problème

Imaginez un logiciel pour lire et convertir de la musique MP3. L’interface dulogiciel est composée de trois boutons : Ouverture, lecture et conversion.L’utilisateur ne peut pas commencer la lecture ou la conversion avant d’ouvrirle fichier. Toutefois, il peut ouvrir un nouveau fichier lorsqu’il est en train de lireou de convertir un fichier.Chaque boutons déclenche une fonction différente du logiciel. Nous voulonstester exhaustivement chacune des trois fonction du logiciel, mais nousn’avons que la possibilité d’en tester deux. Quelles sont les fonctions plusutilisées ?



Chaîne de production

Problème

Considérez une chaîne de production composée de deux machines reliée parun convoyer.La première machine (machine A) produit une pièce à chaque 5 minutes. Ladeuxième machine (machine B) vérifie la pièce produite par la machine A. Lavérification dure 7 minutes. Chaque machine ne peut produire/vérifier qu’unpièce à la fois.Le convoyer que reliée la machine A à la machine B prendre en moyenne 1minute pour transporter une pièce et il a une capacité de 2 pièces.

Quel est ...

le taux d’occupation de chaque machine ?

ou est le goulot de cette chaîne ?

comment optimiser la chaîne ?


Modèles à Événements Discrets - · PDF fileLe comportement...

Documents

Transcript of Modèles à Événements Discrets - · PDF fileLe comportement...