TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs...

33
TASFR T30527-b-fr Contrôle de la conformité des comportements individuels d’agents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick Taillibert 23/25 Novembre 2005 – JFSMA’05 (Calais)

Transcript of TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs...

Page 1: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

TASFR

T30527-b-fr

Contrôle de la conformité des comportements individuels d’agents cognitifs autonomes

Caroline Chopinaud Amal El Fallah Seghrouchni

Patrick Taillibert23/25 Novembre 2005 – JFSMA’05 (Calais)

Page 2: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

2

Contexte et Problématique

Systèmes critiques Systèmes embarqués, temps réels Conception au moyen des systèmes multiagents

Confiance dans le comportement du SMA En accord avec les spécifications Pas de comportements inattendus.

Page 3: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

3

Problème de confiance

Caractère imprévisible des SMA

Autonomie des agents Prendre seul ses décisions [Barber 99]

Émergence du comportement du système Comportements attendus Comportements inattendus

Possible échec de l’application

Apparition de comportements indésirables

Page 4: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

4

Problème supplémentaire

Bugs du système Vérification classique pas sûre à 100%

Model Checking sur un modèle du système (très coûteux) Tests non exhaustifs Démonstration automatique lourde et complexe

SMA accroît les difficultés de validation Modélisation (explosion d’états)

Indéterminisme Distribution Communication asynchrone

Apparition d’erreurs en conditions réelle d’exécution

Page 5: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

5

Objectif!

Garantir qu’un SMA ne génèrera pas de comportements

indésirables

Page 6: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

6

Plan de l’exposé

Le contrôle d’agent

La description du contrôle

Génération des agents autocontrôlés

Page 7: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

7

Le contrôle d’agent

3 étapes :

Surveillance du comportement des agents

Détection des comportements indésirables

Régulation du comportement des agents problématiques

Page 8: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

8

Surveillance du comportement

Monitoring (software) : Observation et compréhension du comportement

d’un programme au cours de son exécution Instrumentation des programmes pour observer

les événements Insertion de sondes logicielles Manuelle ou automatique

Instrumentation automatique Comportement des agents Facilite le travail du développeur Réduit le risque d’erreur

Page 9: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

9

Le contrôle d’agent

3 étapes :

Surveillance du comportement des agents

Détection des comportements indésirables

Régulation du comportement des agents problématiques

Page 10: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

10

Détection des comportements indésirables (1)

Normes

Définition des comportements ou des situations idéales

Contraintes/indications sur le comportement Éviter des conflits Restreindre les possibilités d’action des agents Confiance entre les agents

Accepter et respecter les normes au moment de la prise de décision

Page 11: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

11

Détection des comportementsindésirables (2)

Utilisation de lois Normes non prises en compte au moment de la

prise de décision Séparation de la définition du contrôle et de

l’implémentation des agents

Matérialisent les exigences significatives du fonctionnement du système

Définissent les comportements souhaités ou redoutés

Détection de transgression des lois

Page 12: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

12

Le contrôle d’agent

3 étapes :

Surveillance du comportement des agents

Détection des comportements indésirables

Régulation du comportement des agents problématiques

Page 13: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

13

Régulation du comportement

Effectuée par les agents eux-mêmes Capacité de raisonnement Informations de transgression

Stratégie de régulation Fournie par le développeur Associée à la transgression d’une loi

Page 14: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

14

Plan de l’exposé

Le contrôle d’agent

La description du contrôle

La génération des agents autocontrôlés

Page 15: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

15

Description des lois

Fournit un ensemble de concepts de base Utilisés dans les lois Utilisés pour décrire l’application et le modèle

d’agent Étendus pour raffiner la description

Par le concepteur du modèle et de l’application Reliés à l’implémentation du modèle d’agent

Définition de liens par les concepteurs

Fournit un langage de lois Description d’actions ou d’états

Redoutés Souhaités

Notion de temps ou de relation temporelle

Page 16: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

16

Concepts de base

Agent Caractéristique

Message Objet But Plan Connaissance

Action CreationAgent ReceptionMessage EnvoiMessage Migration

Page 17: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

17

Langage de description (1)

Opérateurs déontiques. Interdiction (FORBIDDEN) Obligation (OBLIGED)

Actions Agent do Action Action ou changement de valeur d’une Caractéristique

Etats Agent be State Etat résultant d’une Action ou valeur d’une Caractéristique

Notion temporelle BEFORE/AFTER (une action ou un temps) IF (un état)

Enchaînement d’actions/états THEN

Conjonction d’actions/états AND

Page 18: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

18

Langage de description (2)

Sémantique

Logique déontique dynamique [Meyer85] Variante de la logique déontique [vonWright51]

Logique modale Obligation / Interdiction / Permission / Facultatif Exprime la différence en l’idéal et le réel (violation)

Relation temporelle entre actions et états du monde

Page 19: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

19

Langage de description (3)

Logique déontique dynamique Soit A1,A2 des actions et E, un état du monde

A1 ; A2 : A1 est suivie de A2 A1 & A2 : A1 et A2 sont simultanées E A1/A2 : si E alors A1 sinon A2 A1 U A2 : A1 ou A2 A1 : not A1

[A1]E : E est vrai après l’exécution de A1 <A1>E : Il existe un moyen d’exécuter A1 pour que

E soit vraie

F : Interdiction O : Obligation P : Permission

Page 20: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

20

Langage de description (4)

Sous ensemble de la logique déontique dynamique Ne permet pas d’exprimer

Permission Négation d’opérateurs déontiques <A>E A1 U A2

Permet d’exprimer des lois du type:

FORBIDDEN (agt do EnvoiMessage) AFTER (agt do EnvoiMessage) AND BEFORE (1)

FORBIDDEN (agA do Migration) IF (agB be Migration)

OBLIGED (agA do EnvoiMessage and content = ‘A’) AND (agA do EnvoiMessage and content = ‘B’)

Page 21: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

21

Plan de l’exposé

Le contrôle d’agent

La description du contrôle

La génération des agents autocontrôlés

Page 22: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

22

Agent autocontrôlés (1)

Génération automatique à partir de Programme de comportement Ensemble de lois associées Liens entre les concepts et l’implémentation

Autocontrôle Principe de l’observateur Architecture d’agent spécifique

Page 23: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

23

Principe de l’observateur

PROGRAMME SOUS

SURVEILLANCEMODELE

CONTROLEUR

CONNEXIONS

Page 24: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

24

Principe de l’observateur

MODELEPROGRAMME

Début S1

Début S2

Fin S1

Fin S2

Page 25: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

25

Agent autocontrôlé (2)

Principe de l’observateur [Diaz 1994]

Installer au sein des agents Modélisation des lois sous forme de réseau de

Petri Relier les lois au programme des agents par des

points de contrôle

Page 26: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

26

Génération automatique (1)

Insertion des points de contrôle (instrumentation)

Utilisation du tissage Principe de la programmation par aspect [Wampler

2003] Injection de code à partir de la définition de point de

jonction.

Au niveau des événements décrits dans les lois A partir de la description des liens

concepts/implémentation

Page 27: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

27

Génération automatique (2)

Génération automatique du réseau de Petri.

LOI

{Réseaux de Petri}

RESEAU DE PETRI

Utilisation d’une table de correspondance langage/réseau de Petri

Page 28: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

28

Génération automatique (3)

FORBIDDEN (ACT2) AFTER (ACT1) AND BEFORE (1)[ACT1]F(ACT2)[time(ACT1,1)]

ACT1 ACT2

[1,1]

[ACT1] [time(1)] F(ACT2)

[ACT1]…[time(ACT1,1)]

Page 29: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

29

Architecture de contrôle

Partie Comportement

Partie Contrôle

Informations

Infos transgression

Stratégies deRégulation

ComportementSurveillance ducomportement

Détection de transgression

Page 30: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

30

Fonctionnement du contrôle

ClauseAction1(…)PC(EV1)………PC(EV2)ClauseAction2(…)

Code de l’agent

[1,1]

Information de transgression

FORBIDDEN (agent do action2) after (agent do action1) andbefore (1)

Page 31: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

31

Conclusion

Contrôle d’agent Au moyen des lois Effectué par les agents eux-mêmes

Concepts de base pour décrire le système Langage de description des concepts Langage de description des liens concepts/code

Langage de description des lois Générateur d’agent

Instrumentation du code par tissage pour détecter les événements décrit dans les lois

Génération de réseau de Petri représentant la loi pour vérifier son respect grâce à la méthode de l’observateur

Page 32: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

32

Perspectives

Application à des lois multiagents (contrôle distribué) Répartition des réseaux de Petri entre les agents Echange entre les parties contrôle pour détecter les

transgressions (flux des jetons)

Implémentation du framework SCAAR Le langage de loi Les langages de descriptions des concepts et des liens Le générateur d’agent (instrumentation et architecture

de contrôle)

Régulation des comportements

Page 33: TASFR T30527-b-fr Contrôle de la conformité des comportements individuels dagents cognitifs autonomes Caroline Chopinaud Amal El Fallah Seghrouchni Patrick.

33

…MERCI!!!

Fin…