Motivations Introduction aux systèmes multi-agent (SMA)jq/IntCollective6.pdf · multi-agent (SMA)...

1

Introduction aux systèmesmulti-agent (SMA)

Joël QuinquetonLIRMM et CERIC

Montpellier, France

12/01/05 DESS Multimedia 2

Motivations• Première définition

– SMA: un système dans lesquels des agents artificielsopèrent collectivement et de façon décentralisée pouraccomplir une tâche.


Sources du Cours

• Réf: J. Ferber, "Les systèmes multi agents",InterEditions, 1995

• d'après Tutorial Ferber & Gasser, Avignon 91• d'après cours en ligne Alexis Drogoul, LIP6

http://www-poleia.lip6.fr/~drogoul/• D’après le cours de Catherine Garbay (TIMC-IMAG),

avec son aimable autorisation


Agent: définition (Ferber 91)

• Entité physique ou virtuelle– mue par un ensemble de tendances (objectifs

individuels, fonction de satisfaction ou de survie àoptimiser)

– possède des ressources propres– ne dispose que d'une représentation partielle

(éventuellement aucune) de son environnement– comportement tendant à satisfaire ses objectifs,

en tenant compte de ses ressources et de sescompétences, et en fonction de sa perception,ses représentations et ses communications


Plusieurs types d’agents

• Selon qu’ils peuvent, ou non:– communiquer directement avec d'autres agents– agir dans un environnement– percevoir (éventuellement de manière limitée) son

environnement– se reproduire– posséder des compétences et offrir des services

• Agents situés vs communiquants• Agents cognitifs vs réactifs


Situé ou Communiquant (1)

• Agent purement situé:– l'environnement possède une métrique,– les agents sont situés à une position dans

l'environnement qui détermine ce qu'ilsperçoivent;

– ils peuvent se déplacer;– il n'y a pas communications directes entre

agents, elle se font via l'environnement

2



• Agent purement communiquant:– il n'y a pas d'environnement au sens

physique du terme,– les agents n'ont pas d'ancrage physique,– ils communiquent via des informations qui

circulent entre les agents



• Société de Fourmis– La résolution du problème s'inscrit

dans l'environnement physique et dansl'organisation physique trouvée par lesagents

• Réseau de décideurs– la résolution du problème s'inscrit dans

une structure conceptuelle et dans lesmodes de coopération entre agents

!"

#

#

!


Cognitifs ou Réactifs (1)• Agent cognitif:

– représentation explicite de l'environnement et des autresagents

– peut tenir compte de son passé et dispose d'un but explicite– mode "social" d'organisation (planification, engagement)– petit nombre d'agents (10/20), hétérogènes à gros grain

• Les relations entre agents s'établissent en fonctiondes collaborations nécessaires à la résolution duproblème


Agents cognitifs

Syst. Multi-Agent

Employé

Auteur dudocument

Auteurd’ontologie

Modèle de Connaissance: - Modèle d’Entreprise - Modèles d’utilisateurs

Agent dugroupe d’intérêts

RDFannotations

Agent del’auteur

Document

Agent del’utilisateur

Annotations

Document

Indexation

Mémoired’entreprise

MLTMLT MLT

ontologie RDF


Cognitifs ou Réactifs (2)

• Agent réactif:– pas de représentation explicite de l'environnement– pas de mémoire de son histoire, ni de but explicite– comportement de type stimulus réponse– mode "biologique "d'organisation– grand nombre d'agents (>100), homogènes à

grain fin• La structure du système émerge des

comportements et non d'une volontéd'organisation


Agents Réactifs (exemple)• Problème: un ensemble de robots doivent trouver du

minerai et le rapporter à la base

3


Règles de comportement

déposer le mineraije porte du minerai et je suis àla base

Déposer

retourner à la base etdéposer une marque

je porte du minerai et je ne suispas à la base

Rapporter

prendre un échantillon deminerai

je ne porte rien et je perçois duminerai

Trouver

se diriger vers cettemarque

je ne porte rien et je ne perçoisaucun minerai et je perçois unemarque

SuivreMarque

explorer de manièrealéatoire

je ne porte rien et je ne perçoisaucun minerai et je ne perçoisaucune marque

Explorer


Caractéristiques d’un SMA

• Un SMA peut-être :– ouvert : les agents y entrent et en sortent

librement (ex: un café)– fermé : l'ensemble d'agents reste le même (ex: un

match de football)– homogène : tous les agents sont construits sur le

même modèle (ex: une colonie de fourmis)– hétérogène : des agents de modèles différents,

de granularité différentes (ex: l'organisation d’uneentreprise)


Modes d'Organisations

• Organisation:• Façon dont le groupe est constitué pour pouvoir travailler

(pas de définition unifiée)– Décrit

• l'ensemble des composants, leur nature, leursresponsabilités, leurs besoins en ressource(processeurs) et leurs liens de communication oud'arrangement

• un ensemble de données à traiter (l'environnement)• un ensemble de tâches à réaliser

– Propriétés• définit un cadre pour l'interaction• produite par l'interaction entre les agents• peut être statique ou dynamique


L’intelligence de l’essaim

Swarm intelligenceQuand l’intelligence vient du collectif


Les coactones

• Toute substance chimique responsabled’une interaction entre deux organismes(Florkin)

• Phérormone, du grec pherein (transporter) ethormân (exciter)

• En Anglais pheromone• Substance spécifique d’une espèce.• Se trouve chez les insectes et les vertébrés


Les phérormones desinsectes

• Sexuelles:– papillon femelle bombyx mori (quelques molécules suffisent)– Papillon Porthetria dispar (capture des mâles)– Blatte Periplaneta americana (10-14µg)– Reine des abeilles: la « substance royale »

• transmise par échange de nourriture• attire les bourdons• inhibe l’ovogénèse chez les ouvrières

• Alarme et défense– Abeilles: acétate d’isoamyle– Fourmis: nombreuses substances

4


Les phérormones desvertébrés

• Marquage de territoire, reconnaissance de l ’espèce,accouplement

• Glandes à parfum du chevrotain porte musc• Civettone de la civette, du rat d’Amérique, chez des

canards, certaines tortues et des alligators• Daim, souris mâle• Chez les primates: lié à l’odorat, en débat

actuellement


Notion de Stigmergie• Les échanges d'informations passent par une

modification de l'environnement– concentrations locales de phéromones

• baptisé Stigmergie par P.P. Grassé en 1959– « La théorie de la Stigmergie : Essai d'interprétation du

comportement des termites constructeurs. », InsectesSociaux, 6, 1959, p. 41-80.

– stigma = piqûre– ergon = travail, œuvre– oeuvre stimulante: L'ouvrier ne dirige pas son travail, il est

guidé par lui.


Le comportement

• Regroupement des cadavres– Similaire au regroupement des copeaux chez les

termites– Pas de dépôt de phérormone nécessaire– Vision locale: on obtient plusieurs tas

• Recherche de nourriture– Ramener le plus efficacement possible de la

nourriture au nid– Dépôt de phérormone


Les araignées sociales

• ~15 espèces d’araignées sociales surquelques milliers

• Anelosimus eximius (Guyane française)– Partagent la même toile– Coopèrent pour

• élevage des petits,• capture et transport des proies

• Détection de régions dans des images– Construction collective de la toile


Une recherche du plus courtchemin

• Plus dephéromonesur le pluscourtchemin


S’adapter aux changements

5


Application en intelligenceartificielle

• Inspiré du comportement des fourmisréelles

• Travaux de Marco Dorigo depuis 1992:les Ant algorithms

• Les fourmis suivent de préférence leschemins riches en phéromone

• Retrouvent le plus court chemin en casd’obstacle


Modèle stochastique deDeneubourg et Goss (1989)

• 2 branches (s et l) et deux points de décision (1 et2). Probabilité Pis(t) de choisir la branche s au point ià l’instant t en fonction de la phéromone.

• La phéromone est fonction du flux de fourmis

!

pis (t) =(ts +" is (t))

#

(ts +" is (t))#

+ (ts +" il (t))#

!

d" is

dt= Npjs (t # ts )+ Npis (t)

!

d" il

dt= Npjl (t # r.ts )+ Npil (t)


Généralisation

• Feedback positif (auto catalytique)• La piste de phéromone est plus vite

reconstituée sur le plus court chemin• Toutes les fourmis vont

approximativement à la même vitesse


Le problème duvoyageur de commerce

• Trouver le chemin leplus court passantune fois et uneseule dans chaqueville

• N villes: N! cheminspossibles (3 millionspour 10 villes!)


Voyageur de commerce

• Chaque fourmi est un agent– Doté d’une mémoire de travail (liste des villes déjà visitées)– Se promène d’une ville à une autre– Choisit la ville suivante en fonction

• De la quantité de phéromone• D’une fonction décroissante de la distance

• Choix non déterministe• Chaque fourmi est autonome

– Elle part d’un sommet choisi au hasard


Déroulement• Au début: pas de phéromone

– Chaque fourmi va probablement vers le plus proche voisin

• Après un cycle– Chaque fourmi a trouvé un chemin

• Mise à jour de la phéromone le long du chemin• Inverse de la longueur du chemin

– Les aretes composant les chemins courtsselon choisies plus souvent en moyenne aucycle suivant

– Apprentissage par renforcement

6


La phéromone

• A chaque passage sur une arête a:– f(a) := (1-p)*f(a) + p*f0– p et f0 sont des paramètres

• Quand la fourmi a terminé le tour:– Évaporation de la phéromone– soit c le chemin trouvé– pour tout a dans c:– f(a) := (1-p)*f(a) + p/|c|,


Point fixe

• S’il n’y a de la phéromone que sur un chemin:– il n’y en aura jamais plus ailleurs– Choix déterministe: l’arête optimise f(a)p(a) car c’est la

seule avec f(a) > 0– Choix probabiliste: l’arête est choisie avec une probabilité 1

• Donc convergence dès que toutes les fourmischoisissent le même chemin– Le système peut être arrêté


Expérimentation

• 40 villes• 400 fourmis• Exposant b = 3• Evaporation p = 25%• Probabilité q = 25%• Phéromone f0 = 1.


Résultats

0

1000

2000

3000

4000

5000

6000

1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37

Série1

Série2

Série3

Série4

Série5

Série6


Vers une méta heuristique

• État interne d’une fourmi:– De quoi représenter une éventuelle

solution (même mauvaise)• Dépôt de phéromone:

– Une fois qu’une solution candidate esttrouvée

– Fonction de la qualité de la solution


Problèmes statiques• Voyageur de commerce• Quadratic assignment: placer des installations

– on donne des flots entre installations: min flot total• Affectation de tâches• vehicle routing

– Visite de tous les clients par une flotte de véhicules de livraison• Plus petite surséquence commune

– (L = {bcab, bccb, baab, acca} => baccab).• Coloration de graphe• Ordre séquentiel

– circuit hamiltonien de poids minimal sur un graphe orienté

7


Problèmes dynamiques

• Routage (orienté par les connections)dans les réseaux

• Routage sans connection (connection-less)

• D’après Marco Dorigo Gianni Di Caro andLuca M. Gambardella, Ant Algorithms forDiscrete Optimization, Artificial Life,Vol.5, No.3, pp. 137-172, 1999.


Théorie des jeux

• Le besoin de communication• Le dilemme du prisonnier

– chaque prisonnier peut avouer ou non– si aucun n’avoue : 2 ans– si les 2 avouent: 4 ans– si un seul avoue: il est libre et l’autre a 5

ans


Jeux à 2 joueurs

• Jeux symétriques• Jeu d’accord social ssi:

– x ou y >0 et , si x et y >0, alors x=y– u ou v négatif

y,yv,uJ1: d2

u,vx,xJ1: d1

J2: d2J2: d1


Dilemme des prisonniers

• x = -2, y = -4• u = -5, v = 0• Ce n’est pas un jeu d’accord social

-4,-40,-5J1: d2

-5,0-2,-2J1: d1

J2: d2J2: d1


Jeu de coordination

• x = y = 1• u = v = -1• C’est un jeu d’accord social

1,1-1,-1J1: d2

-1,-11,1J1: d1

J2: d2J2: d1


Jeu de coopération

• x = 1, y = -2• u = -3, v = 3• C’est un jeu d’accord social

-2,-23,-3J1: d2

-3,31,1J1: d1

J2: d2J2: d1

8


Equilibre de Nash

• Un jeu non coopératif décrit un cadreinstitutionnel dans lequel chaque joueurarrête seul ses choix sans consulter lesautres joueurs.

• L'équilibre de Nash décrit une issue d’un jeunon coopératif dans lequel aucun joueur n’aintérêt à modifier sa stratégie, compte tenudes stratégies des autres joueurs.


Définition• Soit un jeu non-coopératif à n joueurs, et s*= (s*1,...,s*n)

une combinaison de choix stratégiques de ces n joueurs– s*i est le choix stratégique du joueur i– s*i ∈ Si , l’ensemble des stratégies praticables par le joueur i.– ui (s*1,...,s*n) est le gain du joueur i lorsque s* est sélectionné.

• ∀si ∈ Si ui (s*1,… s*i,…s*n) > ui (s*1,… si,…s*n)


Optimum de Pareto

• Préférence au sens de Pareto >P:– Entre les états des agents d’un jeu– (u1,… ui,…un) >P (u’1,… u’i,…u’n) ssi ∀i ∈

[1,n], ui ≥ u’i• Optimum de Pareto: maximum de cette

relation• on ne peut augmenter le gain d’un

agent sans diminuer celui d’un autre


Dilemme des prisonniers

• équilibre de Nash: (d2,d2)• optimum de Pareto: (d1,d1)• Pour l’atteindre: suite de coups avec mémoire

-4,-40,-5J1: d2

-5,0-2,-2J1: d1

J2: d2J2: d1


Stratégies sur des suites (1)• Donnant-donnant : coopération au premier tour, puis stratégie

précédente du partenaire.• Majorité mou : choix majoritaire de l'adversaire, coopération si

égalité et au premier tour.• Rancunière : coopération, puis défection permanente si le

partenaire fait une fois défection• Donnant-donnant dur : coopération, sauf si le partenaire a

trahi une des 2 fois précédentes• Gentille : toujours coopérer• Périodique gentille : séquence cyclique de deux coopération,

puis une défection


Stratégies sur des suites (2)• Sondeur : séquence trahir, coopérer, coopérer• Lunatique : défection une fois sur deux en moyenne

(séquences aléatoires)• Méfiante : défection au premier tour, puis stratégie précédente

du partenaire• Majorité dur: choix majoritaire de l'adversaire, défection si

égalité et au premier tour.• Méchante : toujours faire défection• Périodique méchante : séquence cyclique de deux défections,

puis une coopération

9


Comparaison

• Donnant-donnant• Majorité-mou• Rancunière• Donnant-donnant-dur• Gentille• Périodique-gentille• Sondeur• Lunatique• Méfiante• Majorité-dur• Méchante• Périodique-méchante 12/01/05 DESS Multimedia 50

Tournoi du 50e anniversaire

• Chaque équipe pouvait soumettreplusieurs programmes

• Équipe Nick Jennings (Southampton)• Stratégie = séquence de 10 coups pour

se reconnaître– Si oui: stratégie maitre esclave– Si non: stratégie méchante


Perspective: satisfaction decontraintes

• Les jeux de coordination permettentd’exprimer des contraintes entrevaleurs de variables

• Il n’y a souvent pas d’équilibre de Nash(toutes les décisions se valent)

• Ce sont des jeux d’accord social• Une solution représente une loi sociale

(chaque joueur n’a plus qu’un choix)


Pour en savoir plus…• Numéro spécial de « pour la science »

– N° 314, Décembre 2003– Sur les phénomènes d’émergence

• « Intelligence Collective »– de E. Bonabeau, G. Théraulaz,– Editions Hermès, 1994

• « Swarm Intelligence »,– de E. Bonabeau, M. Dorigo, G. Théraulaz,– Oxford University Press, 1999– En Anglais

• « Ant Colony Optimization »– M. Dorigo , T Stützle– MIT Press, 2004


Sites Internet

• Site Starlogo:– http://education.mit.edu/starlogo/

• Site Madkit:– http://www.madkit.org/

• Mon mél– [email protected]

Motivations Introduction aux systèmes multi-agent (SMA)jq/IntCollective6.pdf · multi-agent (SMA)...

Documents

Transcript of Motivations Introduction aux systèmes multi-agent (SMA)jq/IntCollective6.pdf · multi-agent (SMA)...