Modélisation du jeu du poker par un réseau bayésien
Sandrine GUILMINEAUGeoffroy NOIZETASI4Juin 2001
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
2
PLAN
Présentation de l ’articleMise en œuvre pratiqueDémonstration
PRESENTATION
DE L'ARTICLE
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
4
Présentation de l ’article : plan
IntroductionLe Poker Five-Card StudUn réseau bayésien pour le pokerLa randomisationL ’expérimentationLe travail futur
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
5
Introduction
Le poker : idéal pour tester les raisonnements automates avec de l ’incertitude.
Incertitude due à : Hasard physique Information incomplète sur les mains des
adversaires Information limitée sur la technique des
adversaires
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
6
Le Poker Five-Card Stud : plan
Le jeuLa force des mainsLes chances du pot et probabilités
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
7
Le Poker Five-Card Stud :le jeu
1 : mise initiale. 2 : distribution de 5 cartes à chaque joueur
la 1ère carte est cachée. Les autres sont visibles (à tous les autres).
Chaque joueur parie après chaque carte distribuée. Il peut : Abandonner (fold) Suivre (call) Surenchérir (raise)
3 : A la fin, le joueur ayant la main la plus forte gagne en étalant son jeu.
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
8
Le Poker Five-Card Stud :la force des mains
Type de la main Probabilité
Quelconque 0,50156
Une paire 0,42257
Deux paires 0,04754
Un brelan 0,02110
Une suite (straight) 0,00355
Toutes les cartes de même couleur (flush) 0,00197
Une paire et un triple (full house) 0,00144
Un carré 0,00025
Une suite de même couleur (straight flush) 0,00001
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
9
Le Poker Five-Card Stud :Chance du pot et probabilités
Hypothèse: un joueur peut soit : abandonner, soit surenchérir.
Calcul (dans le cas de 2 joueurs): du pot, puis d ’un seuil pour prendre la décision d ’abandonner ou
de surenchérirseuil de probabilité pour lequel
p(abandonner)=p(surenchérir).
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
10
Le Poker Five-Card Stud :Chance du pot et probabilités
Procédure 1 : Calcul de la probabilité courante de
gagner 2 : Comparaison avec le seuil 3 : Décision
AbandonSurenchère
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
11
Que fait le BPP?
A partir des cartes visibles : calcul d ’une estimation de la probabilité de gain
Ignore : aspects physiques: tics, agitation nerveuse, dilatation
de la pupille... comportement courant à parier de son adversaire
Prend en compte tout au long du jeu: comportement à parier
-->pour apprendre à connaître son adversaire
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
12
Un réseau bayésien pour le poker : plan
La structure du réseauLes types de mainLes matrices de probabilité conditionnelle
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
13
Structure du réseau bayésien
Le BPP (Bayesien Poker Program)
modélise des relations entre le : type de la main courante type de la main finale comportement adverse
Structure du réseau maintenue pour les 4 tours du jeu (après la distribution de 2, 3, 4 et 5 cartes)
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
14
Structure du réseau bayésien
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
15
Le réseau bayésien: les types de main
Les nœuds représentent les types de main.
Chaque nœud est initialisé par une valeur correspondant à une des 17 catégories de mains finales
de 1 à 6: busted (low, medium, dame, roi, as)de 7 à 12: pairepuis 2 paires, brelan, suite, flush, full house, carré
et straight flush
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
16
Le réseau bayésien : matrices de probabilité conditionnelle
4 matrices d ’action MA/C : reporte les probabilités de passer ou de surenchérir, connaissant la main courante de l ’adversaire. Mises à jour tout au long du jeu
4 matrices MU/C : donnent la probabilité conditionnelle d ’avoir une certaine carte visible sachant la main courante de l ’adversaire
4 matrices MC/F : donnent la probabilité conditionnelle de chaque type de main partielle, sachant la main finale.
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
17
La randomisation: plan
Les courbes de pariLe bluff
randomisation: Fait d'introduire un élément aléatoire dans un calcul ou dans un raisonnement
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
18
La randomisation:courbes de pari
Seuil tel que p(abandonner) = p(surenchérir) Si p > seuil -> surenchérir Si p < seuil -> abandonner
Manière trop simple de jouer que les autres joueurs vont vite détecter. ->Introduction de courbes de pari
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
19
La randomisation:courbes de pari
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
20
La randomisation:le bluff
Bluff : représentation erronée intentionnelle de la force d'une main surestimation sous-estimation
-> Créer de l'incertitude sur la pensée de l'adversaire grâce à la randomisation introduite par les courbes de pari
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
21
L'expérimentation
4 types d'adversaires : automate basé sur les probabilités automate basé sur des règles plus pointues combinaison d'humains humain expérimenté qui joue et gagne souvent
Résultats : BPP > automates BPP : résultats variables face à une combinaison
d'humains BPP ~ humain expérimenté
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
22
L'expérimentation
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
23
Travail futur
Améliorations : Affinage des types de main Amélioration de la structure du graphe Amélioration de l'apprentissage pour
l'adversaire
Programme multi-joueursRéseau bayésien dynamique
-> interrelations entre les tours
MISE EN OEUVRE
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
25
Mise en œuvre : plan
Algorithme général et réseau utiliséFonctions utiliséesRésultatAméliorations possibles
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
26
Algorithme général 1/5
Création du jeu de cartes Ensemble de 52 cartes : 13 valeurs, 4 couleurs.
Déclaration des nœuds du réseau Opponent Final Hand : O_F BPP Final Hand : B_F Opponent Current Hand : O_C BPP Win : B_W BPP Current Hand : B_C Opponent Action : O_A Opponent Upcards Hand : O_U
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
27
Algorithme général 2/5
Déclaration des liens entre les nœuds
Création du réseau bayésien
Affichage du réseau :
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
28
Algorithme général 3/5
Lecture des matrices de probabilités conditionnelles Sources : fichiers envoyés par les chercheurs. Résultat de 10 millions de manches.
Tirage de la carte cachée de chaque joueurDécision de la volonté de bluffer pour cette
manche Abandon rapide ou Poursuite de la manche, même avec mauvais jeu
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
29
Algorithme général 4/5
Tirage d'une nouvelle carte par joueurAffichage des jeux
Penser à cacher la première carte Initialisation des probabilités conditionnelles
Matrices différentes pour les 4 tours de jeuSaisie de l'évidence
A partir des nœuds observables : O_U, O_A et B_C Inférence sur les autres nœuds
O_F et B_F
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
30
Algorithme général 5/5
Calcul de la probabilité de gagner Reprise de l’algorithme du BPP
Calcul de la décision à prendre comparaison avec un seuil, variable selon les
tours. BPP continue ou abandonne
Affichage final des jeuxCalcul et affichage du gagnant
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
31
Fonctions utilisées
Fonctions BNTType_main
Donne le type de la main Force de 1 (busted low) à 13 (straight flush)
Tirage Sort une carte au hasard Dans le jeu restant
Proba_gagner
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
32
Difficultés rencontrées
Obtention des matrices de proba. cond. Attente Compréhension du code Lisp
Création de certains algorithmesDivers problèmes BNT
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
33
Résultat
Programme qui fonctionneBPP utilise
les cartes visibles, les annonces de l’adversaire son propre jeu
Gagne des partiesBluffe 3 fois sur 10BPP annonce son évaluation du jeu de
l’adversaire
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
34
Améliorations possibles
Apprentissage de la façon de jouer de l’adversaire modification des matrices de proba. cond. Annonces BPP dépendant de l’adversaire
Mise en place d’enchères et utilisation de la somme du pot pour évaluer le jeu adverse
DEMONSTRATION
Juin 2001 Modélisation du jeu de Poker par un réseau bayésien
36
Démonstration
Lancer matlab et poker_avec_bluffBNT dernière version nécessaire.
Top Related