1
Plan d’expérience dynamique pour la maximisation
Aspect théorique Mise en œuvre expérimentale
• Présence ou absence de bruit ?• Choix du paramètre ?
• Choix de l’algorithme ?• Choix de la fonction ?
2
f est très coûteuse à évaluer f est supposée régulière, lisse
Optimisation stochastique :
Donc :
Aspect théorique
3
• La borne du regret cumulé dépend de la rapidité d’obtention du gain d’information.
• Mathématiquement
T
Etablit une nouvelle connexion entre GP-UCB et ED
4
GP-UCB
• Partie théorique:
– Description du modèle– Gain d’information et Experimental Design– Algorithme GP-UCB
• Partie expérimentale:– Comparaison avec GP- UCB et ED– Influence de plusieurs maxima– Hypothése de régularité– Influence du bruit – Exemple en dimension 2
5
Calcul de la moyenne, de la covariance et de la variance
Où et
et
Aspect théorique
6
• Objectif : Trouver le maximum de f en l’évaluant le minimum de fois
• Ce que l’on sait faire : Pour chaque x, calculer simplement et
• Stratégie : Choisir soigneusement (grâce à une borne de confiance) le prochain x à évaluer
EXPLORATION EXPLOITATION
Aspect théorique
7
Le prochain x que l’on évaluera sera donc
x1x2
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.2
0.4
0.6
0.8
1
1.2
1.4
1.6
1.8
x3
Aspect théorique
8
Algorithme• Initialisation : On dispose du GP Prior, selon
lequel f est supposée être échantillonnée, et des valeurs aux bords f(0) et f(1).
• Itérations : Tant que l’on est trop loin du maximum théorique,
on calcule (soit par ED soit par GB-UCB)puis puis et
ED GP-UCB
Aspect théorique
9
Mais comment choisir ?cf. Théorème 1 de Gaussian Process Optimization in the Bandit Setting: No Regret and Experimental Design
Soit et alors le
Aspect théorique
regret cumulé
est en
10
Expérimentations
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.2
0.4
0.6
0.8
1
1.2
1.4
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.2
0.4
0.6
0.8
1
1.2
1.4
T = 44 T = 8
Experimental Design(ED)
GP - Upper Confidence Bound(GP-UCB)
Lequel des 2 algorithmes choisir ? GP-UCB
11
Expérimentations
Quelle « régularité » pour f ? (avec GP-UCB)
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.05
0.1
0.15
0.2
0.25
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1-1.5
-1
-0.5
0
0.5
1
1.5
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10
0.2
0.4
0.6
0.8
1
1.2
1.4
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1-0.5
0
0.5
1
1.5
2
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1-2.5
-2
-1.5
-1
-0.5
0
0.5
1
1.5
2
T = 3 T = 6 T = 8
T = 12
Fonction trop irrégulière :
Ne converge pas !
12
Expérimentations
Plus d’évaluationsMoins de précision
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1-0.05
0
0.05
0.1
0.15
0.2
0.25
0.3
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1-0.2
0
0.2
0.4
0.6
0.8
1
1.2
T = 28
T = 18
Influence d’un bruit additif gaussien ?
13
Choix de et influence de cette constante sur le nombre d’itérations T : / n ?
Expérimentations
0 5 10 150
5
10
15
20
25
30
35
40
45
Nombre d’évaluations de f en fonction de n
14
• Intérêt : obtention du maximum– Rapidement– Précisément
• Limites : – L’hypothèse fonction « régulière » est
indispensable.– On n’a pas une idée « globale » de la fonction.
CONCLUSION
Top Related