Modélisation et Optimisation du Web

César JALPA VILLANUEVA

Directeur: Zhen LIU

Projet MISTRAL

2

Plan d ’exposé1. Motivation

2. WAGON: Web trAffic GeneratOr and beNchmark

3. Expérimentations

4. Analyse Statistique

5. Conclusions et Perspectives

3

1. Motivation

WWW : World Wide Wait?

Popularité Croissance

Saturation de serveurs et réseaux

16% de nouvelles pages chaque mois

1 nouveau serveur toutes les 2 secondes

WWW : World Wide Web ou World Wide Wait?

70% de trafic de l ’Internet

4

Qui, Quoi, Comment?Qui Quoi Comment

serveur distribution sous-dimensionnement,

mauvaise configuration, etc.

réseaux support de sous-dimensionnement

transmission

protocoles transfert mauvaise conception,

mauvais paramétrage, etc.

navigateur récupération mauvaise conception,

mauvais paramétrage, etc.

cache … ...

5

Outils d’Evaluation de Performance et de Dimensionnement pour le Web• Objectifs

– évaluation et prédiction de performances– dimensionnement– optimisation des architectures et des paramètres

• Approches– modèles analytiques– simulation– benchmarks

6

Benchmarks pour serveurs Web

• Un mécanisme pour générer un flux contrôlé de requêtes HTTP avec des métriques pour rapporter les résultats

• Scénario de base: clients qui émettent un flux de requêtes et mesurent la réponse du système– processus de génération de trafic– jeu d ’essai (workload)– mesures de performance

7

Benchmarks existants

• WebSTONE

• SPECweb96

• S-Client

• httperf

• hbenchWeb

• SURGE

8

2. WAGON: Web trAffic GeneratOr and beNchmark

• Nouveau modèle de trafic: plus réaliste, facile à paramétrer.

• Approche objets et java

• Emulation réseaux et transport• Analyse Statistique• Monitoring• Interface Graphique

extensibilité (HTTP-NG).Facilité de déploiement: Internet 2 (VTHD)Probabilité: Solaris, FreeBSD, Linux, Windows

9

WAGON: Historique• V.0 (1997): F. Ah-Yave et V. Marquion• V.1 (1998): en collaboration avec N. Niclausse (thèse)

– test, déboguage– ajout de fonctionnalités: fichier de traces, approche objets, monitoring, émulation réseau.

• V.2 (2000): avec concours de N. Niclausse• amélioration de l ’architecture• extension du modèle de trafic

– multiple classes de clients (profiles)– émulation du réseau

• module d’analyse statistique– algorithme EM– tests d ’ajustement

10

WAGON: Vue globale

Serveur Web

Fichier de traces

Module d’analyse

Structuredu serveur

Popularité des documentsProbabilité de routage

Paramètres dumodèle de trafic

Synthèse duworkload

Expérimentation

Générationdu trafic

rapport

11

WAGON: Générateur de trafic

• Modèle de trafic– le processus d'arrivées des sessions– la distribution du nombre de clics– la distribution du temps de réflexion

Session A

clicA1 clicA2 clicA3 clicA4ic

Session B

ia

12

WAGON: Générateur de trafic (suite)

• Modèle de navigation– popularité– routage

clicA1 clicA2 clicA3 clicA4

?A1

A2

A3

A4

13

3. Expérimentation

• Comparaison des protocoles (HTTP1.0 et 1.1)

• Comparaison de serveurs (Apache, Jigsaw)

• Paramétrage de serveurs

• Auto-similarité du trafic généré par WAGON

• VTHD (Internet 2)

• Analyse Statistique

14

Conditions de réalisation

DUMMYNET

WAGON

• Réseau expérimental7 Pentium II,128Moctets

2PentiumPro, 64Moctets

FreeBSD3.2

deux switchs, 100Mbps

DUMMYNET

15

Conditions de réalisation (suite)

• Serveur Web– Apache, configuration par défaut (MaxClients 150,

KeepAliveTimeout 15s)

– sous-ensemble du serveur INRIA (www.inria.fr)

• Paramètres du modèle de trafic– analyse des fichiers de traces du serveur INRIA

– arrivée de sessions: processus de Poisson, 0.002 ≤ λ ≤ 0.008

– nombre de clics: Gaussienne Inverse (μ = 5, λ = 3) (5, 1.28)

– temps inter-clics: LogNormal(m = 3, σ = 1.1) (36.8s, 56.40s)

16

Conditions de réalisation (suite)

Classes de clientstype d’accès délai (msec.) bande passante

modem1 250 56 kps

modem2 250 33 kps

T1, DLS 20 1.5 Mbps

WAN 80 150 kps

satellite 500 2 Mbps

Ethernet 0.1 100 Mbps

Protocole – HTTP1.0, 4 connexions– HTTP1.1, 1 connexion, persistance «Clasique», (HTTP1.1-D)

– HTTP1.1, 1 connexion, persistance «Early Close», (HTTP1.1-EC)

17

Comparaison des protocoles HTTP1.0 et 1.1

Accès par modem Accès lien T1

18

Comparaison des protocoles HTTP1.0 et 1.1 (suite)

• À faible charge: – HTTP1.1-D meilleur que HTTP1.0 et HTTP1.1-EC

– HTTP1.1-EC comparable à HTTP1.1-D

• À forte charge: – HTTP1.0 meilleur que HTTP1.1-D

– HTTP1.1-EC meilleur HTTP1.0

– HTTP1.1-EC significativement meilleur que HTTP1.1-D

19

Performance subjective: Latence HTML

Accès par modem Accès par WAN

20

Combien de connexions persistantes?

Latence HTML (modem)

Netscape: 6, IE: 2

Temps de réponse (modem)

21

4. Analyse Statistique

• Travaux de caracterisation: – moyenne, ecart type– distributions simples: Pareto, Weibull, LogNormal,

…– Combinaison de Distributions: corps + queue

• Invariances?

• Mixage de distributions

• Algorithme EM

22

Algorithme EM

k

k

kk xfxfxp

,,

1

)()()(

1

1

11

mm

k

k

nxxx

)(

)0(

1

1

1

),,(

),,(

),(

),,(

Calculer ),(,)(log )()( mm QxypE

Trouver )1( m pour maximiser ),( )(mQ

L ’algorithme converge vers un maximum global à partir de presque n’importe quel point de départ

23

Statistiques et Identification de Paramètres

• fichiers de traces de trois serveurs WWW et un Proxy (Clarknet, Inria, Boeing, Worldcup98)

• Variables analysées– tailles des fichiers (réponses)– nombre de clics par session– temps inter-clic – temps d ’inter-arrivée des sessions

24

Analyse des variablesTaille des fichiers

25

Analyse des variables…(suite)

• Traces Clarknet [Arlitt and Williamson, 1996a]

26

Analyse des variables… (suite)

Nombre de clics

27

Analyse des variables… (suite)

Temps inter-clic

28

Analyse des variables ... (suite)

inter-arrivée de sessions

29

5. Conclusions et Perspectives• Conclusions

– Développement d ’un outil de génération de trafic

– Expérimentations

– Nouvelle approche pour la caractérisation du Web

– Découverte d ’invariances

30

5. Conclusions et Perspectives• Perspectives

– Evolution de WAGON:• mélanges de distributions pour la génération de trafic

• HTTPn.m

• Autres protocoles que HTTP

• Autres applications

• benchmark pour serveurs proxy-cache

– Caractérisation• raffinement de la méthodologie

• autres variables

• autres fichiers de traces