ECOLE GRID5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées. M....

27
1 ECOLE GRID’5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées . M. Ravelomana, M. Sibilla Surveillance contextuelle des ressources distribuées S. Ravelomanana , M. Sibilla Université P. Sabatier, Laboratoire IRIT Toulouse, France [email protected], [email protected]

Transcript of ECOLE GRID5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées. M....

Page 1: ECOLE GRID5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées. M. Ravelomana, M. Sibilla 1 Surveillance contextuelle des.

1ECOLE GRID’5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées . M. Ravelomana, M. Sibilla

Surveillance contextuelle des ressources distribuées

S. Ravelomanana, M. Sibilla

Université P. Sabatier, Laboratoire IRIT Toulouse, France

[email protected], [email protected]

Page 2: ECOLE GRID5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées. M. Ravelomana, M. Sibilla 1 Surveillance contextuelle des.

2ECOLE GRID’5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées . M. Ravelomana, M. Sibilla

La gestion des grilles

Performances, disponibilité, Répartition de charge, tolérance aux pannes

Surveillance Consistante, distribuée, en temps réel

Page 3: ECOLE GRID5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées. M. Ravelomana, M. Sibilla 1 Surveillance contextuelle des.

3ECOLE GRID’5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées . M. Ravelomana, M. Sibilla

Constats

Approches et outils: Grid Monitoring Architecture/GGF Monitoring and Discovery System/Globus toolkit Ganglia

Observation: l’état d’un système est traité indépendamment de

l’état des autres les influences des événements qui surviennent ne

sont pas traitées automatiquement

Page 4: ECOLE GRID5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées. M. Ravelomana, M. Sibilla 1 Surveillance contextuelle des.

4ECOLE GRID’5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées . M. Ravelomana, M. Sibilla

La surveillance contextuelleDEFINITIONDEFINITION

Surveiller une entité en tenant compte de son environnement d’exécution

... Approche conduite par les modèles

BESOINSBESOINS

Un Modèle Informationnel, qui représente l’entité gérée, son environnement d’exécution et les relations entre eux.

Un Modèle d’événement pour modéliser, lever et s’abonner à un événement

Un Modèle de Comportement pour lier les deux modèles afin d’automatiser les aspects dynamiques de la surveillance

Page 5: ECOLE GRID5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées. M. Ravelomana, M. Sibilla 1 Surveillance contextuelle des.

5ECOLE GRID’5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées . M. Ravelomana, M. Sibilla

Modélisation

CIM/DMTF

Common Information Model

Modèle Informationnel

Modèle d’événement

 

 Extract from CIM Meta-Model

NamedElement

Class

Association Indication

CIM_ManagedElement

CIM_ManagedSystemElement

OperationalStatusStatus

ElementName

CIM_DependencyCIM_Component

CIM_Component

Antecedent : REFDependent : REF

CIM_Dependency

Antecedent : REFDependent : REF

CIM_Indication

CORE

Extract from CIM Core schema

ApplicationNetwork

System

COMMON

DMTF

TMNService

Systèmes&Réseaux

Éléments

Page 6: ECOLE GRID5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées. M. Ravelomana, M. Sibilla 1 Surveillance contextuelle des.

6ECOLE GRID’5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées . M. Ravelomana, M. Sibilla

Diagramme Etat Transition

[IRIT/SIERA]Modèle de Comportement

Modélisation

CIM_ManagedElement

CIM_ManagedSystemElement

OperationalStatusStatus

ElementName

CIM_DependencyCIM_Component

CIM CORE Model

Ready

Down

Busy

anElement state diagram

class Sercive {actions ("start", ”stop"); state Ready {

on enter { BEGIN_JAVA // your specific behavior //END_JAVA}

} // end of state Ready state Down {

on enter { BEGIN_JAVA // your specific behavior

//END_JAVA

}} // end of state Down

} // end of >Provider state description

class Sercive {actions ("start", ”stop"); state Ready {

on enter { BEGIN_JAVA // your specific behavior //END_JAVA}

} // end of state Ready state Down {

on enter { BEGIN_JAVA // your specific behavior

//END_JAVA

}} // end of state Down

} // end of >Provider state description

class Sercive {actions ("start", ”stop"); state Ready {

on enter { BEGIN_JAVA // your specific behavior //END_JAVA}

} // end of state Ready state Down {

on enter { BEGIN_JAVA // your specific behavior

//END_JAVA

}} // end of state Down

} // end of >Provider state description

Grammaire CNES

Grammaire CNES

Page 7: ECOLE GRID5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées. M. Ravelomana, M. Sibilla 1 Surveillance contextuelle des.

7ECOLE GRID’5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées . M. Ravelomana, M. Sibilla

La vue « nœud »MODELISATION INFORMATIONNELLE DES GRILLES

Page 8: ECOLE GRID5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées. M. Ravelomana, M. Sibilla 1 Surveillance contextuelle des.

8ECOLE GRID’5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées . M. Ravelomana, M. Sibilla

La vue “Grille”MODELISATION INFORMATIONNELLE DES GRILLES

Page 9: ECOLE GRID5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées. M. Ravelomana, M. Sibilla 1 Surveillance contextuelle des.

9ECOLE GRID’5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées . M. Ravelomana, M. Sibilla

La vue « Réseau »MODELISATION INFORMATIONNELLE DES GRILLES

Page 10: ECOLE GRID5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées. M. Ravelomana, M. Sibilla 1 Surveillance contextuelle des.

11ECOLE GRID’5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées . M. Ravelomana, M. Sibilla

La modélisation du comportement

Identification des règles de comportement

1. Si la charge moyenne des processeurs d’un nœud atteint les 80% les processeurs et le nœud passent à l’état « dégradé »

2. Si k% des grilles locales sont « dégradées » la grille nationale passe à l’état « dégradé »

3. Si le service d’accès (le service d’authentification par exemple) de la grille locale est tombé elle sera inaccessible pour ses utilisateurs

4. …

MODELISATION INFORMATIONNELLE DES GRILLES

Page 11: ECOLE GRID5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées. M. Ravelomana, M. Sibilla 1 Surveillance contextuelle des.

12ECOLE GRID’5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées . M. Ravelomana, M. Sibilla

Modélisation de la règle 11. Si la charge

moyenne des processeurs d’un nœud atteint les 80% le processeur et le nœud passent à l’état « dégradé »

ProcessorChangeProcessorChangeProcessor.loadPercentage>80Processor.loadPercentage>80

ComputerSystem.Status=NormalComputerSystem.Status=Normal

Page 12: ECOLE GRID5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées. M. Ravelomana, M. Sibilla 1 Surveillance contextuelle des.

13ECOLE GRID’5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées . M. Ravelomana, M. Sibilla

Description textuelle de la règle 1 class CIM_Processor { set ( {"LoadPercentage", "LoadPercentage"} ); state Degraded{

transition ( "Normal" ) { on change_event ( BEGIN_JAVA (Integer.parseInt(LoadPercentage)<80) //END_JAVA ), {BEGIN_JAVA System.out.println(« OK »); //END_JAVA }; } } // end of state Degraded

state Normal{ transition ("Degraded"){

on change_event ( BEGIN_JAVA (Integer.parseInt(LoadPercentage)>80) //END_JAVA ), {BEGIN_JAVA //chercher le CS associé au Processor CIMInstanceObservable [] associationsCSP =_omf.getAssociationOfClass(_context,"CIM_ComputerSystemProcessor"); String objectPathCS="";

if(associationsCSP.length==1){ objectPathCS =associationsCSP[0].getCIMInstance().getProperty("GroupComponent").getValue().getValue().toString();

_omf.setProperty(objectPathCS ,"Status",new CIMValue( "Degraded" ,new CIMDataType( CIMDataType.STRING) )); javax.swing.JOptionPane.showMessageDialog(null,"Le CS associé passe à Dégradé");

}else{javax.swing.JOptionPane.showMessageDialog(null,"la charge moyenne est "+moyenneDesCharges);

//END_JAVA }; } } // end of state Degrade } // end of class CIM_Processor definition

Condition

Action

Événement

Page 13: ECOLE GRID5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées. M. Ravelomana, M. Sibilla 1 Surveillance contextuelle des.

14ECOLE GRID’5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées . M. Ravelomana, M. Sibilla

Observation

Le modèle obtenu est applicable pour l’ensemble des grilles

Une indépendance du modèle par rapport aux plates-formes de développement

Page 14: ECOLE GRID5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées. M. Ravelomana, M. Sibilla 1 Surveillance contextuelle des.

15ECOLE GRID’5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées . M. Ravelomana, M. Sibilla

Intégration et Implémentation

Plate-forme CAMELEONutilisation de Parser/ScanerMofJAVA/CORBA

Chaque « Object Manager » possède les fonctions de gestion des états, gestion des Diagrammes états transitions et des événements

automatisation du traitement

Composants d’intégration (Object Provider)

State.jar

ReadyDown

OMOM

Page 15: ECOLE GRID5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées. M. Ravelomana, M. Sibilla 1 Surveillance contextuelle des.

16ECOLE GRID’5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées . M. Ravelomana, M. Sibilla

Interface JAVA/CORBA

−Get−Set−Invoke…

Architecture

State.jar

Ready

Down

Config État Relations Événement

MgtFct°  ססס ססס

OMOM

Page 16: ECOLE GRID5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées. M. Ravelomana, M. Sibilla 1 Surveillance contextuelle des.

17ECOLE GRID’5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées . M. Ravelomana, M. Sibilla

State.jar

ReadyDown

OMOM

Architecture

UML Editor

Fichiers mof

Classes & Instances Textual notation

(MOF/DMTF)

CameleonMOF Parser

CameleonUML State code

generator

Ready

Down

Busy

objectX state diagram

Fichiers STATE

(grammaire CNES)

Java classes

OBJECT MANAGER

Page 17: ECOLE GRID5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées. M. Ravelomana, M. Sibilla 1 Surveillance contextuelle des.

18ECOLE GRID’5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées . M. Ravelomana, M. Sibilla

State.jar

ReadyDown

OMOMState.jar

ReadyDown

OMOM

Object Provider

OPCorba OPUNIX OPSNMP OPNode OPNWS

CORBAA

RéseauRéseau

A A

Ins

tru

me

nta

tio

nIn

str

um

en

tati

on

Inté

gra

tio

nIn

tég

rati

on

Existant Développé À Développer

State.jar

ReadyDown

OMOM

Page 18: ECOLE GRID5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées. M. Ravelomana, M. Sibilla 1 Surveillance contextuelle des.

19ECOLE GRID’5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées . M. Ravelomana, M. Sibilla

Démonstration

Résultat: Une vue des informations de la grille

Page 19: ECOLE GRID5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées. M. Ravelomana, M. Sibilla 1 Surveillance contextuelle des.

20ECOLE GRID’5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées . M. Ravelomana, M. Sibilla

Démonstration

Résultat: Dégradation de l’état d’un nœud

Page 20: ECOLE GRID5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées. M. Ravelomana, M. Sibilla 1 Surveillance contextuelle des.

21ECOLE GRID’5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées . M. Ravelomana, M. Sibilla

Démonstration

Résultat: Dégradation de l’état de la grille locale

Page 21: ECOLE GRID5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées. M. Ravelomana, M. Sibilla 1 Surveillance contextuelle des.

22ECOLE GRID’5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées . M. Ravelomana, M. Sibilla

Bilan des expérimentations et résultats

Création automatique des vues « Nœud » et « Grille » par découverte Contrôle automatique des influences :

Nœud Composants (Charge,Mémoire,espace disque,…) Nœuds Grille Locale (Disponibilité, accessibilité) Grille Réseau (Perte de lien, défaillance de composant réseau)

Délégation de la surveillance réseau à une plate-forme de gestion telle que OpenView et intégration des alarmes réseaux (trap SNMP, événements propriétaires) auprès des OMs de la grille

Prise en compte d’événements hétérogènes dans les diagrammes

État/Transition Le résultat d’interprétation des diagrammes E/T est liée au contexte

découvert Gestion d’états composite: Test validé à moyenne échelle (DMTF draft) Limite de la généricité des diagrammes État/Transition

Spécialisation/Personnalisation des diagrammes E/T Intégration dans le processus de développement

MONITORING

MODELISATION DE LA DYNAMIQUE

Page 22: ECOLE GRID5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées. M. Ravelomana, M. Sibilla 1 Surveillance contextuelle des.

23ECOLE GRID’5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées . M. Ravelomana, M. Sibilla

PUBLICATIONS A Contextual GRID Monitoring by a Model Driven Approach. S.

Ravelomanana, S. C. S. Bianchi, C. Joumaa, M. Sibilla. AICT2006, SAPIR 2: Monitoring Interactions. 19-22 Febuary, 2006.

Gestion des grilles : Surveillance Contextuelle de la QoS par une approche conduite par des modèles. M. Ravelomanana. GDR ASR. 2ième journée de l'action ADAPT«  Adaptation dynamique aux environnements d’exécution ». 6 avril 2006. ENST, Paris.

DMTF Behavior and State Specification (GRID statechart diagram examples). Draft document. en cours de rédaction.

Unified model based three dimensional tool for managing computer networks. M. Dodo, P. Torguet, M. Sibilla, J.-P. Jessel. WEBIST 2006 – 2nd International Conference on Web Information Systems and Technologies, Setúbal, Portugal, 11 avril 13 avril 2006.

Page 23: ECOLE GRID5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées. M. Ravelomana, M. Sibilla 1 Surveillance contextuelle des.

25ECOLE GRID’5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées . M. Ravelomana, M. Sibilla

Perspectives

Prise en compte des dégradations de la qualité de service.

Déploiement au niveau national (sujet Master)

Représentation 3D avec animation de la dynamique (sujet de Doctorat).

Intégration dans des middlewares de placement

Surveillance du middleware lui-même.

Page 24: ECOLE GRID5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées. M. Ravelomana, M. Sibilla 1 Surveillance contextuelle des.

26ECOLE GRID’5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées . M. Ravelomana, M. Sibilla

Merci

Page 25: ECOLE GRID5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées. M. Ravelomana, M. Sibilla 1 Surveillance contextuelle des.

27ECOLE GRID’5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées . M. Ravelomana, M. Sibilla 27

Les Composants de l’Architecture

NNM Domaine Réseau

Domaine Réseau

Evènement

OMOPENVIEWObject Provider

NNM

OMSERVICES

OMDEPENDENCY

CORBA

CORBACORBA

CAMELEON

Domaine Service

Domaine Service

Evènement

ServeurNNM

OpenView

Page 26: ECOLE GRID5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées. M. Ravelomana, M. Sibilla 1 Surveillance contextuelle des.

28ECOLE GRID’5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées . M. Ravelomana, M. Sibilla

Présentation de la Démo

• À chaque nœud on associe un Agent en JAVA/CORBA

• Enregistrement de chaque Agent NamingService

• Découverte des nœuds et leurs caractéristiques

AA A A A A A A A A

AA A A A A A A A A

AA A A A A A A A A

AA A A A A A A A A

AA A A A A A A A A

AA A A A A A A A A

AA A A A A A A A A

AA A A A A A A A A

AA A A A A A A A A

AA A A A A A A A A

Page 27: ECOLE GRID5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées. M. Ravelomana, M. Sibilla 1 Surveillance contextuelle des.

29ECOLE GRID’5000 Surveillance de grille :Surveillance contextuelle des ressources distribuées . M. Ravelomana, M. Sibilla

OPNode State.jar

ReadyDown

OMGridOMGrid

IHM

AA A A A A A A A A

AA A A A A A A A A

AA A A A A A A A A

AA A A A A A A A A

AA A A A A A A A A

AA A A A A A A A A

AA A A A A A A A A

AA A A A A A A A A

AA A A A A A A A A

AA A A A A A A A A

Requête

Monde Réel

Supervi

sion

Réponse