Vigilo

38
Présentation : [email protected] Contact Commercial : [email protected] Responsable Offre Logiciels Libres : [email protected] CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

Transcript of Vigilo

  • Prsentation : [email protected] Commercial : [email protected]

    Responsable Offre Logiciels Libres : [email protected]

    CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 2

    Plan

    Prsentation de Vigilo

    Architecture globale

    Composants

    Exemples

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 3

    Deux mots sur CS

    SSII : Intgrateur de Systmes Critiques

    Effectifs : 2000 collaborateurs , CA : 225 M

    Domaines activits : Dfense/Scurit, nergie/Industrie, Transport, Aerospace

    Logiciels libres Dploiement industriels depuis 2001

    Savoir-faire particulier sur les infrastructures libres Systmes, Scurits, Administrations, Services collaboratifs

    Projets logiciels libres de quelques 100 K plusieurs M

    Membre du comit de pilotage du GT LL de System@TIC

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    4

    La solution

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 5

    Introduction

    Vigilo est une solution complte de supervision Rseaux, serveurs, systmes et applicatifs

    Vigilo est bas sur des composants libres : Nagios, RRDTool, Nagvis, SEC, Python, ...

    Vigilo est un Logiciel Libre

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 6

    Historique

    Dbut 2006 : Appel d'offres Projet de supervision d'une banque (5 000 agences, 10 000 quipements)

    Solution libre et diteur compares ,

    Solution libre retenue (choix fonctionnel et conomique)

    2007 : Dveloppement et dploiement de la solution Licence GPL demande par le client

    ~ 5 hommes/an de dveloppement

    Fin 2007 : nombreux clients intresss par l'aspect GPL

    Dbut 2008 : Publication de Vigilo (www.projet-vigilo.org)

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 7

    Modle diteur logiciel libre

    La totalit du code Vigilo est sous licence libre (GPLv2)

    L'obligation est donc de donner accs aux sources nos clients.

    En sus, nous publions ce code sur Internet (www.projet-vigilo.org)

    Le code source est publi en priorit pour nos clients et pour nos partenaires

    Le code est publi par palier aprs dploiement industriel.

    La totalit du code est disponible pour nos clients

    Les raisons de la publication vis vis de nos clients : transparence du code

    possibilit de dvelopper des extensions / adaptations

    assurer l'indpendance dans un march historiquement captif

    progressivement crer une communaut d'utilisateurs

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 8

    Vigilo par rapport Nagios

    Scalabilit Une architecture rpartie

    Corrlation topologique

    Un outil de configuration industrialis

    Gestion de la mtrologie Intgre la collecte Nagios

    Gre par RRDtool

    Interfaces Toutes les interfaces Nagios

    Un bac vnements global

    Un navigateur dans les graphes de performances

    Un navigateur dans les cartographies

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    9

    Architecture

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 10

    Gnralits

    Un systme de supervision/mtrologie gnrique et modulaire Un certain nombre de composants

    majoritairement facultatifs installables sur des machines diffrentes pouvant tre mis en parallle pour augmenter la capacit de la plate-forme

    Il est relativement simple d'ajouter un composant dans le systme.

    Possibilit d'injecter des vnements niveaux du systme

    Historiquement orient rseau et SNMP SNMP

    support de nombreux quipements (CISCO, Juniper, Nortel, NetApp, Nokia, etc...) support de nombreux systmes d'exploitation (Linux, Windows, Solaris, AIX, AS/400...)

    Excution de scripts distance

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 11

    Axes de dveloppement

    Pas de modification des outils dj existants Pas de patches maintenir

    Simplicit d'volution en version pour les composants

    Tout en IHM Web Facilit de dploiement des postes clients

    Authentification par les mcanismes standards d'Apache

    Possibilit d'utiliser SSL pour chiffrer les flux

    Respect des standards du Web : pas d'applets Java ou d'ActiveX

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 12

    Architecture Vigilo

    Notifications Cartographie Graphes

    Vigilo(Nagios, NagVis, SEC, RRDTool, etc.)

    Conf Mgr

    Rapports

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 13

    Principe global

    Metrology storeMetrology storeMtrologie

    (RRD)

    Nagios

    Plugins

    Changement tat

    Correlation

    TrapsSNMP

    vnements(Dashboard)

    Graphes(SupNavigator)

    Alarmestemps rel

    Mtro-logie

    Carto.(NagVis)

    Vue pargroupes

    Configuration(ConfMgr)

    Changements

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    14

    Composants

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 15

    Nagios

    Organisation htes, groupes, services

    gestion de la topologie

    Principe de fonctionnement Types de test

    Rseau (HTTP, DNS, TCP, etc.) Distants (NRPE, SSH)

    Le plugin (greffon) de supervision Code de retour et sortie PerfData ePN

    Services actifs et passifs

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 16

    Systme de collecte d'informations

    Serveur de collecte

    Nagios

    Tests distants

    Serveur supervis

    DmonNRPE

    com-mandes

    Commande locale / scriptfork

    output

    5666

    Collector

    Servicesrseau

    Tests rseau

    SNMPDNS, NTP, DHCP,TCP, SSH, HTTP(S)

    Base mtrologie

    RRD

    Agent SNMP

    ExtensionsSNMP

    Plugin perfdata

    ServeurSSH

    fork

    22

    output

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 17

    Collector

    Plugin SNMP optimis : pour la charge du serveur Nagios

    pour l'impact de charge sur l'quipement supervis

    pour le trafic rseau

    Principe : Utilisation de l'ePN

    Toute la collecte est ralise en une seule fois

    Une bote outils (extensible) de fonctions pour traiter les rsultats SNMP

    Gestion de la mtrologie

    Utilisation des services passifs Nagios

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 18

    Collector : principe de fonctionnement

    Nagios

    Collector

    Lancement avec ePN

    0

    Fichier deconfiguration

    de l'hte

    Bibliothquede fonctions

    1 1

    Chargement de la conf de l'hte et des fonctions2

    Compilation des OIDs

    Hte

    3

    4

    Envoi des requtes Retour des requtes

    5

    Analyse des rsultats (sup et mtro) Envoi des rsultats des services passifs dans N.

    6

    Mtro(RRD)

    Envoi direct des perfs. dans les RRD

    7

    8

    Retour du rsultat de la collecte dans Nagios

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 19

    La corrlation

    Sur un parc important il est indispensable de corrler les vnements gnrs par la mme cause.

    Exemples des serveurs derrire un routeur en panne

    des quipements sont relis par de nombreux liens redondants.

    un routeur envoie un trap SNMP, puis les interrogations directes sont ngatives.

    Deux types de corrlation : Topologie du rseau (simple et complexe)

    Redondance de certains vnements

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 20

    Corrlation : fonctionnement

    Bas sur SEC (Simple Event Correlator)

    Enrichi avec des librairies Perl maison

    Fonctionnalits : Topologie et fentre de corrlation

    Aiguillage multi-DashBoard

    Gestion optionnelle de la gravit

    Cration de tickets

    Objectif : ne pas noyer l'exploitant sous des alertes redondantes ou inutiles.

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 21

    Mtrologie : principes

    Particularits du format RRD Base de donnes de taille fixe

    Superposition de donnes avec granularits

    perte/agrgation/moyenne des donnes au fur et mesure du temps

    Ct Nagios : une passerelle entre les perfdata Nagios et les RRDs

    Modulaire : possibilit de ddier des machines la mtrologie

    Deux composants installs en tandem sur ces machines : Un dmon rseau qui alimente/cr des fichiers RRD

    Un script web en mod_python qui produit des graphes

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 22

    Graphes (SupNavigator)

    Navigation dans les graphes de mtrologie : Slection par groupes et sous-groupes

    Moteur de recherche

    Une fois le graphe affich : Possibilit de zoom

    Retour arrire dans le temps

    Affichage (et comparaison) possible de plusieurs donnes

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 23

    Graphes (SupNavigator)

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 24

    Cartographie

    Navigation par groupes d'quipement bases sur Nagvis.

    Regroupement spcifique l'entreprise : physique, gographique, fonctionnel

    plusieurs niveaux d'imbrication possible

    toute combinaison de regroupement disponibles

    ex : site de Toulouse, tous les serveurs de messagerie, tous les serveurs HP, etc.

    Consolidation des tats par niveau Navigation dans les sous-groupes pour identifier le dysfonctionnement

    Utilise l'extension NDO de Nagios branchement direct sur les objets Nagios

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 25

    Cartographie

    Vision Globale

    Une agence

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 26

    Gnration de rapport

    Une partie gnrique : Un portail d'administration des rapports

    Analyse long terme logs Nagios RRD autres (tickets, ...)

    Export au format ODF (avec graphiques en vectoriel)

    La partie spcifique : Le choix des indicateurs affichs

    Les formules de calcul

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 27

    Gnration de rapport

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 28

    ConfMgr

    Un point central de configuration pour tout le systme. des fichiers de configuration globaux

    une gestion en version automatique

    Dploiement : Les fichiers sont analyss par le ConfMgr

    L'ensemble est dcoup/reform/etc. au format de chaque application cible (Nagios, RRDGrah, NagVis, etc.)

    Les fichiers sont dploys via SSH (transmission scurise)

    Les applications sont relances dans le bon ordre

    Ventilation : Rpartition quitable les htes superviss sur les serveurs de supervision

    Respect du groupement des objets superviss

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 29

    ConfMgr : principe global

    Fichiers

    Gestion de versions (SVN)

    Fichiers de configuration

    ModlesGnration

    Qualification de 1er niveau

    Serveurs decollecte Validation Redmarrage

    Retourarrire

    Dploiement

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 30

    ConfMgr : principe du systme de configuration

    Une arborescence de fichiers de configuration

    Utilisation de la syntaxe python... Listes, dictionnaires

    Tests, boucles

    Classes, hritage (modles)

    Interactions avec les gestionnaires de parc

    Fonctions de tests incluant le support de nombreux OS / dmons SNMP / quipements rseau

    Fortement extensible

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    31

    Exemples d'architectures

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 32

    Exemples d'architecture

    1) Tout sur la mme machine

    2) Rpartition de charge

    3) Rpartition par groupe

    4) Rpartition par mtier

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 33

    Architecture Vigilo (2/4) : rpartition de charge

    VigiloConf Mgr

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 34

    Architecture Vigilo (3/4) : rpartition par groupe

    Vigilosige

    Conf Mgr

    Site A Site B Site C

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 35

    Architecture Vigilo (4/4) : rpartition par mtier

    VigiloConf Mgr

    ServeursRseau

    Vigilo +Nagios

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    36

    Conclusion

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 37

    Feuille de route

    Publication progressives des modules V1 Bac vnements

    Collecteur SNMP

    ConfMgr

    Les volutions V2 (V3 ?) Rcriture du bac vnements (nouveau langage, nouvelles fonctionnalits,

    etc.)

    Module de gnration de rapports gnrique (outils de reporting)

    Rapprochement Prelude, GLPI, Pulse, Bacula, etc.

  • CONCEPTEUR, INTEGRATEUR & OPERATEUR DE SYSTEMES CRITIQUES

    Presentation technique Vigilo, 2008 38

    Rfrences

    Banque 2006 - Vigilo

    5000 agences, 10000 quipements

    Banque 2007 Vigilo (Proto)

    1500 quipements FR/UK/CH

    Ministre 2008 Vigilo

    250 sites, 300 quipements

    Site Vigilo - 2008

    www.projet-vigilo.org

    Article 01Net : "CS apporte la supervision open-source aux grands comptes"

    www.01net.com/editorial/370500/cs-apporte-la-supervision-open-source-aux-grands-comptes/

    Publication de la V1.0 le 28 janvier sur le salon Solution Linux 2008

    Page 1Page 2Page 3Page 4Page 5Page 6Page 7Page 8Page 9Page 10Page 11Page 12Page 13Page 14Page 15Page 16Page 17Page 18Page 19Page 20Page 21Page 22Page 23Page 24Page 25Page 26Page 27Page 28Page 29Page 30Page 31Page 32Page 33Page 34Page 35Page 36Page 37Page 38