DW 2016 Chapitre 3 - BENELALLAM · }Analyse multidimensionnelle capacité à manipuler des données...
33
Chapitre 3 1
Transcript of DW 2016 Chapitre 3 - BENELALLAM · }Analyse multidimensionnelle capacité à manipuler des données...
Chapitre 3
1
} Les BD Multidimensionnelles◦ Analyse multidimensionnelle ◦ OLAP ◦ Data Mart◦ Extraction de connaissances
} Les outils} Perspectives
2
} Analyse multidimensionnelle◦ capacité à manipuler des données qui ont été
agrégées} selon différentes dimensions◦ ex. : analyse des ventes /catégorie de produit 1D.◦ + /année 2D.◦ + /département commercial 3D.◦ + / zone géographique 4D.
3
} Objectif◦ obtenir des informations déjà agrégées selon les
besoins de l’utilisateur : simplicité et rapidité d’accès
} HyperCube OLAP◦ représentation de l’information dans un hyperCube
à N dimensions
Axe d'analyse: Le temps(Année, trimestre, mois, semaine)
Variables analysées:Nb unités, CA, marge...
Axe d'analyse: La géographie (Pays - région - ville)
Axe d'analyse: Les produits (classe, produit)
Axes d'analyse: dimensionsVariables analysées: indicateurs
4
} Exploration des données :◦ Interactive manipulation◦ Visualization◦ OLAP capabilities
5
} OLAP (On-Line Analytical Processing)◦ fonctionnalités qui servent à faciliter l’analyse multidimensionnelle :
opérations réalisables sur l’hypercube} Types de systèmes OLAP :◦ ROLAP : Relational OLAP (ROLAP) systems work primarily with the data in a
relational database◦ MOLAP : Multidimensional OLAP (MOLAP) systems are widely regarded as
the classic form of OLAP◦ HOLAP: Hybrid OLAP (HOLAP) is the result of attempting to incorporate the
best features of MOLAP and ROLAP into a single architecture◦ WOLAP : Web OLAP (WOLAP) refers to the OLAP application accessible via
the web browser.◦ DOLAP :Desktop OLAP (DOLAP) allows you to download a section of data
from the database or source and work with that dataset locally or on your desktop
◦ mOLAP : Mobile OLAP (mOLAP) refers to OLAP functionalities on a wireless or mobile device
◦ SOLAP : Spatial OLAP (SOLAP) was developed with the aim of integrating the capabilities of both Geographic Information Systems (GIS)and OLAP into a single user interface
6
} Dimension◦ Temps, Produit, Géographie, ...
} Niveau : hiérarchisation des dimensions◦ Temps : Année, Semestre, Trimestre, Mois, Semaine, ...◦ Produit :Rayon, Catégorie, Nature, ...◦ Géographie : Région, Département, Ville, Magasin
} Membre d'un Niveau◦ Produit::Rayon : � Frais, Surgelé, ..., Liquide, ◦ Produit::Rayon.Catégorie: � Frais.Laitage, ..., Liquide.vin
} Cellule◦ intersection des membres des différentes dim.
7
} But◦ Visualisation/Utilisation d'un fragment de l'Hypercube
} Opérations OLAP◦ Drill Up : résumer, agréger des données� En montant dans une hiérachie ou en oubliant une
dimension : Semaine è Mois◦ Drill Down : inverse de roll-up� En descendant dans une hiérachie ou en ajoutant une
dimension : Mois è Semaine◦ Rotate : Réorienter le cube� (Région,Produit)è(Région, Mois)◦ Slicing et Decing : Projection et sélection selon un axe� Mois = 04-2003 ; Projeter(Région, Produit)
8
Cela permet d'aller vers les informations détaillées dans une hiérarchie ou au contraire de remonter d'un niveau de granularité. Il s'agit donc de « zoumer ou de dézoumer » sur une dimension.
9
Consiste à effectuer une rotation de l'hypercube afin de présenter une face différente. Il s'agit donc de modifier une dimension de lecture.
10
Consiste à ne travailler que sur une tranche de l'hypercube. Une des dimensions est alors réduites à une seule valeur .
11
Consiste à ne travailler que sur un sous-cube. On s'intéressera alors seulement à une partie des données.
12
} Oracle ◦ OLAP API = Datacube◦ Express = Analyse◦ Report = Reporting
} Business Object◦ BusinessQuery = Requêtage◦ BusinessObject = Requêtage + Analyse + Reporting◦ WebIntelligence = Datacube
} Cognos◦ Impromptu = Reporting◦ Powerplay = Datacube◦ Query = Requêtage
} Hyperion◦ ESS Base = Base MOLAP◦ ESS Analysis= Analyse + Datacube
13
} ROLLUP:◦ SELECT <column list> FROM <table…> GROUP BY
ROLLUP(column_list); ◦ Crée des agrégats à n+1 niveaux, n étant le
nombre de colonne de groupage n, n-1, n-2,…0 colonnes
} CUBE:◦ SELECT <column list> FROM <table…> GROUP BY
CUBE(column_list); ◦ Crée 2n combinaisons d'agrégats, n étant le nombre
de colonne de groupage
14
} SELECT Animal, Lieu, SUM(Quantite) as QuantiteFROM AnimauxGROUP BY ROLLUP Animal,Lieu
Animal Lieu QuantiteChien Paris 12Chat Paris 18Tortue Rome 4Chien Rome 14Chat Naples 9Chien Naples 5Tortue Naples 1
Animal Lieu QuantiteChat Paris 18Chat Naples 9Chat - 27Chien Paris 12Chien Naples 5Chien Rome 14Chien - 31Tortue Naples 1Tortue Rome 4Tortue - 5- - 63
15
} SELECT Animal, Lieu, SUM(Quantite) as QuantiteFROM AnimauxGROUP BY CUBE Animal, Lieu
Animal Lieu QuantiteChien Paris 12Chat Paris 18Tortue Rome 4Chien Rome 14Chat Naples 9Chien Naples 5Tortue Naples 1
Animal Lieu QuantiteChat Paris 18Chat Naples 9Chat - 27Chien Paris 12Chien Naples 5Chien Rome 14Chien - 31Tortue Naples 1Tortue Rome 4Tortue - 5- - 63- Paris 30- Naples 15- Rome 18
16
17
18
} Data Mart :◦ magasin de données ciblé sur un sujet précis◦ vue partielle et orientée métier sur les données du
D.W.
Data Warehouse
19
20
Front-end tools
21
} Techniques à base d'OLAP◦ Requêteurs� donne une réponse à une question plus ou moins
complexe (type SQL)◦ EIS (Executive Information Systems)� outils de visualisation et de navigation dans les
données statistiques + interfaçage graphique◦ Applications spécialisées (ad-hoc)� applications développées spécialement pour les
besoins de l’entreprise} Techniques à base de Data Mining◦ outils évolués de prédiction, simulation, ...
22
} Principe◦ Creuser une mine (le DW) pour rechercher un filon
(l’information)◦ Evolution par rapport aux statistiques «classiques»
} Objectifs◦ Prédiction (What-if)� ex. demande de prêt◦ Découverte de Règles Cachées (corrélations)� ex. bière + couches◦ Confirmation d’hypothèses
} Entrées◦ Slice/Scope d'un HyperCube OLAP◦ Fichiers Texte, Feuille de Calcul (SYLK, XLS)
23
} OLAP : l’utilisateur cherche à confirmer des intuitions◦ ex. : «A-t-on vendu plus de yaourts en Région
Parisienne qu’en Bretagne en 2003 ?»} Data Mining : l’utilisateur cherche des
corrélations non évidentes◦ ex. : «Quelles sont les caractéristiques de l’achat de
yaourts ?»
24
25
} Un marché fragmenté :◦ Constitution du DataWarehouse◦ Stockage◦ Extraction d’Information
26
} Administration◦ SourcePoint (Software AG), ◦ ISM/OpenMaster (Bull), ◦ CA-UniCenter, ◦ DataHub (IBM), ◦ CPE (SAS), ◦ Warehouse Administrator (SAS)
} Extraction et Purification◦ Warehouse Manager (Prism), ◦ Integrity Data Reengineering (Vality), ◦ Access (SAS), ◦ DataStage (VMark), ◦ Génio (Léonard’s Logic), ◦ InfoRefiner (Platinum), ◦ PASSPORT et NATURAL (Software AG), ◦ Gentia ( Planning Sciences)
27
} Serveur DataWarehouse◦ Oracle, ◦ Sybase, ◦ Informix, ◦ Ingres (CA), ◦ DB2 (IBM),◦ Tandem, ◦ Teradata, ...
} Moteur OLAP◦ Express (Oracle), ◦ Business Objects, ◦ Powerplay /Impromptu
(Cognos), ◦ Adabas (Software AG), ◦ Opera (CFI),◦ ALEA (MIS AG), ◦ Harry Cube (Adviseurs), ◦ Gentia(Planning Sciences), ◦ Essbase (Arbor Software), ◦ Informix,◦ Pilot, ...
28
} Rétro-ingénierie (Reverse-Engineering)◦ Business Object, DB-Main
} Browser OLAP◦ Discoverer (Oracle), ESPERANT (Software AG), InfoBeacon
(Platinum), Explorer (Business Objects), le VCL DecisionCube de Delphi Cl/Sv
} Arbres de Décision◦ Alice (ISoft), Knowledge Seeker (Angoss), Chaid (SPSS)
} Réseaux de Neurones◦ Predict (Neuralware), Neural Connection (SPSS), Previa (Elseware)
} Autres◦ Mineset (SGI), Darwin (Thinking Machines), Gupta DataMind (basé
sur les réseaux d’agents), Discovery Server (Pilot), DSS Agent (Micro Strategy), BusinessMiner (Business Objects), Intelligent Miner (IBM), ...
29
30
} homogénéisation◦ des outils intégrant les différentes étapes de la
suite décisionnelle} données externes◦ ouverture à l’internet
} augmentation des volumes de données} restitution des informations :◦ nouvelles techniques de data mining◦ multimédia
} outils de constitution du référentiel◦ la métabase
31
32
} J.-M. Franco, «Le Data Warehouse/Le Data Mining», Eyrolles, 1997} J.-M. Franco, S. De Lignerolles, «Piloter l'entreprise grâce au data
warehouse», Eyrolles, 2000.} R. Mattison, «Data Warehousing - Strategies, Technologies and
Technics», IEEE Computer Society, 1996.} W. H. Inmon, «Building the Data Warehouse», ed. Wiley, 1ère édition :
1996, 3ème édition: 2002, voir http://www.billinmon.com/} W. H. Inmon, «Managing the Data Warehouse», ed. Wiley, 1997} R. Kimball, «Entrepôts de Données», Intl Thomson Pub., 1997.} Ralph Kimball, Laura Reeves, Warren Thornwaite, «The Data Warehouse
Lifecycle Toolkit: Expert Methods for Designing, Developing, and Deploying Data Warehouses », 800 pages (août 1998), Ed Wiley, ISBN:0471255475
} Ralph Kimball, Margy Ross, «Entrepôts de données. Guide pratique de modélisation dimensionnelle», 2ème édition (1 janvier 2003), Ed Vuibert,2-7117-4811-1
33
