Manipulations multibases et distribues

Manipulations multibases et distribuesPartie 1Witold LitwinWitold.Litwin@dauphine.fr

2009 - 10N2 Principles of Distributed Databases . 2 ed. Tamer Ozsu, Patrick Valduriez, 2009 Prentice Hall & Web (download)Livres de Support

N23 Visionneuse PPT libre sur le site Microsoft Chaque cours est une union de tous les cours sur le sujet que je donne DauphineLes cours peuvent tre imprims par la visionneuse en plusieurs formats & en couleurFormat recommand : 3 diapos / page,Internet & Powerpointhttp://ceria.dauphine.fr/cours98/BD-wl-98.htmlSupport des Cours Polies N/B imprimes par la Fac pour les ayant droit

N34SGBD Support : MsAccess 2007Disponible Dauphine par MSDNVoir CRIO InterUFR (2me tage, Nouvelle Aile)Vendu + que tous les autres SGBD ensemble11M licences / mois = 132 M / anLa plus amicale interface usager sur le marchhttp://office.microsoft.com/home/video.aspx?assetid=ES102552011033&width=884&height=540&startindex=0&CTT=11&Origin=HA102552031033# (Pub. MS)Trs complet4 GL, SQL2, QBE, OLE, ODBC, Multimdia, Multibase, Web-enabled1er SGBD pour tout un chacun

N45Contrle de connaissances Selon le coursExamen ?

ProjetAprs le vote populaire au 1r coursQuestions ?Witold.Litwin@dauphine.frBureau B640http://ceria.dauphine.fr

N5PlanIntroductionProblmes techniques rsoudreOrigines du conceptApproche Base Centralise (ANSI-SPARC)Approche BDR (top-down)Approche Schma Global (bottom-up)Architectures de rfrenceArchitecture multibaseArchitecture FdreAutonomie, Htrognit smantique, Modle communNModle multibaseModle base unique ANSI-SPARC : L'univers rel doit tre model par une base de donnes L'univers rel sera model par plusieurs bases de donnes autonomessmantiquement htrognesmunies d'un langage multibases"Multidatabase Interoperability". Litwin, W. Abdellatif, A. Multidatabase Systems: An Advanced Solution for Global Information Sharing. Hurson, A., R., Bright, M., W., Pakzad, S., H., (ed.). IEEE Press, 1993NModle multibaseCours & tudiantsBibliothqueEmploysRest.Mes-amisAutres BDssurInternetParis 9PrivTeletelFolioCineNProblmes majeursArchitecture de rfrenceHtrognit smantique en prsence d'autonomie localeModle de donnes communFonctions de langage multibasesTransactionsProtocoles & standardsPerformancesNArchitecture de rfrenceArchitecture multibaseGnralisation de l'architecture BD de ANSI-SPARCArchitecture bases fdresGnralisation de l'architecture BD fdreAutresNArchitecture BD de ANSI-SPARCUne BD centralise intgre (Annes 1960-70)

ES - Schma ExterneCS - Schma ConceptuelPS - Schma Physique ou InterneNBase de donnes RpartieOrigine du concept (annes 1970)Dveloppement de rseaux (lents : 20 Kb/s)Surcharge d'une BD centralise

NBase de donnes RpartieIde : distribution de fonctions autres que la communication locale (approche "top-down")Lesquelles ? Excution rpartie (OS) Accs aux fichiers La base Alors quel modle de donnes pour le CS ? Hirarchique & rseau RelationnelNFragmentation de relations

Hotels (H#, Ville, Cat, #Chambres)(H#, Ville)(H#, Cat, #Chambres)Un fragmentNProblmesScalabilit du schma globalUtilit du schma global pour un usager localPerformances de requtes (mauvais cas)Ncessit de migration de donnes existantes dans de bases multiples d'une mme entrepriseIMS, IDMS, Socrate...N16Architecture BDR/BDP/P2P

LAN

ServeursClients

N1617Fragmentation type BDPPar hachage En gnral statiqueTeradata, IBM Adr = Hash(Cl) mod N_Serveurs Hash est une signature de la cl Par SHA, MD5, SA Teradata, DB2Fragmentation BDP/P2P/GRIDN1718Fragmentation type BDPPar intervalles pr-dfinis dun attribut ordonnServeur 1 : Ville = A*..D*, Serveur 2 Ville = E*..I* etc SQL Server, OracleFragmentation par colonne Utile pour les systmes OLAPMonet, Vertica

Fragmentation BDP/P2P/GRIDN1819Architecture BDP/P2P(exemples)SQL Server 256 serveurs (2006)Sybase64 serveursDB216 (gros ?) serveurs ?Oracleparallle non-BDR (CPUs partagent les disques)N19Un usager peut avoir les donnes dans plusieurs BDs compatibles ANSI-SPARC et htrognesUn GS prsente toutes les donnes comme une seule BD classique relationnelle ou fonctionnelle (DAPLEX) les ES sont drivs de GS

Architecture "bottom-up" Schma Conceptuel Global (GS)CSCSCSGSESESPSPSPSApproche GS ("bottom-up")NProblmes avec l'approche "bottom-up"Cration du schma globalHtrognit smantique de donnes Temps d'intgration / autonomie de restructuration locale Mises jour Performances Vues htrognesCSCSCSGSESESPSPSPSApproche GS ("bottom-up")NUn usager peut avoir les donnes dans plusieurs BDs compatibles ANSI-SPARCEn gnral il sera impossible de crer un Schma Global (GS)L'usager peut tre en face de plusieurs CSsArchitecture MBD (Multibase)Absence de Schma Conceptuel Global (GS)CSCSCSPSPSPSNArchitecture multibase (W. Litwin & al, annes 1980)

ESmultibaseReq.MDBNArchitecture MBD (Multibase)Fonctions du Langage MultibaseUn langage de dfinition et de manipulation de collections de BDs (multibases) au niveau conceptuel MDBFormulation de requtes (explicitement) multibasesse referant aux noms de BDsavec des jointures multibases... Trouver dans la base Michelin et dans la base Gaumont tous les restaurants '**' et cinmas sur une mme rueNArchitecture MBD (Multibase)Concept de Langage MultibaseDfinition de ES multibases (MES)Prsentant quelques bases comme une seule BDPouvant intgrer des CSs ou des ES ou des MES

NArchitecture MBD (Multibase)Concept de Langage MultibaseDfinition de dpendances multibases entre les CSssmantiques (ontologies), p.ex. en RDF City Is Ville ; Town Is Ville ; Township Is Villeintgrit Intgrit rfrentielle multibaseAucun SGBD ne permet de dclarer comme pour celle monobase Pourquoi ? Bonne questionNArchitecture MBD (Multibase)Concept de Langage MultibaseDfinition de dpendances multibases entre les CSsScuritUn usage ne peut pas slectionner une donne D1 de la base B1 et la donne D2 de la base B2 manipulation... Dclencheurs multibasesCreate Trigger Flux de diffusion RSS.NArchitecture MBD (Multibase)Concept de MultibaseUne multibase (MBD) est une collection de BDs munie d'un langage multibasepar exemple le langage MSQL que l'on verraUne collection de BDs sans langage multibase n'est pas une MDB, mais juste une collection de BDsd'une mme manire qu'une collection de fichiers plats (tables) sans langage de base de donnes, SQL par exemple, n'est pas une BDNQuelques multibases potentiellesCours & tudiantsBibliothqueEmploysRest.Mes-amisAutres BDssurInternetParis 9PrivTeletelFolioCineMSQL: Create MDB Paris 9 Include Employs Include Bibliothque .....NArchitecture MBD Concept de Sous-niveau Interne LogiqueLes modles de donnes de BDs existantes peuvent tre htrognesdiffrent dialectes de SQLRelationnelXML CCSIl est prfrable d'avoir un seul modle au niveau multibaseIl faut avoir une possibilit d'un sous-niveau de traduction NArchitecture MBD Concept de Sous-niveau Interne LogiquePar ailleurs un DBA peut ne pas vouloir montrer son CS local au niveau multibaseSolution gnraleILS - Schma Interne Logiqueinconnu de ANSI-SPARCappel par la passerelle (Gateway) ou mdiateur terminologie populaire Origine: G. Wiederhold (Stanford)NSystme de Gestion Multibases (SGMB)Un systme offrant linterface multibase Sans tre SGBD lui-mme Gre le niveau CS et ES de larch. MBD Appel souvent: Mdiateur Wrapper Intgrateur Meta Engine Mta-SGBD.NSystme de Gestion Multibases (SGMB)Exemples Historiques relationnels: UniSQL/M, EDASQL Actuels: Relationnel QBE dExcell, Web par mots Cls: MetaCrawler, DogPile, IBoogie Web documentaire (CCS) MetaPhys, Folio (Stanford U.) XML & XQuery: BEA AquaLogic

NSystme de Gestion Multibases (SGMB )2. SGMB = SGBD muni du langage multibase Relationnels : SQL et QBE Principaux SGBDs MsAccess SQL et QBE multibases SQL multibase: SQL Server, Oracle, MySQL, DB2, Sybase, Interbase SQL (encore) monobase: PostgreSQLXML : Aucun SGMB connu

NInteroprabilitLes bases dun SGMB sont dites interoprables Elles peuvent ne pas ne pas tre a priori conues pour Nanmoins en gnral, il faut une coopration entre les DBA Dans les limites pratiques de compromis entre Autonomie locale / Autonomie MBDNArchitecture Fdre (Hambiger & McLeod, annes 1980)Toute BD doit tre autonomeEn gnral il n'y aura pas d'un GSL'intgration globale est contraire l'autonomieLes BDs utilises en commun doivent former une fdration de BDs autonomesNArchitecture Fdre (Hambiger & McLeod, annes 1980)Toute BD d'une fdration doit avoir trois schmas:ES: Schma d'Exportation: pour les donnes permises l'exportationIS: Schma d'Importation: pour les donnes importesPS: Schma Priv: pour l'ensemble de donnes prives, ES et IS inclusIl doit y avoir un Dictionnaire de Fdration (FD)NArchitecture Fdre (Hambiger & McLeod, annes 1980)

NComparaisonArchitecture MDB axe sur le concept de langage multibaseArchitecture Fdre axe sur le concept d'autonomiepas de notion de langage multibasemais il y a une notion d'autonomie aussi dans l'arch. MDBNComparaisonArchitecture MDB est + dcentralisepas d'quivalent de Dictionnaire de Fdrationplusieurs DSs pour ce rleLes deux architectures sont populairesContrairement aux nombreuses autres propositionsaujourd'hui oublies en pratiqueNComparaison MDB Fd

NAutonomie d'une base( autonomie locale)Facult de contrle de donnes d'une base locale par le DBANoms de donnesType de valeursStructures de donnesStructures physiquesExcution de requtesScuritPriorit aux requtes localesNAutonomie multibase Choix des aspects multibases Par un MBA (souvent une Comit) Mmes facettes que de l'autonomie localeModle commun, Certains nom de donnes... Peut gnrer un conflit avec l'autonomie localeB1B2B3NAutonomie multibaseSi conflit: Priorit l'autonomie locale Ou priorit lautonomie mbd Emploi dun mdiateur HTML au niveau MBD (CS), SQL-Server, MySQL au niveau BD (ILS) -> Sharepoint etc entre les deuxB1B2B3NAutonomie: solutions On na pas de baguette magique Probablement on naura jamais On propose des solutions limites Pour cas particuliers de chaque facette Cest dailleurs la dmarche gnrale en BDsNHtrognit smantiqueDiffrences dans les reprsentations de mmes proprits rellesNoms Andr AndrewTypes de valeurstype de reprsentationunit de mesure cm/s pied/hprcision 1 g 1 KgStructures de donnesune table en 2 NF plusieurs tables en 3 NFNHtrognit smantiqueDiffrences dans les reprsentations de mmes proprits rellesNoms Andr AndrewTypes de valeurstype de reprsentationunit de mesure cm/s pied/hprcision 1 g 1 KgStructures de donnesune table en 2 NF plusieurs tables en 3 NFNSolutions (partielles)Schmas + descriptifsProtocoles + descriptifsDictionnaires de donnesThesaurusConversion automatique de reprsentationsConversion automatique d'units Equijointures de valeurs prcision diff.Jointures implicitesNModle communRelationnel SQLMSQL et SchemaSQL (recherche)Federated Database (IBM)ODBC Microsoft & alCCS langage pour les bases documentairesNombreuses passerelles (gateways) vers SQLWeb 2 dit aussi Web Smantique Extended Web ServicesXML & XQueryRDF & SQL or RDQLNUniSQL/M (approche historique)UniSQL/MDB2OracleUniSQLIMSUniSQL/ tait un SGMB, mais pas un SGBDEDA-SQL tait un autre SGMB populaireNAujourdhui (par exemple)MsAccessOracleMsAccessSybaseDB2NLe prsent et lavenir proche

ODBC xNConclusion 2009Les bases de principaux SGBD ne sont pas BDRs, mais peuvent tre distribues et parallles Oracle GridSybase DB2 TeradataSQL ServerNConclusion 2009Les principaux SGBD sont dsormais en en gnral des systmes multibasesMsAccess OracleSybase DB2 MySQLInterbase...NConclusion 2009Certains sont aussi fdrsDB2MsAccess Une tables dite Attache est une vue importe Il y a aussi des SGMB wrappers Dj citsNConclusion 2009L'accs multibase ncessite nanmoins (toujours) de nouvelles fonctions au niveau de SGBD pour grerl'autonomie en gnrall'htrognit smantique en particulierla distribution physique de donnesOn na toujours pas de baguette magique Mais on progresseNConclusionLes solutions techniques sont bases sur:nouvelles architectures de rfrencearchitecture multibasearchitecture fdremodles communs de donnesODBC, XML ou RDFPasserelles directes de traduction de dialectes SQL MsAccess -> SQL Server, ParadoxOracle -> SQL Server, SybaseNConclusionLangages multibasesDialectes SQL MSQL, SchemaSQL (recherche) Nouveaux modles de transactionProtocoles et StandardsODBC, DCE, EWSTout a voir + en dtail dans la suite du coursdans les livres prsents durant le coursNExercicesDiffrence entre les notions dune BD, BDR, MBD et FBDs.Que est ce que cest une architecture de rfrence, ANSI-SPARC par exemple ?Diffrences entre larchitecture top-down, bottom-up, multibase et fdre.Commentez la notion de bases fdres dans DB2 V. 6 travers la description dans le Help de ce systme, de RedBooks sur le site web dIBM. Et sous Google en gnral. P. ex.http://www.ibm.com/developerworks/data/library/techarticle/0203haas/0203haas.htmlNExercicesConcevoir les ordres SQL ralisant la fragmentation de la base des htels du cours. De deux manires:1. Les fragments sous forme de commande Create Fragment as Select Into Base.Fragment From Hotels Where 2. Dfinir vue globale des fragments sous forme CREATE VIEW Hotels AS SELECTCommentez le concept dILS, de passerelle et de mdiateurQuel est le modle multibase le plus rpandu aujourdhui ?NExercicesCommentez le concept dautonomie locale (quoi, pourquoi, comment)Donnez des exemples de divers types dhtrognit smantiqueProuvez que lassociativit dquijointures nexiste plus si les valeurs joindre peuvent tre de prcision diffrenteLes consquences pour les SGBDs relationnels ?Proposez une extension de SQL introduisant les units de mesure et le traitement de requtes correspondant (sujet de Thse).NFINNN

Niveau interne

Univers reel

Niveau conceptuel

Niveau externe

ES

ES

PS

CS

Paris

Lyon

Internal layer

MDB layers

Conc. MDB layer

Ext. MDB layer

Usagers

CS

ES

ES

PS

CS

PS

CS

PS

CS

ILS

DS

DS

CS

ES

PS

PS

ES

IS

PS

ES

IS

PS

ES

IS

PS

ES

IS

Fig 3. Federated databases architecture

FD

Arch. MDBArch. Fd.MultibaseFderationAutonomieAutonomieLang. MDB GS GSCSPSES multibaseISES monobaseESILSESDSsDict. Fd.