Big Data Enjeux FS

Big Data; Hadoop/Mapreduce, NoSQL: quels enjeux pour les directions informatiques,

quelle réalité aujourd'hui ? François Stephan, Directeur Délégué du CRIP

Printemps de l'USF 2012: Présentation du CRiPPrintemps de l'USF 2012: Présentation du CRiP

Le Club des Responsables d’infrastructure et production informatique et leurs équipes En France En Europe

CTO Alliance Luxembourg

CRIP Rhône Alpes

CRIP Toulousain

Partenariat CRIP – CRI’Ouest

CTO Alliance UK

CTO Alliance Allemagne

CTO Alliance Suisse

CRIP Nord

Plus de 160 grands comptes, entreprises et administrations adhérents . Une communauté de plus de 1300 membres (responsables d’Infrastructure et de Production des grandes entreprises, experts ….)


Industrie

Indépendant des fournisseurs de technologies et services.

Grande représentativité des secteurs d’activité (quelques exemples) :

Grande Distribution

Banque/Assurances

Secteur PublicServices

DISIC


Une vingtaine de Groupes de Travail Vue d’ensemble


La réalité du Data Deluge

En 2010, 1,2 Zetaoctets de

données IT générés dans le monde

• Autant que depuis ledébut de l’informatique

• 50 % de plus qu’en 2009


Quelques définitions utiles…

1000 Gigaoctets (Go) ≈ 1 Teraoctets (To) 1000 Teraoctets ≈ 1 Petaoctets (Po) 1000 Petaoctets ≈ 1 Exaoctets (Eo) 1000 Exaoctets ≈ 1 Zettaoctets (Zo) 1000 Zettaoctets ≈ 1 Yottaoctets (Yo)


Pourquoi ce déluge de données ?

Mobile Web 2.0 Internet des objets & senseurs Numérisation de l’économie Données open source


Le Big Data en trois points1. Emergence de jeux de données de très grande taille qui excèdent

les capacités des outils classiques (SGBD, BI, Data Mining)

2. Famille d’outils capables de stocker, traiter et tirer parti de ces données

3. Pour TOUTES les entreprises et TOUTES les administrations(à la suite des domaines Scientifiques, Défense, Finances, Telcos, et Acteurs de l’Internet) (les Particuliers aussi !)

Exaoctets vs. GigaoctetsProduction continue

Peu (logs, xml) ou pas structurées (documents)Hétérogénéité des sources, formats, tags


Un peu d’histoire Dans les années 90, lorsque les SGBDR ont montré leurs limites dans le

domaine des traitements analytiques Teradata a développé une offre de bases de données à traitement massivement

parallèle qui distribuait les opérations sur de nombreux nœuds serveurs.

Sybase a pour sa part exploré la voie des bases en colonnes qui substituaient au modèle relationnel une approche simplifiée, ouvrant des possibilités de traitement analytique plus rapide, et de fonctionnement dit « en –mémoire (in-memory) ».

L’arrivée du Web 2.0 a fait le reste : de jeunes entreprises qui ne pouvaient pas accéder à ces coûteuses technologies ont développé leurs propres systèmes de bases en colonnes et de bases massivement parallèles (Big Data Management).

Cet aspect Infrastructures est complété côté client par une nouvelle famille d’outils de reporting et d’analyse, en particulier des outils de visualisation (Big Data Analytics)


De Nouveaux Outils: NoSQL, BigTable, MapReduce, SBA…

Le Décisionnel à la vitesse du

Transactionnel

Elastic Map Reduce


Quelques annonces récentes Oracle livre une première version de sa base de données NoSQL et annonce une appliance Big

Data basée sur Hadoop pour début 2012

IBM annonce un système analytique Big Data maison basé sur Hadoop, utilisable en mode internalisé ou Cloud, avec une interface de requêtes sur iPad. IBM propose aussi une offre de services analytiques Big Data : Infosphere Big Insight.

Microsoft annonce que SQL Server 2012 comportera des fonctions de traitement Big Data appuyées sur Hadoop

EMC annonce une Greenplum Modular Data Appliance, appliance analytique hybride capable de travailler avec des bases SQL et avec Hadoop.

Teradata a aussi annoncé un partenariat avec Cloudera pour associer ses technologies à Hadoop.

Informatica sort un parser pour Hadoop et s’associe avec Cloudera une star montante des services Hadoop

Le français Talend s’est aussi associé à Cloudera.

Une nouvelle version de Sybase IQ intègre une interface de programmation MapReduce et le support d’Hadoop.


Le Big Data et les DSI Compétences requises pour développer et

exploiter le Big Data: Linux/unix, Shell script Mecanismes JVM, Gestion de la mémoire, I/O Java,

programmation concurrente Traitements parallèles (MapReduce), search

Opérations sur plateformes x86 standards, bcpde machines plutôt que des machines puissantes


Opportunités et risques pour les Responsables Infrastructure et Production IT

Le Big Data = une excellente opportunité pour la Production IT de travailler en liaison plus proche avec les Métiers et leur proposer des solutions standards et robustes Renforcer ses capacités à anticiper, développer une vision d’ensemble des architectures techniques et d’entreprise, et exercer son talent pour traduire en exigences techniques les besoins des directions métiers et des DSI Palier au risque que DSI et directions métiers optent pour des solutions externes à l’entreprise non maîtrisées, sans impliquer DSI et Directions des Infrastructures et de la Production


Merci

[email protected]

fr.linkedin.com/pub/francois-stephan/22/4b1/540

Big Data Enjeux FS

Documents

Transcript of Big Data Enjeux FS