Matin©e 01 Big Data

download Matin©e 01 Big Data

of 128

  • date post

    04-Jun-2015
  • Category

    Business

  • view

    2.185
  • download

    0

Embed Size (px)

Transcript of Matin©e 01 Big Data

  • 1. le Mardi 14 fvrier 2012Matine 01BIG DATA

2. 9h00 09h15 - OUVERTUREQuentend-on rellement par BigData ?ParOlivier Rafal, directeur de recherche chez Pierre Audoin Consultants 3. Big DataConcept et perspectives :la ralit derrire le buzz 4. SommaireI. Perspectives marchDfinition du Big DataExemple concretII. Perspectives technologiquesPourquoi le NoSQL et HadoopLaprs Big Data 5. PAC en bref:lanalyse du march informatique depuis 35 ans ! De la stratgie lexcution, PAC offre des rponses objectives aux dfis de croissancedes acteurs des TICPAC est une socit de conseil et dtudesde march spcialise dans le domaine dulogiciel et des services informatiquesPlus de 35 ans dexpriencePAC aide:- Les fournisseurs de services informatiques optimiser leurs stratgies en offrant desanalyses quantitatives et qualitatives ainsique des prestations de conseil oprationnelet stratgique.- Nous conseillons les DSI et les investisseurs Plus de 30 pays couvertsdans lvaluation des fournisseurs TIC et leurs6 bureaux PACprojets dinvestissements.- Les organisations et les institutionspubliques se rfrent galement nos tudescibles pour dvelopper et mettre en place leurspolitiques informatiques.Dernires actualits PAC sur notre blog : http://blog.pac-online.com/ 6. PAC en bref:suivi particulier de la Business Intelligence 7. PERSPECTIVES MARCH 8. Le Big Data, cest au choix Un buzz orchestr par les fournisseurs de technologies, les On verra quand on aura des analystes et les mdias Ptaoctets de donnes grer Lavenir de la BI, la rponse tous les Une volution problmes naturelle Seulement utile aux Rserv aux grands comptes quelques grands acteurs du Web Uniquement li la technologie Hadoop 9. Big Data : une volution naturelleNouvelles sources de donnes Importance desExplosion du(M2M, Open Data, Science)conversations UGC Big Data : intgrer ces volutions et contraintes pour Mtriques Acclrationapplicativestransformer les donnes en des cycles de orientesinformation exploitable dans ledcision businesscadre de son business Dmocratisation de la BIPatrimoine informationnel non structur/ Dcouverte 10. Big Data : les problmatiques de M. Jourdain Volumtrie : gestion de stocks, gestion de commandes,transport/logistique/RFID, transactions financires, services grandpublic Varit : CRM / Marketing / SAV, communication financire Vlocit : Mode, Jeu, Electronique grand public, gestion desstocks, gestion des commandesMieux connatre son clientAmliorer son offreAgir avant la comptition 11. Exemple concret de Big Data Kobojo, PME franaise Jeux pour les rseaux sociaux Evolutions quotidiennes Indicateurs techniques : 300 400millions de donnes par jour et par jeu Au-del ? Facebook,Twitter 12. PERSPECTIVES TECHNOLOGIQUES 13. Le point de dpartBase OLTP DatamartDatawarehouse?Contenu nonstructur 14. Big Data : perspectives technologiquesDes systmes traditionnels au NoSQL Problmatique apparue il y adataune dizaine dannes chez lesApplicationsgros producteurs de data analytiquesdonnes : Finance, Retail,Services online dataHadoop / Besoin de solutions plus Mapperformantes que les SGBDRReducestandards pour ce besoindataparticulier de volumtrie Base danalyse Not Only SQLdata Consensus sur Hadoop /MapReduce 15. Big Data : perspectives technologiquesDu NoSQL au futur SQL ? Maturit du march Hadoop IBM : InfoSphere BigInsights Oracle : Big Data Appliance (avec Cloudera) Microsoft : exit Dryad, bonjour Hadoop Informatica : Data Integration Platform for Hadoop Besoins non couverts par Hadoop transactions ACID SQL comme langage dinteraction Mcanismes de verrouillage non bloquants 16. Big Data : perspectives technologiques Quand le Big Data deviendra la norme Emergence de nouvelles solutions In-Memory SSD CEP (CloudScale) Moteurs de stockage (Xeround, GenieDB) SQL nouvelle gnration (VoltDB, Clustrix) Qui prfigure une assimilation progressive ! 17. Lvolution possibleContenu Web Data asaMoteur de servicerecherches / BI visuelle / text Dataanalytics flux CNoSQL / Data NewSQL fluxE P DataApplications ETL/ analytiques flux DataQuality ? DatawarehouseContenu DB 18. Olivier RafalDirecteur de recherches, Marchs logicielsInformation Managemento.rafal@pac-online.com @olivierrafalMERCI ! 19. 09h15 09h50 - TABLE RONDEBig Data : juste un concept ou une rponse de rels besoins ?Attentes et UsagesPour quels types dentreprise et de besoins ?Remplaant du datawarehouse traditionnel ?Quid du temps rel et du transactionnel ?Avec Jacques Milman, expert avant-vente Big Data et analytique chez IBMDominique Girardot, directeur dAnteo, Groupe SodifranceFranois Gurin, directeur technique chez Sybase 20. 09h50 10h10 - Avis dexpertPourquoi et comment intgrer les volumineusesdonnes du Web (rseaux sociaux, e-commerce)dans son systme dinformation dcisionnel ? Quels services de lentreprise sont concerns ? Le triptyque Big Transaction Data- Big Interaction Data- Big Data Processing(Hadoop) Le MDM, pierre angulaire dun SI destin aux utilisateurs mtierAvec Bruno Labidoire, directeur technique Europe du Sud chez Informatica 21. #BigData, au-del du concept marketingBruno Labidoire Directeur Technique, Europe du Sud21 21 21 22. Big DataUne convergence de 3 domainesBIG TRANSACTION DATABIG INTERACTION DATA OnlineOnline Analytical Donnes des Transaction Processingmdia sociaux Processing (OLAP) & Tickets dappels, (OLTP) DW AppliancesClick stream, etcDonnes scientifiques CapteursBIG DATA PROCESSING2222 23. Big Transaction DataBases relationnelles et analytiquesBIG TRANSACTION DATAOnlineOnline AnalyticalTransaction ProcessingProcessing(OLAP) &(OLTP) DW AppliancesOracle EMC GreenplumDB2TeradataBritton-LeeRedbrickIngres EssBaseInformix Sybase IQSybase NetezzaSQLServerDataAllegro Asterdata Vertica Paraccel Hana2323 24. Le dcisionnel proactif On peut par exemple dfinir de nouvellescampagnes potentielles associes ces mdiasociaux !American Express a aid les PME augmenterleurs revenus dannes en annes de 28%pendant le week-end suivant Thanksgiving avecSmall Business Saturday une campagneimpliquant 1,5 million de fans Facebook 24 24 25. Les challengesLes donnes issues des mdia sociaux peuvent trecolossales!InteractionsTransactionsSource: An IDC White Paper - sponsored by EMC. As the Economy Contracts, the Digital Universe Expands. May 2009.. 25 25 26. Rseaux sociauxUn potentiel en pleine croissance ConsommateurEntrepriseConsommateurs utilisant les principaux RseauxSociaux 2004-20111,000 900 800 700 600 500 400 300 200 100 02004 2005 2006 2007 20082009 2010 2011Facebook LinkedInTwitter2626 27. Rseaux sociauxDes formes multiples 27 27 28. Rseaux sociaux Comment profiter de ces grands volumes dinformations ?CurriculumExtraireCurriculum Analyser CurriculumGrer Curriculum Associer 28 28 29. Rseaux sociaux Comment profiter de ces grands volumes dinformations ?T_Young Tony Y.iDroidBerry 9800 challenged meeting our enterprise security requirements andbattery life is also area of concern.CurriculumExtraireCurriculum Analyser CurriculumGrerCurriculumAssocier 29 29 30. Rseaux sociaux Comment profiter de ces grands volumes dinformations ? Entity Extraction & Identity Resolution T_Young = Tony YoungRelationship Resolution Tony Young works @ Informatica Relationship Analysis Tonys Sphere of Influence, CIO @ INFA Sentiment Scoring Enterprise Security -3.5, Battery Life -3.2CurriculumExtraireCurriculum AnalyserCurriculum Grer CurriculumAssocier3030 31. Rseaux sociaux Comment profiter de ces grands volumes dinformations ?Databases InformaticaMDMExternal Data Applications ClientProduit Providers DataCurriculumExtraireCurriculum AnalyserCurriculum Grer CurriculumAssocierWarehousesOperationalApplications 31 31 32. Big Transaction DataComment profiter des donnes transactionnelles ?Cloud ComputingEnterprisePartner Trading Network(B2B)WarehousesSWIFT NACHA HIPAA Cloud ComputingPartner Data Application Database UnstructuredCurriculumExtraire CurriculumDcouvrirCurriculumNettoyerCurriculumIntgrerCurriculum Analyser3232 33. Big Transaction DataComment profiter des donnes transactionnelles ? Cloud ComputingEnterprise Partner Trading Network(B2B)CurriculumExtraire CurriculumDcouvrir Curriculum NettoyerCurriculum Intgrer Curriculum Analyser 33 33 34. Big Transaction DataComment profiter des donnes transactionnelles ? Cloud ComputingEnterprise Partner Trading Network(B2B)COMPLETENESSCONFORMITY CONSISTENCYDUPLICATION INTEGRITYACCURACYCurriculumExtraire CurriculumDcouvrirCurriculumNettoyer Curriculum Intgrer Curriculum Analyser 34 34 35. Big Transaction DataComment profiter des donnes transactionnelles ? Cloud ComputingEnterprise Partner Trading Network(B2B)CurriculumExtraire CurriculumDcouvrir Curriculum NettoyerCurriculum Intgrer Curriculum Analyser 35 35 36. Big Transaction DataComment profiter des donnes transactionnelles? Cloud ComputingEnterprise Partner Trading Network(B2B)CurriculumExtraire CurriculumDcouvrir Curriculum NettoyerCurriculum Intgrer Curriculum Analyser 36 36 37. Big Data ProcessingQuapporte Hadoop ? Une monte en puissance conomique Fonctionne sur des fermes de serveurs banaliss Supporte tous les types de donnes Structur, Semi-structur et non structur Extensible Interfaces (APIs) ouvertes permettant dimplmenter une logique spcifique 37 37 38. Big Data ProcessingConnectivit Hadoop par InformaticaAnalyse de Dtection des Analyses Analyses desSmart DevicesSentiment fraudes Predictives risques Hadoop Cluster ConnectivitHadoop (HDFS) Load data to Hadoop from any source Extract data from Hadoop to any targetWeblogs, Mobile Databases, DatSemi-structured Cloud Applications,Data, Sensor Data a WarehousesUnstructuredEnterprise ApplicationsSocial Data3838 39. Un exemple de mise en uvre dansle dcisionnel39 3939 40. Le dcisionnel classique La qualit des donnes est globalement gale celle des systmes oprationnels Les indicateurs sont disponibles J+1 Les donnes clients/prospects peuvent tre p