Hadoop Unitpar Khanh Tuong MAUDOUX
@jetoile
101/05/2023
Hadoop Unit
Qui je suis…• Khanh Tuong Maudoux
• Développeur Java, JavaEE, BigData indépendant
• blog : blog.jetoile.fr• @jetoile• [email protected]
201/05/2023
Hadoop Unit
Contexte
301/05/2023
Hadoop Unit
Contexte• Big Data : écosystème composé
éventuellement d’Hadoop mais pas que…
• Hadoop = HDFS + YARN?
01/05/2023 4
Hadoop Unit
Les « officiels »
01/05/2023 5
Hadoop Unit
Les spécifiques…
01/05/2023 6
Hadoop Unit
Et les « non officiels »…
01/05/2023 7
Hadoop Unit
Et nous…?
801/05/2023
Hadoop Unit
Et nous…?• Comment qu’on fait???– en mode de développement?– pour tester?– …
01/05/2023 9
Hadoop Unit
Et nous…?• Mais…– quand on est sous windows?– quand on travaille dans une « grosse société »
avec des process lourd et que l’on n’est pas admin?
01/05/2023 10
Hadoop Unit
Hadoop Unit
1101/05/2023
Hadoop Unit
Hadoop Unit• S’appuie sur Hadoop Mini Cluster (https://
github.com/sakserv/hadoop-mini-clusters)• Supporte :
– Hdfs– Zookeeper– Hivemetastore– Hiverserver2– Solr 6.1.0– SolrCloud 6.1.0– Oozie– Kafka 0.10.0– HBase– MongoDB– Cassandra 3.4– Elasticsearch 5.0.0-alpha4
01/05/2023 12
Hadoop Unit
Hadoop Unit• Compatible avec les REPL :– HDFS– Kafka– HBase Shell– Hive Shell
• Fonctionne sous Linux/Mac/Windows
01/05/2023 13
Hadoop Unit
Hadoop Unit• Démarre dans une même JVM les
composants nécessaires– En mode embedded (setup de test)– En mode standalone (en tache de fond)
01/05/2023 14
Hadoop Unit
Hadoop Unit• En mode embedded :
01/05/2023 15
Hadoop Unit
Hadoop Unit• En mode standalone :
01/05/2023 16
Hadoop Unit
Hadoop Unit• Avec Maven en phase de pré-integration :
01/05/2023 17
Hadoop Unit
Questions ?
1801/05/2023
Hadoop Unit
Merci !
1901/05/2023
Top Related