Projet Big Data.pptx
-
Upload
jeremy-carrat -
Category
Documents
-
view
18 -
download
1
Transcript of Projet Big Data.pptx
Projet Big Data
Récupération et analyse de données Flickr
But du progrès Récupérations des données de Flickr sur les
principales ville du monde. Stocker les données Analysé celle-ci
Outils API Flickr Talend Cloudera
L’API de Flickr
flickr.places.find
Recherche le place_id en fonction du nom d’une ville
flickr.photos.search
Recherche des photos par place_id
flickr.photos.getInfo
Recherche des informations complètes sur une photo
flickr.photos.getExif
Recherche les metatags d’une photo
Récupérations des données - Principe On passe une liste de place_id récupéré au prèalable. On créer une boucle à partir de celle-ci Pour chaque boucle on interroge l’API Flickr pour
recherche les 500 dernières photos de la ville recherché
Puis pour chaque photo trouvé on récupères ses informations comme : NSID Localisation Server hebergé Nom du propriétaire de la photo …
Une fois les informations trouvé il sont enregistré un à un dans un fichier csv.
Récupérations des donnéesListe des place_id
Cherche les photos
Cherche infos sur la photo
Exporte les données
tSetGlobalVar
Stock ma liste de ville à chercher sous la forme de place_id interprétable par la recherche de Flickr
tJavaFlex
Crée une boucle sur ma variable dico vu précédemment et va construire un lien unique pour chaque recherche.
Utilisation de la variable « dico »
Crée un lien en fonction de la
boucle
Déclaration de mes variables
portés
tREST
Récupération de mon lien créer dans la boucle
précédente
tExtractXMLFields
Création des variables
Xpath principal du XML
Assignation du contenu du XML dans les variables