Développer une application Big Data avec Hadoop

Lancer son workflow avec l'API HTTP REST

Testez gratuitement nos 1300 formations

pendant 10 jours !

Tester maintenant Afficher tous les abonnements
Utilisez des requêtes HTTP pour lancer, suivre et contrôler votre application grâce à l'API REST d'Oozie.
03:14

Transcription

Alors notre « workflow oozie » est désormais terminé, cependant il est potentiellement problématique de devoir le lancer grâce à la commande « oozie ». En effet nous allons vouloir le lancer de n'importe où, notamment de serveur Web et on n'a pas forcément à notre disposition la commande « oozie ». Alors, pour ce faire, je vous propose de rajouter juste devant notre commande « oozie » une variable d'environnement « oozie debog » qu'on va initialiser. Et on voit tout de suite qu'en fait, il nous donne des détails sur ce qu'il fait, notamment qu'il utilise en fait une API HTTP pour faire un appel-post directement sur cet URL, donc notre fameux URL d'oozie/v2/jobs avec une action start et en passant les propriétés qu'on lui donne dans le fichier « Processor.properties », mais qui sont mises ici, en format xml. Nous allons donc pouvoir utiliser cela pour pouvoir directement passer à Oozie des commandes sans passer par la commande d'Oozie, mais en passant par l'API RESTE. Alors, pour ce faire nous allons devoir commencer par retranscrire notre fichier le « processor.properties », en un fichier xml et donc, simplement en créant ici un nouveau fichier. Par exemple, « processor.xml » et en mettant toutes nos propriétés comme nous l'avons mis de l'autre côté, par exemple, « measure », etc. Une fois ce fichier fait, nous allons pouvoir faire un appel curl directement pour appeler notre Oozie. Alors, nous allons faire un appel curl, nous allons nous mettre en mode verbeux. Il faut bien penser à mettre le type de requête HTTP en Post et passer le Header « Content-type » à « application xml » permettant de spécifier à Oozie qu'on lui passe du xml en entrée. Donc, grâce à « -d » on va dire qu'on fournit le contenu du fichier « home/cloudera/workspace /MonApp/src/processor.xml ». Et nous enlevons l'espace juste devant l'@ qui nous servait à avoir l'autocompression et nous pouvons appeler l'URL qui nous avait été indiqué directement donc, c'est-à-dire notre URL d'Oozie suivi de V2/jobs/action start. Et nous voyons tout de suite qu'Oozie nous ressort d'Oozie-zone avec l'identifiant du job qui a été ainsi démarré. Grâce à cela nous pouvons appeler Oozie est lancé nos jobs ainsi que suivre leur état directement grâce à l'API RESTE et le faire par exemple, simplement en PHP.

Développer une application Big Data avec Hadoop

Concevez une application Big Data avec la suite Hadoop. Stockez des données dans l'HDFS et dans HBase, traitez-les en MapReduce sous YARN, exportez-les dans MySQL via Sqoop, etc.

2h31 (25 vidéos)
Aucun commentaire n´est disponible actuellement
 

Votre formation est disponible en ligne avec option de téléchargement. Bonne nouvelle : vous ne devez pas choisir entre les deux. Dès que vous achetez une formation, vous disposez des deux options de consultation !

Le téléchargement vous permet de consulter la formation hors ligne et offre une interface plus conviviale. Si vous travaillez sur différents ordinateurs ou que vous ne voulez pas regarder la formation en une seule fois, connectez-vous sur cette page pour consulter en ligne les vidéos de la formation. Nous vous souhaitons un excellent apprentissage avec cette formation vidéo.

N'hésitez pas à nous contacter si vous avez des questions !