Développer une application Big Data avec Hadoop

Suivre les modèles MapReduce

Testez gratuitement nos 1271 formations

pendant 10 jours !

Tester maintenant Afficher tous les abonnements
Suivez l'état et l'évolution des tâches grâce aux informations chiffrées et agrégées des compteurs Hadoop.
03:40

Transcription

Alors, lorsque notre « Map Reduce » s'exécute, sur la plateforme [-], nous voyons afficher dans la console les compteurs qui s'affichent, à la fin. Nous avons beaucoup de compteurs très intéressants, notamment le nombre de « Mapper » lancés et le nombre de « Reducer » lancés. On a également le nombre de « records » en entrée. Ici, on sait que le « Mapper » a récupéré, en entrée, « 1483608 records ». Soit, un million et demi de lignes provenant [-], à peu près, et qu'il a généré, environ, cinq millions de « records », en sortie. On a donc, les « Reducer » qui ont dû prendre les cinq millions de « records », en entrée, ce qui est logique, c'est le même nombre. Mais, qui ont été regroupés. On a, donc, des groupes et on a uniquement 29527 groupes. Donc, 29527 appels aux méthodes « Reduce ». Et, le « Reducer » a ressorti 29527 clefs-valeur. Effectivement, dans notre « Reducer », on ressort une clef-valeur par groupe. Donc, tout cela, ce sont des compteurs très intéressants pour suivre l'évolution, pour suivre, également, ce que le « job » a fait et comment il s'est comporté. On les voit, à la fois, dans la console où on le lance, mais également dans l'interface de suivi, si nous y allons. Et, tout au long de la vie de notre « Map Reducer », c'est-à-dire que même pendant qu'il s'exécute, on voit les compteurs en temps réel. Attention, d'ailleurs, si des tâches, des « Mapper » ou des « Reducer » « Failed », c'est-à-dire plante, on va avoir, par exemple, le nombre de « Map input records », qui va devoir ignorer cette tâche et, donc, il va descendre, d'un coup. Alors, on me dit, quand même, dans l'interface, on a le détail, pour le voir, pour chaque tâche. En effet, ici, on regarde le « MAP_INPUT_RECORDS », ils ne sont que sur le « Mapper ». Si on regarde le « REDUCE_INPUT_GROUPS », on va voir la répartition sur chaque « Reducer ». Alors, tout ceci est très intéressant, mais il peut être encore plus intéressant de créer nos propres compteurs. C'est facilement faisable en se positionnant dans le « Mapper » ou le « Reducer » et en utilisant la méthode « getCounter » sur le contexte. Ainsi, par exemple, on peut s'imaginer créer un compteur pour savoir le nombre de fois que l'on passe dans ce « catch ». C'est-à-dire que l'on n'arrive pas à « parser » la date. Pour cela, rien de plus simple, on fait « context.getCounter » alors, soit on passe deux « String » qui vont correspondre, en fait, à la première, ici, au groupe de compteur et la seconde, au nom du compteur. Soit, on passe un « Enum », une valeur d'« Enum » et, dans ce cas-là, le groupe de compteurs sera la classe et la valeur du compteur l'entrée dans l'« Enum ». Donc, ici, on va passer « monapp » et dire le compteur « date invalide ». De la même façon, on peut compter un grand nombre de choses. Par exemple, le nombre de fois que l'on est passé dans ce « try catch » ou le nombre de fois que l'on est passé dans chacun de ces « case ». Cela va nous permettre de, facilement, « débugger » notre application et suivre exactement, ce qu'il s'y passe.

Développer une application Big Data avec Hadoop

Concevez une application Big Data avec la suite Hadoop. Stockez des données dans l'HDFS et dans HBase, traitez-les en MapReduce sous YARN, exportez-les dans MySQL via Sqoop, etc.

2h31 (25 vidéos)
Aucun commentaire n´est disponible actuellement
 

Votre formation est disponible en ligne avec option de téléchargement. Bonne nouvelle : vous ne devez pas choisir entre les deux. Dès que vous achetez une formation, vous disposez des deux options de consultation !

Le téléchargement vous permet de consulter la formation hors ligne et offre une interface plus conviviale. Si vous travaillez sur différents ordinateurs ou que vous ne voulez pas regarder la formation en une seule fois, connectez-vous sur cette page pour consulter en ligne les vidéos de la formation. Nous vous souhaitons un excellent apprentissage avec cette formation vidéo.

N'hésitez pas à nous contacter si vous avez des questions !