Développer une application Big Data avec Hadoop

Déboguer les modèles MapReduce

Testez gratuitement nos 1324 formations

pendant 10 jours !

Tester maintenant Afficher tous les abonnements
Vérifiez les journaux (logs) de vos modèles MapReduce en lisant les sorties stdout, stderr et syslog de leurs tâches respectives.
04:18

Transcription

Afin de « débugger » une application, il peut être intéressant de « logger » des choses, de journaliser des évènements et de vérifier quels sont les évènements qui se passent. Pour cela, nous pouvons aller, directement, dans l'interface Web, regarder nos « Mapper » et nos « Reducer », pour ouvrir leurs interfaces dédiées et regarder les journaux. On voit trois types de journaux, « stderr », « stdout » et « syslog ». On voit ce qui a été écrit par le système « Reduce ». Mais, nous pouvons rajouter nos propres entrées. Ainsi, par exemple, allons dans la classe « AggregatorReducer » et rajoutons des « Log ». Nous pensons que nous avons un problème à cet endroit et nous voulons, simplement, « débugger », voir l'évolution du « totalValues » et du « countValues ». Pour cela, rien de plus simple, nous pouvons utiliser un « sysout », un « System.out.println » et afficher les valeurs que nous voulons. On peut faire, un « System.out.println » de « value.get ». Mais, également, de « totalValue », alors, plus exactement, pour que cela soit plus lisible, nous allons mettre : « Je rajoute : "+ value.get » et cela donne... Pour bien différencier nos « for », on va mettre un petit séparateur. On peut, alors, relancer notre « Job », après l'avoir, précédemment, recompiler ou alors réexporter sous forme de « JAR ». Et, nous allons avoir ces lignes qui vont s'afficher dans les journaux. Ainsi, laissons notre « Job » tourner et nous allons les voir arriver. Nous allons aller sur notre « Job ». C'est terminé. Et, nous allons voir dans les « Reducer », donc, ici, il n'y a rien, ici, non plus, ici, non plus, il n'y a rien, nulle part. C'est plutôt gênant, effectivement, on a mis cela dans « Average », alors que l'on utilise l'opérateur « SUM » On peut recommencer, en faisant la même chose sur « SUM », et voir l'évolution de « result », directement sur le « Job ». On n'oublie, surtout pas, de supprimer le répertoire de sortie, avant de relancer le « Job ». En effet, c'est une erreur courante et souvent embêtante, surtout, si on fait un enchaînement de « Map-Reduce ». On peut, de nouveau, suivre l'évolution de notre « Job » dans l'interface, pour voir, cette fois-ci, le journal. Nous allons nous y rendre directement. Nous arrivons sur notre « Job » qui s'est terminé et nous pouvons regarder la sortie de « Reducer ». Nous voyons « stderr » qui est vide, puisque nous avons utilisé « system.out » et non pas « system.err ». Et, dans « stdout », on voit, uniquement, les dernières entrées, on peut cliquer, justement, sur ce lien, pour voir l'intégralité du journal de ce que l'on a « Loggé ». On voit, à chaque fois, un ensemble de tirets, puis, notre compteur qui augmente, au fur et à mesure. Nous avons vu, ainsi, comment « Logger » et cela est très utile, afin de « débugger » et de pouvoir suivre ce qu'il se passe dans vos « Reducer » pendant que vos « Reducer » sont appelés.

Développer une application Big Data avec Hadoop

Concevez une application Big Data avec la suite Hadoop. Stockez des données dans l'HDFS et dans HBase, traitez-les en MapReduce sous YARN, exportez-les dans MySQL via Sqoop, etc.

2h31 (25 vidéos)
Aucun commentaire n´est disponible actuellement
 
Logiciel :
Spécial abonnés
Votre/vos formateur(s) :
Date de parution :4 avr. 2017
Durée :2h31 (25 vidéos)

Votre formation est disponible en ligne avec option de téléchargement. Bonne nouvelle : vous ne devez pas choisir entre les deux. Dès que vous achetez une formation, vous disposez des deux options de consultation !

Le téléchargement vous permet de consulter la formation hors ligne et offre une interface plus conviviale. Si vous travaillez sur différents ordinateurs ou que vous ne voulez pas regarder la formation en une seule fois, connectez-vous sur cette page pour consulter en ligne les vidéos de la formation. Nous vous souhaitons un excellent apprentissage avec cette formation vidéo.

N'hésitez pas à nous contacter si vous avez des questions !