Développer une application Big Data avec Hadoop

Explorer les sources d'Hadoop

Testez gratuitement nos 1271 formations

pendant 10 jours !

Tester maintenant Afficher tous les abonnements
Afin de développer et de déboguer plus efficacement vos modèles MapReduce sous Hadoop, naviguez dans le code source d'Hadoop sous Eclipse.
02:47

Transcription

Il peut être très utile pour nous aider lors du développement de MapReduce d'avoir accès aux sources d'Hadoop afin non seulement de trouver les signatures des méthodes complètes mais également par exemple les commentaires qui peuvent y être ou alors de voir même comment cela fonctionne. Pour cela, il faut télécharger les sources directement. Et dans le cadre de Cloudera, je vous recommande d'utiliser les Tarballs. Alors nous pouvons aller directement sur le site de Cloudera trouver la Tarball correspondant par exemple à Apache Hadoop. Nous allons la télécharger et nous allons l'extraire sur notre poste. Bien entendu, si vous utilisez également Apache Hbase, dans ce cas-là, je vous invite à faire la même chose pour la Tarball de Hbase présente sur le site de Cloudera et pour la version que vous utilisez. Alors une fois que notre fichier va être téléchargé nous allons pouvoir l'extraire directement notamment, dans Downloads. Alors nous allons extraire le [temps] également. Alors à présent, l'idée est de configurer Eclipse pour lui dire que les sources sont à cet endroit-là. Alors prenons par exemple, notre driver. Et nous voulons en connaitre un petit peu plus sur notre objet Job, notamment la méthode GetInstance, savoir ce qu'elle fait. Nous pouvons pour cela faire un Control, plus un clic dessus ou appuyer simplement sur la touche F3, qui va faire la même chose. Ça va rentrer dedans, donc afficher la source. Et actuellement, comme nous n'avons pas de source, UnCloud décrit uniquement ce qu'il a, c'est-à-dire, le point classe. Pour cela, on peut faire un Attache Source où on va lui dire que les sources sont dans une Location externe et on va pointer vers le répertoire contenant les sources. Donc pour nous, c'est dans UnCloudera Downloads avec le répertoire et on va choisir « src ». On peut mettre tout le répertoire et il va automatiquement trouver la source correspondant à cette classe. Alors il nous a ouvert le bon fichier mais il ne nous a pas mis au bon endroit. C'est normal la première fois. Il faut donc la fermer et rouvrir la fenêtre. En l'occurrence, on voit bien GetInstance. Et on peut désormais naviguer dans les sources directement de Hadoop, voir notamment, toutes les descriptions, tous les commentaires, les signatures complètes et voir ce que fait le code pour de vrai. À chaque fois, n'hésitez pas à utiliser la touche F3 ou la touche du « Control + clic » à proprement parler et n'hésitez pas à bien regarder à chaque fois, ce qui est déprécié. En effet, à chaque fois que c'est déprécié, généralement, vous avez un commentaire qui vous indique ce qu'il faut utiliser à la place.

Développer une application Big Data avec Hadoop

Concevez une application Big Data avec la suite Hadoop. Stockez des données dans l'HDFS et dans HBase, traitez-les en MapReduce sous YARN, exportez-les dans MySQL via Sqoop, etc.

2h31 (25 vidéos)
Aucun commentaire n´est disponible actuellement
 

Votre formation est disponible en ligne avec option de téléchargement. Bonne nouvelle : vous ne devez pas choisir entre les deux. Dès que vous achetez une formation, vous disposez des deux options de consultation !

Le téléchargement vous permet de consulter la formation hors ligne et offre une interface plus conviviale. Si vous travaillez sur différents ordinateurs ou que vous ne voulez pas regarder la formation en une seule fois, connectez-vous sur cette page pour consulter en ligne les vidéos de la formation. Nous vous souhaitons un excellent apprentissage avec cette formation vidéo.

N'hésitez pas à nous contacter si vous avez des questions !