Le 14 septembre 2017, nous avons publié une version actualisée de notre Politique de confidentialité. En utilisant video2brain.com vous vous engagez à respecter ces documents mis à jour. Veuillez donc prendre quelques minutes pour les consulter.

L'essentiel de Hadoop

Utiliser les InputStream Java

TESTEZ LINKEDIN LEARNING GRATUITEMENT ET SANS ENGAGEMENT

Tester maintenant Afficher tous les abonnements
Accédez aux fichiers en lecture ou en écriture à l'aide des InputStream et OutputStream, ouverts directement dans HDFS.
03:57

Transcription

Nous allons voir à présent non plus comment transférer des fichiers d'un système de fichier local vers l'HDFS, mais accéder directement au contenu grâce à des input stream et output stream en Java. Donc, pour cela, nous allons toujours nous appuyer sur un file system que nous aurons bien initialisé avec une URI contenant le protocol et les informations sur le serveur, et une fois sur ce file system, nous allons utiliser par contre d'autres méthodes, tel que la méthode Open. La méthode Open va nous permettre d'ouvrir un fichier et va nous ressortir un FS data input stream, donc un file system data input stream. Cette méthode Open prend un path, donc on va faire un new path directement sur l'URI, et on va stocker cette instance ressortie dans un input stream qu'on va appeler input. Alors, sur cet input stream, on va pouvoir l'utiliser directement pour l'afficher comme on le fait de façon classique en Java. Donc, ici, ça veut dire le plus simple, c'est de passer par un buffer reader par exemple, en l'instanciant, new buffer reader, et en l'instanciant sur un input stream reader qui va permettre de prendre en entrée notre input. Ce buffer reader, on va le parcourir tant qu'il y a des données et qu'il est prêt à nous les donner, par exemple, tant que br.readline et nous allons faire un sys out, donc system.out.println, de br.readline. Ainsi donc, notre buffer reader va à chaque fois lire une ligne de noter input stream reader qui lui-même est configuré sur notre input stream. On va lancer notre programme et on voit qu'il affiche le contenu de notre fichier, alors cependant, ce contenu est zippé et donc nous pose problème effectivement, parce qu'on n'arrive pas à le lire comme ça. Nous allons demander à Hadoop de nous le décoder. Pour ça, il y a une classe qui s'appelle le compression codec sous Hadoop. Pour l'instancier, on va utiliser un compression codec factory du package org.apache. hadoop.io.compression. Cette factory, nous allons l'instancier de façon très simple, avec toujours juste la configuration qu'on va lui passer en premier argument. Sur la factory, on va faire la méthode get codec, directement sur le path qui va permettre de découvrir le codec, à partir du nom du fichier. Cette méthode get codec va nous retourner un compression codec que l'on va enregistrer dans une instance codec. Et sur ce codec, nous allons pouvoir faire plusieurs méthodes dont, par exemple, le create input stream, qui va prendre en entrée directement notre input stream et qui va retourner lui-même un input stream. On peut donc remplacer notre input string par un input. On va lancer ce code et on voit que que désormais, on a bien notre entrée décompressée qui a été lue en Java via un input stream. Bien entendu, ça se passe exactement de la même façon pour écrire dans les fichiers, avec la possibilité d'avoir des output stream et des compression codec qui ont des create input stream.

L'essentiel de Hadoop

Mettez en pratique les concepts spécifiques à Hadoop. Abordez l'HDFS pour le stockage, les MapReduce pour le traitement, ainsi que la base de données NoSQL d​e Hadoop : HBase.

3h43 (42 vidéos)
Aucun commentaire n´est disponible actuellement
 
Logiciel :
HBase HBase 1.2
Spécial abonnés
Date de parution :31 mars 2017

Votre formation est disponible en ligne avec option de téléchargement. Bonne nouvelle : vous ne devez pas choisir entre les deux. Dès que vous achetez une formation, vous disposez des deux options de consultation !

Le téléchargement vous permet de consulter la formation hors ligne et offre une interface plus conviviale. Si vous travaillez sur différents ordinateurs ou que vous ne voulez pas regarder la formation en une seule fois, connectez-vous sur cette page pour consulter en ligne les vidéos de la formation. Nous vous souhaitons un excellent apprentissage avec cette formation vidéo.

N'hésitez pas à nous contacter si vous avez des questions !