L'essentiel de Hadoop

Parcourir l'écosystème Hadoop

Testez gratuitement nos 1300 formations

pendant 10 jours !

Tester maintenant Afficher tous les abonnements
Partez à la découverte de l'écosystème Hadoop. Faites un tour d'horizon des outils disponibles et de leur usage.
03:42

Transcription

Hadoop est un Framework, c'est-à-dire une collection d'outils destinés à faciliter le stockage et le traitement de très fortes volumétries de données. De ca fait-là, Hadoop est composé de plein de briques qui s'assemblent entre elles, dont certaines sont forcément requises et d'autres optionnelles. Les premières briques sont notamment l'HDFS, donc le système de fichiers distribués d'Hadoop qui permet de stocker les données sur un cluster de manière distribuée, redondée, et répartie sur un ensemble de serveurs. La seconde brique essentielle va être le traitement des données via soit, les MapReduce v1, soit YARN, Yet Another Resource Manager, qui nous permet à proprement parler, d'appliquer des MapReduce directement sur les données, et donc de traiter les données stockées dans l'HDFS. Ces deux premières couches représentent le cœur d'Hadoop, le Kernel à proprement parler du Framework. Et autour de cela, plein d'outils vont pouvoir utiliser ces deux premières couches afin d'augmenter les capacités, et les possibilité sur Hadoop. Notamment, on va pouvoir interroger les données de la même façon qu'on le ferait par exemple en SQL, grâce à du Hive, ou les traiter directement grâce à du Pig. Ces deux outils sont des outils d'interrogation qui permettent d'appliquer directement des Map and Reduce de façon native sur des données stockées dans l'HDFS. On peut également avoir une base de données NoSQL qui est HBase, la base de données NoSQL d'Hadoop, qui va nous permettre de stocker les données cette fois-ci directement en base, de manière semi-structurée et non pas dans un système de fichiers comme l'HDFS. HBase pour autant, se positionne au dessus de l'HDFS, notamment pour la distribution. On va également avoir par exemple Zookeeper qui est une base de données NoSQL spécialisée notamment pour les très fortes performances et les très faibles latences sur de très faibles volumes de données. De ce fait-là, ça en fait une base de données très adaptée pour la gestion notamment des systèmes de haute disponibilité. Zookeeper va être essentiel pour le bon fonctionnement de HBase notamment, mais également de la haute disponibilité des couches de Framework Hadoop, notamment de l'HDFS, de YARN, ou d'autres outils par exemple. On va avoir également Oozie, un outil de Planification qui permet d'organiser nos différents traitements MapReduce directement en Workflow, c'est-à-dire dans une suite d'actions et de programmer ces actions soit sur des événements, soit à des heures précises par exemple à la manière d'un chrono. On a également, enfin par exemple du Sqoop, qui va nous permettre de faire de la liaison entre notre système de fichiers HDFS, et un SGBDR, c'est-à-dire un système de base de données relationnelles comme PostgreSQL, MySQL ou Oracle. Ça va nous permettre donc, d'importer ou d'exporter des données extérieures à Hadoop dans le cluster Hadoop.

L'essentiel de Hadoop

Mettez en pratique les concepts spécifiques à Hadoop. Abordez l'HDFS pour le stockage, les MapReduce pour le traitement, ainsi que la base de données NoSQL d​e Hadoop : HBase.

3h43 (42 vidéos)
Aucun commentaire n´est disponible actuellement
 
Logiciel :
HBase HBase 1.2
Spécial abonnés
Date de parution :31 mars 2017

Votre formation est disponible en ligne avec option de téléchargement. Bonne nouvelle : vous ne devez pas choisir entre les deux. Dès que vous achetez une formation, vous disposez des deux options de consultation !

Le téléchargement vous permet de consulter la formation hors ligne et offre une interface plus conviviale. Si vous travaillez sur différents ordinateurs ou que vous ne voulez pas regarder la formation en une seule fois, connectez-vous sur cette page pour consulter en ligne les vidéos de la formation. Nous vous souhaitons un excellent apprentissage avec cette formation vidéo.

N'hésitez pas à nous contacter si vous avez des questions !