L'essentiel de Hadoop

Appréhender les services HDFS

Testez gratuitement nos 1271 formations

pendant 10 jours !

Tester maintenant Afficher tous les abonnements
Appréhendez les services HDFS grâce à un schéma global. Puis, étudiez le principe des opérations de lecture et d'écriture dans HDFS.
02:35

Transcription

L'HDFS fonctionne grâce à deux types de service, le NameNode et un ou plusieurs DataNode. Les DataNodes vont être là où vont être stockés les données. Il peut donc s'agir de serveurs totalement différents avec de l'hardware totalement différent avec un ou plusieurs disques, il faut juste éviter d'avoir des raids sur les DataNodes. Les DataNodes vont stocker les données, données qui sont répliquées, c'est-à-dire que la même donnée, par exemple A va se retrouver à plusieurs endroits et qui sont stockées par blocs. A, B, C, D, E, F et G sont, de ce fait-là, des blocs. Le NameNode quant à lui va avoir l'index des fichiers, il va savoir qu'il y a un fichier /totaux.txt qui va être composé des blocs A, B, C et D. Nous n'avons pas de blocs partiels, juste les blocs peuvent être vides sur leur fin, si jamais le fichier ne le remplit pas entièrement. C'est le NameNode qui va également avoir la structure hiérarchique des répertoires. Par ailleurs, le NameNode va savoir quels blocs sont sur quels serveurs. Ainsi, il va savoir que le bloc A est présent à la fois sur le DataNode 1 et 2, le bloc B sur le DataNode 1 et 3, etc... Il y a, de ce fait, une communication permanente entre les DataNodes et le NameNode afin d'informer les uns et les autres de qui possède quel bloc. Le NameNode stocke ces données-là, les métadatas dans un fichier appelé le FS Image et va stocker les modifications au fur et à mesure de la vie du NameNode dans un EditLog qui est un journal des modifications. Ce dernier a tendance à grossir avec la vie du NameNode et il est mergé directement dans le FS Image au démarrage du NameNode. Le NameNode peut se mettre en SafeMode. Dans ce cas-là, c'est un mode simplement où tout est accessible uniquement en lecture seule, qui se met généralement soit au démarrage, le temps qu'il se connecte à tous les DataNodes, ou à la demande d'un administrateur ou en cas de soucis afin de faciliter le débuggage. Il possède également un mode Recovery interactif permettant de contrôler plus précisément ce qui se fait dessus.

L'essentiel de Hadoop

Mettez en pratique les concepts spécifiques à Hadoop. Abordez l'HDFS pour le stockage, les MapReduce pour le traitement, ainsi que la base de données NoSQL d​e Hadoop : HBase.

3h43 (42 vidéos)
Aucun commentaire n´est disponible actuellement
 
Logiciel :
HBase HBase 1.2
Spécial abonnés
Votre/vos formateur(s) :
Date de parution :31 mars 2017
Durée :3h43 (42 vidéos)

Votre formation est disponible en ligne avec option de téléchargement. Bonne nouvelle : vous ne devez pas choisir entre les deux. Dès que vous achetez une formation, vous disposez des deux options de consultation !

Le téléchargement vous permet de consulter la formation hors ligne et offre une interface plus conviviale. Si vous travaillez sur différents ordinateurs ou que vous ne voulez pas regarder la formation en une seule fois, connectez-vous sur cette page pour consulter en ligne les vidéos de la formation. Nous vous souhaitons un excellent apprentissage avec cette formation vidéo.

N'hésitez pas à nous contacter si vous avez des questions !