L'essentiel de Hadoop

Gérer les services avec des interfaces web

Testez gratuitement nos 1302 formations

pendant 10 jours !

Tester maintenant Afficher tous les abonnements
Découvrez les interfaces web permettant de piloter HBase. Ainsi, vous pourrez lancer des opérations et contrôler l'état de vos services.
05:07

Transcription

A l'instar de HDFS et Yarn, HBase possède une interface web qui permet de suivre l'état des serveurs et des services HBase. Avant toute chose, généralement, sur notre quick start VM de Cloudera, les services HBase ne sont pas lancés au démarrage. Il nous faut donc les démarrer en se mettant en tant que super utilisateurs, grâce à la commande sudo et en faisant un etc/init.d/hbase master start. Cela va démarrer le service HBase Master et nous allons pouvoir accéder à l'interface web du HBase Master. Alors, nous retrouvons ici son nom, le nom du cluster à proprement parler, le nom de la machine quickstart.cloudera. Les régions de serveur, nous voyons que nous n'en avons aucun, les différentes tables et que le HBase Master est en train de tourner et qu'il attend pour les régions de serveur afin de pouvoir démarrer. Il dit qu'il lui faut au minimum un région serveur afin de pouvoir fonctionner. Nous allons démarrer le région serveur de façon analogue : sudo/etc/init.d/hbase regionserveur start. Il est à noter qu'il y a d'autres services que nous pouvons démarrer également, notamment hbase thrift ou hbase rest qui permettent d'accéder à HBase via d'autres protocoles, en l’occurrence thrift ou rest. Nous allons faire un F5, nous avons démarré notre région serveur et nous le voyons s'afficher dans le tableau désormais et nous voyons que la tâche de démarrage s'est terminée avec succès depuis 11 secondes au rafraîchissement de cette page. Nous voyons les serveurs ainsi que les tables, nous n'avons aucune table d'utilisateur, cependant, nous avons deux tables système qui existent : de base, no hbase et qu'il ne faut surtout pas toucher, il s'agit des tables HBase Meta et HBase name space. Au passage, la description de ces tables nous apprend que la table HBase Meta contient tout ce qui est relatif aux tables utilisateur, alors que la table HBase name space contient tout ce qui est relatif au name space donc aux espaces de nommage, c'est-à-dire aux espaces de nommage des régions, des clés au sein des régions. L'interface du HBase Master nous donne également des informations sur le HBase, notamment quand sa version est compilée mais aussi le ZooKeeper qui tourne et le currum sur lequel il tourne. Dans le cas de quickstart VM, le ZooKeeper qui est lancé l'est en même temps que HBase et c'est celui qui est intégré à HBase. En production, il va vous être conseillé d'installer un cluster de ZooKeeper donc un currum de minimum trois ZooKeeper qui fonctionnent sur des serveurs différents ou, en tout cas, en service séparé, et qui vont assurer la haute disponibilité notamment pour HBase. Dans un cas simple, on a le ZooKeeper qui va être lancé en même temps que HBase et on peut accéder à tous ces paramètres grâce au lien zk dump qui permet de voir l'ensemble des ZooKeeper présents dans le currum, ici, on n'en a qu'un seul et les latences de ce ZooKeeper en millisecondes. Cela nous permet de vérifier qu'il n'y a pas de soucis sur le ZooKeeper et qu'il n'est pas trop long à répondre, ce qui aurait tendance à entraîner des latences partout dans HBase. Nous voyons également où HBase stocke ses données, celles-ci sont sur l'HDFS et donc sur ce cluster HDFS quickstart.cloudera:8020 et dans le répertoire /hbase. Nous avons également le load average , c'est-à-dire la charge moyenne qui est calculée de façon naïve. C'est le nombre de régions totales sur le cluster divisé par le nombre de serveurs. Ici, nous avons deux régions, une région pour chaque table, une région pour HBase Meta et une région pour HBase name space, ça fait deux régions qui sont montées sur notre serveur quickstart.cloudera, ça fait un total de deux régions divisé par un serveur, ça fait un load average de 1. Nous pouvons également cliquer sur le nom du serveur pour avoir ses détails, notamment voir ce qu'il fait, les requêtes auxquelles il répond, les statistiques et les tâches en dessous mais également voir toutes les régions qui sont montées sur le serveur. On voit ici la région HBase Meta, qui va de moins l'infini à plus l'infini, sur un espace de nom qui est total et la région HBase name space, de la même façon, qui va de moins l'infini à plus l'infini, sur l'espace de nom complet . Lorsque l'on clique sur la région, on voit les différents fichiers qui la composent. A savoir qu'une région est composée de plusieurs fichiers, quand ce nombre devient trop important, il peut être nécessaire de faire ce que l'on appelle des compacts. Les compacts vont donc se lancer directement sur la table, pour cela, il faut revenir sur l'interface du HBase Master, aller sur la table et pouvoir lancer le compact directement dans l'interface. Vous pouvez également lancer le compact grâce à la commande HBase shell. On peut aussi spliter une région, pour qu'elle devienne deux régions de taille égale, dans le cas où celle-ci devient trop importante.

L'essentiel de Hadoop

Mettez en pratique les concepts spécifiques à Hadoop. Abordez l'HDFS pour le stockage, les MapReduce pour le traitement, ainsi que la base de données NoSQL d​e Hadoop : HBase.

3h43 (42 vidéos)
Aucun commentaire n´est disponible actuellement
 
Logiciel :
HBase HBase 1.2
Spécial abonnés
Date de parution :31 mars 2017

Votre formation est disponible en ligne avec option de téléchargement. Bonne nouvelle : vous ne devez pas choisir entre les deux. Dès que vous achetez une formation, vous disposez des deux options de consultation !

Le téléchargement vous permet de consulter la formation hors ligne et offre une interface plus conviviale. Si vous travaillez sur différents ordinateurs ou que vous ne voulez pas regarder la formation en une seule fois, connectez-vous sur cette page pour consulter en ligne les vidéos de la formation. Nous vous souhaitons un excellent apprentissage avec cette formation vidéo.

N'hésitez pas à nous contacter si vous avez des questions !