L'essentiel de Hadoop

Différencier les distributions Hadoop

TESTEZ LINKEDIN LEARNING GRATUITEMENT ET SANS ENGAGEMENT

Tester maintenant Afficher tous les abonnements
Découvrez les différentes distributions Hadoop existantes et leurs particularités. Apprenez à choisir entre Cloudera, Hortonworks et MapR.
03:49

Transcription

Hadoop, étant un Framework, c'est-à-dire une collection d'outils, il va être nécessaire d'installer, de configurer les outils pour qu'ils puissent interagir entre eux, et pouvoir fonctionner tous ensemble. A l'instar d'un système GNU/Linux par exemple, il va donc être nécessaire d'avoir à chaque fois les bonnes versions des outils pour qu'elles soient compatibles entre elles, et parfois avec des incompatibilités qui font qu'on ne peut pas installer deux outils qui font la même chose par exemple sur le même cluster Hadoop. De ce fait-là, il est très difficile de base, de mettre en place nativement un cluster Hadoop, et d'installer les outils un par un nativement. C'est pour ça qu'ont été créées les distributions Hadoop à l'instar des distributions GNU/Linux. On va trouver sur le marché à peu près quatre grandes distributions Hadoop. Il va s'agir de Cloudera, d'Hortonworks, de Pivotal et de MapR. Cloudera a été fondée par des experts de diverses provenances, notamment, Facebook, Google, Oracle ou Yahoo, et elle propose une distribution Hadoop totalement libre et gratuite, et se spécialise dans les offres commerciales de support, de formation et de certification. Ainsi, sa distribution est totalement libre, et est la même pour tous, avec quelques outils qu'ils ont rajoutés, et qu'ils ont développés tel que Hue par exemple, ou Cloudera Search, mais qu'ils libèrent, et progressivement essayent de remettre directement à la fondation Apache, pour que ça intégre le projet Hadoop natif. Hortonworks est quant à elle, une distribuion fondée en Juin 2011 par une équipe de Yahoo. C'est la distribution la plus proche de la plateforme Apache Hadoop d'origine et qui veut rester exactement dans le même esprit et notamment avec le code source qui vient uniquement de la fondation Apache et donc où tout est sous license libre. Elle est utilisée dans l'offre de Cloud de Microsoft Azure. Pivotal est une distribution au code propriétaire qui va ajouter des logiciels propriétaires, et donc du code propriétaire tout simplement pour rajouter un outil à la distribution Hadoop, notamment on va voir HAWQ, qui est une base de données SQL qui s'appuie sur l'HDFS, et GemFire qui est une technologie in memory de l'éditeur permettant de travailler directement en RAM. De façon générale, Pivotal est une distribution qui va être spécialisée dans les processus analytiques. MapR, enfin, a été fondé en 2009 par une équipe de Google, elle possède à la fois des versions open source et des versions payantes. Les versions payantes vont mettre à dispositions des composants spécifiques qui vont remplacer les composants existants d'Hadoop en promettant de meilleures performances par exemple, mais une compatibilité. Ainsi, on va avoir MapR FS qui va être le système de fichiers remplaçant l'HDFS tout en restant entièrement compatible. Ainsi, tous les outils fonctionnants sur l'HDFS vont fonctionner sur MapR FS. MapR est notamment utilisé dans les offres de Cloud de Amazon Elastic MapReduce. MapR est notamment utilisé dans les offres de Cloud de Amazon Elastic MapReduce, et de Google Cloud.

L'essentiel de Hadoop

Mettez en pratique les concepts spécifiques à Hadoop. Abordez l'HDFS pour le stockage, les MapReduce pour le traitement, ainsi que la base de données NoSQL d​e Hadoop : HBase.

3h43 (42 vidéos)
Aucun commentaire n´est disponible actuellement
 
Logiciel :
HBase HBase 1.2
Spécial abonnés
Date de parution :31 mars 2017

Votre formation est disponible en ligne avec option de téléchargement. Bonne nouvelle : vous ne devez pas choisir entre les deux. Dès que vous achetez une formation, vous disposez des deux options de consultation !

Le téléchargement vous permet de consulter la formation hors ligne et offre une interface plus conviviale. Si vous travaillez sur différents ordinateurs ou que vous ne voulez pas regarder la formation en une seule fois, connectez-vous sur cette page pour consulter en ligne les vidéos de la formation. Nous vous souhaitons un excellent apprentissage avec cette formation vidéo.

N'hésitez pas à nous contacter si vous avez des questions !