Nous mettrons à jour notre Politique de confidentialité prochainement. En voici un aperçu.

Les fondements du Big Data

Utiliser les gestionnaires de cluster

Testez gratuitement nos 1343 formations

pendant 10 jours !

Tester maintenant Afficher tous les abonnements
Pour distribuer le traitement, vous devrez utiliser un gestionnaire de cluster. Avec votre formateur, découvrez Hadoop YARN et Apache Mesos.
02:46

Transcription

Au niveau des Gestionnaires de clusters historiquement, Hadoop était un gestionnaire de clusters et un algorithme MapReduce intégré. Au moment où Hadoop a été créé, basé sur MapReduce de Google, Hadoop était à la fois un programme de traitement et un gestionnaire de clusters. Hadoop c'est du MapReduce, donc, un algorithme de Map et un algorithme de Reduce et à la fois la distribution de ces 2 algorithmes sur des noeuds de traitement. Hadoop 2 qui est l'évolution d'Hadoop, a été pour les développeurs d'Hadoop un travail de séparation de ces 2 responsabilités. Le gestionnaire de clusters a été séparé de l'algorithme MapReduce lui-même. Et c'était un grand changement parce que ça a permis d'avoir un gestionnaire de clusters qui s'appelle « Yarn » pour « Yet another resource negotiator », encore un nouveau gestionnaire de ressources, si vous voulez. « Hadoop Yarn » c'est le gestionnaire de clusters séparé de l'algorithme MapReduce. On a donc un outil, un moteur qui va permettre de distribuer n'importe quel type de traitement au lieu d'avoir à distribuer uniquement du MApReduce, il y a donc, des solidarisations. Hadoop Yarn peut donc, être utilisé comme Gestionnaire de clusters pour beaucoup de solutions « Big Data » qui viennent de la fondation Apache comme « Apache Spark » ou « Apache Flink » ou « Strom » ou « Samza », il y a beaucoup d'outils. Et Hadoop Yarn est dit monolithique, c'est lui qui va décider de placer un traitement sur une ressource sans vraiment demander à la couche de programme, c'est-à-dire, au programme de traitement. Depuis quelques années un autre gestionnaire de clusters a vu le jour, il est développé depuis 2007 par l'Université de Californie à Berkeley et il s'appelle « Apache Mesos ». Il est donc, aussi, dans la fondation Apache. « Mesos » est un nouveau gestionnaire de clusters, vous pouvez le choisir comme vous pouvez choisir Yarn, il a des avantages par rapport à Yarn. Yarn a aussi des avantages par rapport à Mesos, c'est vraiment une question de choix. Mais Mesos a un niveau de gestion de Scheduling à deux niveaux, c'est-à-dire, il va permettre la détection de ressources et il va faire des propositions au programme de traitement, au framework de placement de ressources. Donc, c'est un gestionnaire de clusters plus collaboratif avec le programme de traitement, moins monolithique qu'on [inaudible] Yarn. Pour vous donner un exemple, Mesos est utilisé comme gestionnaire de cluster dans des entreprises comme Twitter ou Airbnb pour leurs traitements distribués en Big Data.

Les fondements du Big Data

Découvrez les enjeux, les outils et les possibilités du Big Data. Familiarisez-vous avec les concepts du Big Data et soyez en mesure de gérer d’importants volumes de données.

1h47 (26 vidéos)
Aucun commentaire n´est disponible actuellement
 
Spécial abonnés
Votre/vos formateur(s) :
Date de parution :13 juin 2017
Durée :1h47 (26 vidéos)

Votre formation est disponible en ligne avec option de téléchargement. Bonne nouvelle : vous ne devez pas choisir entre les deux. Dès que vous achetez une formation, vous disposez des deux options de consultation !

Le téléchargement vous permet de consulter la formation hors ligne et offre une interface plus conviviale. Si vous travaillez sur différents ordinateurs ou que vous ne voulez pas regarder la formation en une seule fois, connectez-vous sur cette page pour consulter en ligne les vidéos de la formation. Nous vous souhaitons un excellent apprentissage avec cette formation vidéo.

N'hésitez pas à nous contacter si vous avez des questions !