L'essentiel d'Apache Spark

Démarrer les containers d'Apache Spark

Testez gratuitement nos 1324 formations

pendant 10 jours !

Tester maintenant Afficher tous les abonnements
Téléchargez les containers Docker pour Apache Spark. Ensuite, vous verrez comment les démarrer en suivant cette vidéo.
03:02

Transcription

Donc tout est prêt, voyons comment lancer Spark avec docker-compose, c'est très très simple : docker-compose, c'est le nom du script. Je dois être ici dans le même répertoire que docker-compose yml, et je vais faire un up, c'est donc la commande à lancer à docker-compose pour lui dire, prends ce qu'il y a dans le yml et crée moi les containers qui sont indiqués. Alors par défaut, il va y avoir un niveau de log assez important, comme vous pouvez le voir mais ça m'arrange car ça me permet de vous montrer ce qui se passe. Donc, on a d'abord démarré notre master, vous voyez. On a démarré le serveur donc on a des démarrages aussi en Java. On voit que le serveur a démarré ici et que le worker ensuite a démarré. Il s'est connecté au master comme vous pouvez le voir ici. Et le master dit je suis devenu un leader, c'est moi le master, c'est le seul qui existe, c'est moi qui vais contrôler tout ça, et j'ai un worker et vous avez finalement à la fin, les deux dernières informations qui sont les plus importantes. Le master qui vous dit, j'ai enregistré un worker avec deux cœurs et un Giga de RAM. Et le worker dit, moi, j'ai été enregistré par le master. Une note : Si vous avez des problèmes, docker-compose vous retourne des erreurs, assurez d'avoir bien la dernière version de docker et la dernière version de docker-compose. J'ai eu une erreur personnellement sur un docker-compose qui est la version 1.4.1. On est à l'heure où j'enregistre, sur des versions de docker et de docker-compose qui sont à 1.9 quelque chose. Donc assurez-vous de bien avoir la dernière version. En faisant ces installations, lors des manipulations, j'ai également eu une erreur en redémarrant le service docker qui me disait que le service docker était masqué, alors j'ai dû faire un unmask du service, je vous montre la commande. Je vais faire un Ctrl+C ici, ce qui va arrêter mes containers. Je vous montre juste la commande que j'ai été obligé de lancer pour régler ce problème, si ça vous arrive, mais il y a fort peu de chances. Voilà, c'était systemctl unmask docker.service. Donc il me disait que le service était masqué. Mais a priori, chez vous, tout devrait bien se passer si vous vous assurez de suivre exactement les opérations que j'ai faites. Vous aurez la dernière version de docker. Vous installez docker-compose et vous n'aurez pas de problème. Donc, ensuite, il ne nous reste plus donc qu'à démarrer notre environnement. Je vais le laisser tourner ici et je vais ouvrir une nouvelle session, de façon à pouvoir conserver mes containers de cœurs démarrés et puis travailler sur une autre session.

L'essentiel d'Apache Spark

Analysez des données volumineuses avec Apache Spark. Chargez vos données pour les analyser, profitez des opérations de transformation et des actions pour agréger vos données, etc.

3h11 (38 vidéos)
Aucun commentaire n´est disponible actuellement
 
Logiciel :
Spécial abonnés
Date de parution :16 mars 2017

Votre formation est disponible en ligne avec option de téléchargement. Bonne nouvelle : vous ne devez pas choisir entre les deux. Dès que vous achetez une formation, vous disposez des deux options de consultation !

Le téléchargement vous permet de consulter la formation hors ligne et offre une interface plus conviviale. Si vous travaillez sur différents ordinateurs ou que vous ne voulez pas regarder la formation en une seule fois, connectez-vous sur cette page pour consulter en ligne les vidéos de la formation. Nous vous souhaitons un excellent apprentissage avec cette formation vidéo.

N'hésitez pas à nous contacter si vous avez des questions !