Le 14 septembre 2017, nous avons publié une version actualisée de notre Politique de confidentialité. En utilisant video2brain.com vous vous engagez à respecter ces documents mis à jour. Veuillez donc prendre quelques minutes pour les consulter.

L'essentiel de Hadoop

Comprendre l'histoire d'Hadoop

TESTEZ LINKEDIN LEARNING GRATUITEMENT ET SANS ENGAGEMENT

Tester maintenant Afficher tous les abonnements
Prenez connaissance de l'histoire du framework Hadoop. Cela vous aidera à mieux comprendre son concept et son utilisation.
03:19

Transcription

Dans le domaine du Big Data et du NoSQL, Hadoop a pris une place fondamentale pour stocker et traiter les données. Mais voyons comment il en est arrivé là. L'histoire d'Hadoop commence très récemment au milieu des années 2000 avec Google. En effet, Google, donc leader du marché des moteurs de recherche, a des besoins importants de stockage et de traitement des données notamment pour son moteur de recherche. Il va donc développer de nouvelles tehniques à la fois de stockage et de traitement, et publier dès 2003 un livre blanc, un papier de recherche sur le GFS, qui est le Google File System, le système de fichiers de Google, un système de fichiers distribués qui permet de stocker sur un cluster des téra et des pétaoctets de données. En 2004, Google, toujours lui, va publier un papier sur un nouveau paradigme de programmation, le MapReduce. Le MapReduce est une façon de concevoir les algorithmes pour traiter de très fortes volumétries de données, donc stockées sur le GFS en l'occurrence, afin de les traiter de manière distribuée et parallélisée et de pouvoir appliquer des traitements rapidement sur ces fortes volumétries de données. On a dès lors, Doug Cutting, un technicien qui travaille pour Google, mais qui est bénévole au sein de la fondation Apache pour Apache Nutch, un projet de moteurs de recherche et de stockage d'indexes web à proprement parler, qui va reprendre ces papiers de recherche, et qui va essayer d'implémenter ces deux solutions, le GFS et le MapReduce directement dans Apache Nutch. Il va donc porter l'HDFS et le MapReduce pour le traitement dans son projet ApacheNutch. Ceci a un relativement un très fort succès, et dès 2006, il va être embauché par Yahoo pour travailler à plein temps sur Nutch, et notamment sur l'HDFS et le MapReduce. En 2008, Hadoop va être promu Top Level Project par Apache, et va donc accéder aux projets de plus haut niveau, signe qu'il prend une importance fondamentale et capitale pour la fondation Apache. Aujourd'hui, il y a de nombreuses entreprises qui utilisent Hadoop, et qui notamment, participent à son écosystème, et à son développement. On peut citer notamment Yahoo, qui dès le début, a embauché Doug Cutting pour travailler sur Nutch et donc sur Hadoop, mais également Amazon, Facebook, Google, IBM, Last.fm, Twitter, Netflix, et bien d'autres. Notamment, la plupart des plateformes de Cloud utilisent du Hadoop et permettent directement le stockage et le traitement grâce à des technologies compatibles, et qui s'inspirent très fortement de l'HDFS et du MapReduce.

L'essentiel de Hadoop

Mettez en pratique les concepts spécifiques à Hadoop. Abordez l'HDFS pour le stockage, les MapReduce pour le traitement, ainsi que la base de données NoSQL d​e Hadoop : HBase.

3h43 (42 vidéos)
Aucun commentaire n´est disponible actuellement
 
Logiciel :
HBase HBase 1.2
Spécial abonnés
Date de parution :31 mars 2017

Votre formation est disponible en ligne avec option de téléchargement. Bonne nouvelle : vous ne devez pas choisir entre les deux. Dès que vous achetez une formation, vous disposez des deux options de consultation !

Le téléchargement vous permet de consulter la formation hors ligne et offre une interface plus conviviale. Si vous travaillez sur différents ordinateurs ou que vous ne voulez pas regarder la formation en une seule fois, connectez-vous sur cette page pour consulter en ligne les vidéos de la formation. Nous vous souhaitons un excellent apprentissage avec cette formation vidéo.

N'hésitez pas à nous contacter si vous avez des questions !