Le 14 septembre 2017, nous avons publié une version actualisée de notre Politique de confidentialité. En utilisant video2brain.com vous vous engagez à respecter ces documents mis à jour. Veuillez donc prendre quelques minutes pour les consulter.

Les fondements du Big Data

Employer des programmes de traitement

TESTEZ LINKEDIN LEARNING GRATUITEMENT ET SANS ENGAGEMENT

Tester maintenant Afficher tous les abonnements
Dans cette vidéo, vous découvrirez que l'analyse de données est assurée par des programmes de traitement spécifiques ou généralistes.
03:25

Transcription

En ce qui concerne les programmes de traitement, je les classerai en 2 catégories : les programmes de traitements spécifiques qui ne mettent en place qu'un seul algorithme ou qu'un seul type de traitement, par exemple, des traitements de Flux ou des traitements Graphes et puis des Plateformes. Alors, je vais revenir sur la Plateforme. Déjà les Traitements spécifiques, vous avez une infinité pratiquement d'outils, par exemple, dans la fondation Apache qui sont des outils de traitement « Big Data » qui vont permettre de distribuer un certain algorithme sur Hadoop Yarn ou sur Apache Mesos. Par exemple, simplement, MapReduce, l'algorithme de Hadoop peut utiliser Yarn pour déployer des algorithmes MapReduce et c'est tout. Et vous avez d'autres types d'algorithmes de DAG qui sont spécifiques. Par exemple, un outil qui s'appelle Hama, spécialisé dans les calculs scientifiques. Par exemple, un outil qui s'appelle « Apache Storm » qui est spécialisé dans le traitement de flux. Je pense également à « Apache Samza » qui est aussi un outil de traitement de flux. « Storm » a été créé par un [inaudible], vous vous souvenez, le créateur de l'architecture Lambda et « Samza » a été créé chez Linkedin par Jay Krebs, notamment qui est l'architecte de l'architecture Kapa. Donc, si vous voulez mettre en place ce type d'outil, vous installez d'abord HDFS, ensuite un gestionnaire de clusters comme Yarn ou Mesos, ensuite vous déployez votre système de traitements spécifiques. Forte heureusement, vous avez des distributions qui vous permettent d'installer ça beaucoup plus facilement et de façon Packagé. Mais vous avez aussi la possibilité d'utiliser des plateformes de traitement plus généralistes et ce sont des solutions qui sont de plus en plus prisées et les solutions techniques sont de plus en plus intéressantes. Il y a 3 plateformes principales de ce type de traitement, c'est Apache Spark, Apache Tez qui est un peu le pendant d'Apache Spark développé par une société qui s'appelle « Hortonworks », notamment et puis vous avez un nouvel arrivant très prometteur qui fait beaucoup parler de lui et qui s'appelle Apache Flink. Et dans les grandes lignes ces plateformes générales permettent à l'aide de modules d'avoir un système qui répond à tous les besoins. Vous avez besoin de traitement Graphes, vous avez peut-être un module de Graphe, vous avez besoin d'un traitement de Flux, vous avez un module de Flux, etc. Je vais vous présenter un tout petit peu plus en détails les plateformes intégrées, comme Spark ou Flink. Un dernier mot sur le sujet. Il est évident que ces plateformes cherchent à passer nettement du mode de traitement batch à un traitement plutôt interactif et au fur et à mesure que ces platformes s'enrichissent, s'affinent et que les systèmes de gestionnaire de clusters et le arDueur aussi deviennent de plus en plus performants, surtout la mémoire pour placer des données en mémoire vive. Au fur et à mesure que tout ceci s'améliore, on peut vraiment maintenant penser à un traitement de type Temps réel sur des données très volumineuses. C'est en tout cas, l'objectif visé par des plateformes comme Spark ou Flink.

Les fondements du Big Data

Découvrez les enjeux, les outils et les possibilités du Big Data. Familiarisez-vous avec les concepts du Big Data et soyez en mesure de gérer d’importants volumes de données.

1h47 (26 vidéos)
Aucun commentaire n´est disponible actuellement
 
Spécial abonnés
Date de parution :13 juin 2017

Votre formation est disponible en ligne avec option de téléchargement. Bonne nouvelle : vous ne devez pas choisir entre les deux. Dès que vous achetez une formation, vous disposez des deux options de consultation !

Le téléchargement vous permet de consulter la formation hors ligne et offre une interface plus conviviale. Si vous travaillez sur différents ordinateurs ou que vous ne voulez pas regarder la formation en une seule fois, connectez-vous sur cette page pour consulter en ligne les vidéos de la formation. Nous vous souhaitons un excellent apprentissage avec cette formation vidéo.

N'hésitez pas à nous contacter si vous avez des questions !