Découvrir le cloud computing : Le stockage

Stocker des données avec Amazon EMR

TESTEZ LINKEDIN LEARNING GRATUITEMENT ET SANS ENGAGEMENT

Tester maintenant Afficher tous les abonnements
Appréhendez ici le stockage de données en prenant comme exemple EMR, Amazon Elastic MapReduce. Il s'agit d'une abstraction de la configuration et de la gestion des grappes qui intègre provisionnement, outils, débogage et suivi.
02:38

Transcription

Intéressons-nous au stockage de données en prenant, à cette occasion, EMR comme exemple. Soit Amazon Elastic MapReduce. Ce système est une abstraction de la configuration et de la gestion des grappes, ce qui vous épargne la complexité sous-jacente de Hadoop et des autres systèmes map-reduced. Il intègre provisionnement, outils, débogage et suivi. AWS se charge du réglage et de l'optimisation pour vous. En cas d'échec, les nœuds sont reprovisionnés par AWS. Si on exécute EMR dans le cloud AWS, on exploite le service de stockage S3 et les autres systèmes qui sont dotés d'une fonctionnalité d'autoréparation peuvent tout remettre en marche. Voici l'architecture EMR. On a le parc d'instances maître, qui est une instance EC2 exécutée sur AWS – c'est l'aspect calcul –, puis on a plusieurs instances EC2 exécutées sur le système de fichiers Hadoop (HDFS) et le tout communique et stocke des instances sur S3. Le parc d'instances principal et le parc d'instances de tâche sont capables de lancer différents processus pour différentes requêtes et de retourner au système, mais sachez que tout retourne au système de stockage commun S3. On ne fait qu'ajouter une couche d'abstraction de base de données par-dessus, mais S3 reste le système de stockage de référence. Cela arrive souvent et EMR n'est vraiment rien de plus qu'une instance d'un système big data (dans ce cas, un système map-reduced Hadoop vendu par AWS), mais il existe des centaines d'autres bases de données qui s'exécutent sur S3. Elles exploitent le stockage basé sur des objets et l'évolutivité élastique du service S3 ainsi que les instances de calcul EC2 pour faire tourner le moteur de la base de données. Par conséquent, S3 devient l'espace de stockage des données, qui ne sont pas stockées par vos soins mais plutôt via une base de données exécutée sur S3 qui gère notamment les informations relatives à la consommation et au stockage S3 et qui vous les communique. S3 n'est jamais qu'un autre support de stockage pour EMR : il existe d'autres systèmes big data. Ce n'est qu'un exemple de données exécutées sur S3. Il existe des centaines de bases de données très sympa compatibles avec S3, dont la liste est disponible en ligne. S3 offre un stockage évolutif et élastique, mais susceptible d'échapper à votre contrôle. Il faut savoir que vous payez pour les instances S3 avec votre système big data et que vous pouvez recevoir une facture assez lourde selon l'usage que les données font de S3 en votre nom : c'est vous qui payez, mais la base de données peut affecter plus d'objets que nécessaire et effectuer d'autres opérations inefficaces dont vous aurez littéralement à payer le prix.

Découvrir le cloud computing : Le stockage

Découvrez les bases du stockage : sa planification, sa budgétisation et sa sécurité, ainsi que trois cas d'utilisation abordant la journalisation et d'autres sous-systèmes de gestion du stockage.

1h09 (23 vidéos)
Aucun commentaire n´est disponible actuellement
Spécial abonnés
Date de parution :19 juin 2018

Votre formation est disponible en ligne avec option de téléchargement. Bonne nouvelle : vous ne devez pas choisir entre les deux. Dès que vous achetez une formation, vous disposez des deux options de consultation !

Le téléchargement vous permet de consulter la formation hors ligne et offre une interface plus conviviale. Si vous travaillez sur différents ordinateurs ou que vous ne voulez pas regarder la formation en une seule fois, connectez-vous sur cette page pour consulter en ligne les vidéos de la formation. Nous vous souhaitons un excellent apprentissage avec cette formation vidéo.

N'hésitez pas à nous contacter si vous avez des questions !