Employer des programmes de traitement

Transcription

En ce qui concerne les programmes de traitement, je les classerai en 2 catégories : les programmes de traitements spécifiques qui ne mettent en place qu'un seul algorithme ou qu'un seul type de traitement, par exemple, des traitements de Flux ou des traitements Graphes et puis des Plateformes. Alors, je vais revenir sur la Plateforme. Déjà les Traitements spécifiques, vous avez une infinité pratiquement d'outils, par exemple, dans la fondation Apache qui sont des outils de traitement « Big Data » qui vont permettre de distribuer un certain algorithme sur Hadoop Yarn ou sur Apache Mesos. Par exemple, simplement, MapReduce, l'algorithme de Hadoop peut utiliser Yarn pour déployer des algorithmes MapReduce et c'est tout. Et vous avez d'autres types d'algorithmes de DAG qui sont spécifiques. Par exemple, un outil qui s'appelle Hama, spécialisé dans les calculs scientifiques. Par exemple, un outil qui s'appelle « Apache Storm » qui est spécialisé dans le traitement de flux. Je pense également à « Apache Samza » qui est aussi un outil de traitement de flux. « Storm » a été créé par un [inaudible], vous vous souvenez, le créateur de l'architecture Lambda et « Samza » a été créé chez Linkedin par Jay Krebs, notamment qui est l'architecte de l'architecture Kapa. Donc, si vous voulez mettre en place ce type d'outil, vous installez d'abord HDFS, ensuite un gestionnaire de clusters comme Yarn ou Mesos, ensuite vous déployez votre système de traitements spécifiques. Forte heureusement, vous avez des distributions qui vous permettent d'installer ça beaucoup plus facilement et de façon Packagé. Mais vous avez aussi la possibilité d'utiliser des plateformes de traitement plus généralistes et ce sont des solutions qui sont de plus en plus prisées et les solutions techniques sont de plus en plus intéressantes. Il y a 3 plateformes principales de ce type de traitement, c'est Apache Spark, Apache Tez qui est un peu le pendant d'Apache Spark développé par une société qui s'appelle « Hortonworks », notamment et puis vous avez un nouvel arrivant très prometteur qui fait beaucoup parler de lui et qui s'appelle Apache Flink. Et dans les grandes lignes ces plateformes générales permettent à l'aide de modules d'avoir un système qui répond à tous les besoins. Vous avez besoin de traitement Graphes, vous avez peut-être un module de Graphe, vous avez besoin d'un traitement de Flux, vous avez un module de Flux, etc. Je vais vous présenter un tout petit peu plus en détails les plateformes intégrées, comme Spark ou Flink. Un dernier mot sur le sujet. Il est évident que ces plateformes cherchent à passer nettement du mode de traitement batch à un traitement plutôt interactif et au fur et à mesure que ces platformes s'enrichissent, s'affinent et que les systèmes de gestionnaire de clusters et le arDueur aussi deviennent de plus en plus performants, surtout la mémoire pour placer des données en mémoire vive. Au fur et à mesure que tout ceci s'améliore, on peut vraiment maintenant penser à un traitement de type Temps réel sur des données très volumineuses. C'est en tout cas, l'objectif visé par des plateformes comme Spark ou Flink.