Les fondements du machine learning

S'initier à l'ensemble learning

TESTEZ LINKEDIN LEARNING GRATUITEMENT ET SANS ENGAGEMENT

Tester maintenant Afficher tous les abonnements
Découvrez les principes de l'ensemble learning ainsi que les deux méthodes principales que sont le boosting et l'AdaBoost.
04:54

Transcription

Nous abordons maintenant un chapitre qui a pour objectif de présenter, de manière très succincte, diverses autres classes d'algorithmes dans le domaine du machine learning. On va commencer ce chapitre par l'ensemble learning, ou également ce qu'on peut appeler les algorithmes ensemblistes, ou l'apprentissage ensembliste. Alors, quelle est l'idée ? Eh bien en fait, l'ensemble learning, c'est une méthode d'apprentissage qui apprend un ensemble d'algorithmes à la fois, et ensuite combine leurs résultat en les traitant comme un «comité» de décideurs. Donc ça nous rappelle assez quelque chose qu'on connaît bien, c'est à dire nous, les humains, que la décision finale, résultant d'une combinaison appropriée des prédictions individuelles, devrait avoir une meilleure précision en moyenne que n'importe quel membre du «comité» pris seul, en moyenne, sait reconnaître qu'en réalité, chaque algorithme a des limites et fera des erreurs. Donc à nouveau, on retrouve l'analogie avec l'humain. Étant donné que chaque algorithme a ses limites, l'objectif de l'apprentissage par ensembles est de gérer leurs forces et leurs faiblesses des uns et des autres, ce qui conduit à un meilleur résultat. Donc l'idée, c'est que ça s'équilibre, qu'il y ait une balance. De nombreuses études empiriques et théoriques ont démontré que les algorithmes ensemblistes ont souvent une précision supérieure à celle des modèles pris individuellement. Les membres de l'ensemble pourraient prédire des valeurs continues, notamment les algorithmes de régression, des classes, pour les algorithmes de classification, des regroupements, ou toute autre quantité. Par conséquent, leurs décisions peuvent être combinées par de nombreuses méthodes, à savoir la moyenne et le vote. La majorité des méthodes d'apprentissage ensemblistes sont génériques, applicables dans de larges classes d'apprentissage. On peut classer les algorithmes ensemblistes en algorithmes ensemblistes homogènes et hétérogènes. Ces derniers utilisent des algorithmes de différents ensembles, et les premiers utilisent le même algorithme pour former l'ensemble. Maintenant, les algorithmes ensemblistes les plus communément utilisés sont le Bagging, c'est une technique qui date de la fin des années nonante, où chaque algorithme membre de l'ensemble apprend à partir de données ou échantillons d'entraînement différents. Donc chaque échantillon d'entraînement est généré sur la base d'un tirage aléatoire, avec remise de n observations ou individus. Chaque échantillon, ensuite, est connu sous le nom de bootstrap et le nom bagging, lui, est un acronyme dérivé de boostrap agregating, parce qu'en fait, on agrège les résultats d'un boostrap. Le résultat, ou la classe, d'un nouvel élément test est tout simplement une décision issue de l'ensemble, soit par une simple moyenne des résultats de l'ensemble des algorithmes, comme c'est le cas d'une régression, soit par le vote de la classe majoritaire de l'ensemble des algorithmes, dans le cas de classification. Comme beaucoup de méthodes d'ensembles, le bagging fonctionne mieux avec des modèles instables, c'est-à-dire qu'ils produisent un comportement de généralisation, suite à la modification des données d'entraînement. C'est essentiellement les arbres de décision et les réseaux de neurones. À l'opposé, le bagging a donc tendance à n'apporter aucune amélioration significative pour des modèles très simples. Ensuite, on a le boosting. Le boosting, c'est une famille d'algorithmes qui utilise ce qu'on appelle des weak learners, ou des apprenants faibles, en français, pour en faire un strong learner, c'est-à-dire un apprenant robuste, en français. L'idée principale est que les weak learners, c'est à dire les apprenants faibles, par exemple les algorithmes bayésiens naïfs, la régression logistique, les arbres de décision simples, de par leur simplicité, résistent, eux, au sur-apprentissage et donc, sont de faible variance, mais ont des grands biais. Ainsi, au lieu d'apprendre sur un seul weak learner, donc à nouveau régression logistique, arbre de décision simple, etc, on apprend sur plusieurs weak learners, par exemple des classifieurs, qui sont efficaces à bien classer des parties des données d'entraînement. Pour passer ensuite des weak learners aux strong learners, le boosting combine la prédiction de chaque weak learner, en utilisant des méthodes comme la moyenne pondérée, ou par vote, simplement. Contrairement au bagging qu'on a vu précédemment, qui n'améliore que les algorithmes à variance élevée, le boosting tente de contrôler à la fois les aspects biais et variance d'un problème d'apprentissage. En effet, le principe sous-jacent de l'apprentissage ensembliste et statistiquement, on s'entend.

Les fondements du machine learning

Acquérez les bases du vocabulaire lié au machine learning. Découvrez les outils fondamentaux avec les idées, applications et concepts mathématiques sous-jacents à chacun.

3h04 (33 vidéos)
Aucun commentaire n´est disponible actuellement
Spécial abonnés
Date de parution :21 déc. 2017

Votre formation est disponible en ligne avec option de téléchargement. Bonne nouvelle : vous ne devez pas choisir entre les deux. Dès que vous achetez une formation, vous disposez des deux options de consultation !

Le téléchargement vous permet de consulter la formation hors ligne et offre une interface plus conviviale. Si vous travaillez sur différents ordinateurs ou que vous ne voulez pas regarder la formation en une seule fois, connectez-vous sur cette page pour consulter en ligne les vidéos de la formation. Nous vous souhaitons un excellent apprentissage avec cette formation vidéo.

N'hésitez pas à nous contacter si vous avez des questions !