Cet article est une ébauche concernant les probabilités et la statistique.

Vous pouvez partager vos connaissances en l’améliorant (comment ?) selon les recommandations des projets correspondants.

Boosting

Type	Métaheuristique
Aspect de	Apprentissage supervisé

modifier - modifier le code - modifier Wikidata

Le boosting est un domaine de l'apprentissage automatique (branche de l'intelligence artificielle). C'est un principe qui regroupe de nombreux algorithmes qui s'appuient sur des ensembles de classifieurs binaires : le boosting optimise leurs performances.

Le principe est issu de la combinaison de classifieurs (appelés également hypothèses). Par itérations successives, la connaissance d'un classifieur faible - weak classifier - est ajoutée au classifieur final - strong classifier.

On appelle apprenant faible un algorithme qui fournit des classifieurs faibles, capables de reconnaître deux classes au moins aussi bien que le hasard ne le ferait (c’est-à-dire qu'il ne se trompe pas plus d'une fois sur deux en moyenne, si la distribution des classes est équilibrée). Le classifieur fourni est pondéré par la qualité de sa classification : mieux il classe, plus il sera important. Les exemples mal classés sont boostés pour qu'ils aient davantage d'importance vis-à-vis de l'apprenant faible au prochain tour, afin qu'il pallie le manque.

Un des algorithmes les plus utilisés en boosting s'appelle AdaBoost, abréviation de adaptative boosting.

Le boosting s'appuie sur la théorie de l'apprentissage PAC.

La méthode AdaBoost peut être vue comme un cas particulier de la méthode des poids multiplicatifs.

• Fabien Torre, notes de cours en apprentissage automatique, université de Lille
• Exemple d'application: Méthode de Viola et Jones

v · m Apprentissage automatique et exploration de données
Paradigmes d'apprentissage	Apprentissage supervisé auto-supervisé semi-supervisé ou non supervisé Apprentissage par renforcement, par transfert ou incrémental
Problèmes	Classement Clustering Détection d'anomalies Optimisation en ligne Modèle génératif Régression Règle d'association Réduction de dimensions Analyse factorielle Sélection de caractéristique Extraction de caractéristique
Apprentissage supervisé	Classement Arbre de décision k-NN U-matrix CRF Régression logistique Régression Modèle linéaire généralisé Régression linéaire Régression de Poisson Modèle probit Analyse discriminante linéaire Machine à vecteurs de support Prédiction structurée Modèle graphique Classification naïve bayésienne Réseau bayésien Modèle de Markov caché Réseau de neurones artificiels récurrents (+ Rétropropagation à travers le temps) Calcul par réservoir à action directe (+ Rétropropagation du gradient) Apprentissage profond Perceptron Perceptron multicouche Réseau neuronal convolutif à impulsions
Apprentissage non supervisé et auto-supervisé	Clustering Regroupement hiérarchique K-means Algorithme espérance-maximisation DBSCAN OPTICS Réduction de dimensions ACP Analyse en composantes indépendantes Analyse canonique des corrélations t-SNE Réseau de neurones artificiels Auto-encodeur IA générative et Modèle génératif Réseau de neurones artificiels Réseaux antagonistes génératifs Réseau de Hopfield Machine de Boltzmann restreinte Cartes de Kohonen Transformeur
Métaheuristique d'optimisation	Algorithme évolutionniste et génétique NEAT HyperNEAT Essaims Apprentissage ensembliste Forêts aléatoires Boosting
Théorie	Apprentissage PAC Complexité de Rademacher Dilemme biais-variance Hypothèse de la variété Théorie de Vapnik-Chervonenkis pulvérisation Dimension de Vapnik-Chervonenkis Théorème de Cover
Logiciels	Keras Microsoft Cognitive Toolkit Scikit-learn TensorFlow Theano Weka PyTorch

v · m Optimisation: théorie et algorithmes
Non linéaire	Méthode du nombre d'or Recherche linéaire Méthode de Nelder-Mead Critères de Wolfe Méthode de Broyden-Fletcher-Goldfarb-Shanno Algorithme à régions de confiance Pénalisation Algorithme du gradient Algorithme du gradient stochastique Méthode de Newton Algorithme de Gauss-Newton Algorithme de Levenberg-Marquardt Algorithme du lagrangien augmenté
Convexe	Optimisation complètement positive Optimisation copositive Optimisation SDP Méthode des plans sécants Algorithme de Frank-Wolfe Méthode de l'ellipsoïde Linéaire Optimisation conique Algorithme du simplexe Méthodes de points intérieurs Décomposition de Benders Génération de colonnes Quadratique Optimisation quadratique successive
Combinatoire	Algorithme d'approximation Programmation dynamique Algorithme glouton Optimisation linéaire en nombres entiers
Métaheuristique	Algorithme évolutionniste Algorithme génétique Essaims Forêts aléatoires Boosting
Liste

• Portail de l'informatique théorique
• Portail des probabilités et de la statistique