Gradient boosting (traducibile in italiano come: "potenziamento del gradiente") è una tecnica di machine learning di regressione e problemi di Classificazione statistica che producono un modello predittivo nella forma di un insieme di modelli predittivi deboli, tipicamente alberi di decisione. Costruisce un modello in maniera simile ai metodi di boosting, e li generalizza permettendo l'ottimizzazione di una funzione di perdita differenziabile arbitraria.

L'idea del gradient boosting è nata dall'osservazione di Leo Breiman^[1] quel potenziamento può essere interpretato come un algoritmo di ottimizzazione su una funzione di costo adeguata. Gli algoritmi i gradient boosting con regressione esplicita da Jerome H. Friedman^[2][3] simultaneamente con la più generale prospettiva di gradient boosting funzionale di Llew Mason, Jonathan Baxter, Peter Bartlett and Marcus Frean.^[4][5] Questi ultimi 2 articoli introdussero la visione astratta degli algoritmi di boosting come algoritmi di gradienti funzionali discendenti iterativi; ovvero gli algoritmi che ottimizzano una funzione costo su una funzione spazio scegliendo iterativamente una funzione (ipotesi debole) che punti ad una direzione con gradiente negativo. Questa visione del gradiente funzionale del boosting ha portato allo sviluppo di algoritmi di boosting in diverse aree del machine learning e della statistica che vanno oltre la regressione e la classificazione.

• Foresta casuale
• xgboost
• LightGBM