In apprendimento automatico e statistica, i modelli additivi costituiscono una classe di modelli di regressione non parametrica e semiparametrica in cui la variabile di risposta dipendente è espressa come somma di funzioni convesse/lisce (smooth) delle singole variabili osservate (predittori / feature).

Introdotti formalmente da Charles J. Stone nel 1985 e sviluppati ampiamente da Trevor Hastie e Robert Tibshirani nel 1990, i modelli additivi estendono il classico modello lineare standard mantenendo un'elevata interpretabilità e mitigando al contempo la cosiddetta maledizione della dimensionalità mediante la decomposizione unidimensionale del problema di stima.^[1][2]

Dato un insieme di dati di addestramento ${\displaystyle \{(\mathbf {x} _{i},y_{i})\}_{i=1}^{n}}$, dove ${\displaystyle \mathbf {x} _{i}=(x_{i1},x_{i2},\dots ,x_{ip})^{T}\in \mathbb {R} ^{p}}$ rappresenta il vettore dei predittori e ${\displaystyle y_{i}\in \mathbb {R} }$ è la variabile-obiettivo, la struttura classica del modello additivo si definisce come segue:

${\displaystyle y_{i}=\alpha +\sum _{j=1}^{p}f_{j}(x_{ij})+\varepsilon _{i}}$

dove:

• ${\displaystyle \alpha }$ è il termine intercetta (rappresentante il valore atteso globale ${\displaystyle \mathbb {E} [Y]}$ sotto le opportune condizioni di identificabilità);
• ${\displaystyle f_{j}:\mathbb {R} \to \mathbb {R} }$ sono funzioni non parametriche continue e "lisce" (smooth function), come spline di regressione, kernel o loess, ordinate per ciascuna variabile di indice ${\displaystyle j}$;
• ${\displaystyle \varepsilon _{i}}$ è l'errore residuo con media nulla ${\displaystyle \mathbb {E} [\varepsilon _{i}]=0}$ e varianza costante ${\displaystyle {\text{Var}}(\varepsilon _{i})=\sigma ^{2}}$.

Poiché l'aggiunta di una costante arbitraria a una qualsiasi funzione ${\displaystyle f_{j}}$ può essere assorbita dall'intercetta ${\displaystyle \alpha }$, si impone la vincolo di centratura per garantire l'identificabilità del modello:

${\displaystyle \sum _{i=1}^{n}f_{j}(x_{ij})=0,\quad \forall j\in \{1,\dots ,p\}}$

L'addestramento dei modelli additivi non parametrici avviene comunemente tramite l'algoritmo di backfitting (o retro-adattamento), un metodo iterativo di tipo Gauss-Seidel applicato all'operatore di proiezione/smoothing.^[3]

1. Inizializzazione: Si imposta l'intercetta al valore medio empirico:

   ${\displaystyle {\hat {\alpha }}={\frac {1}{n}}\sum _{i=1}^{n}y_{i}}$

   e si inizializzano le funzioni stimate: ${\displaystyle {\hat {f}}_{j}\equiv 0}$ per ogni ${\displaystyle j=1,\dots ,p}$.

2. Ciclo iterativo: Per ciascun predittore ${\displaystyle j=1,\dots ,p}$:
   1. Si calcolano i residui parziali escludendo il contributo della ${\displaystyle j}$-esima funzione:

      ${\displaystyle r_{i}^{(j)}=y_{i}-{\hat {\alpha }}-\sum _{k\neq j}{\hat {f}}_{k}(x_{ik})}$

   2. Si aggiorna la funzione ${\displaystyle {\hat {f}}_{j}}$ applicando un operatore di smoothing ${\displaystyle S_{j}}$ (ad es. una spline) ai residui parziali:

      ${\displaystyle {\hat {f}}_{j}\leftarrow S_{j}\left(r^{(j)}\mid x_{\cdot j}\right)}$

   3. Si applica la centratura per preservare la vincolo di identificabilità:

      ${\displaystyle {\hat {f}}_{j}\leftarrow {\hat {f}}_{j}-{\frac {1}{n}}\sum _{i=1}^{n}{\hat {f}}_{j}(x_{ij})}$

3. Criterio di arresto: L'algoritmo prosegue finché la variazione tra stime successive non scende sotto una soglia prefissata ${\displaystyle \delta }$:

   ${\displaystyle {\frac {\sum _{j=1}^{p}\|{\hat {f}}_{j}^{({\text{corr}})}-{\hat {f}}_{j}^{({\text{prec}})}\|^{2}}{\sum _{j=1}^{p}\|{\hat {f}}_{j}^{({\text{prec}})}\|^{2}}}<\delta }$

Sviluppati da Hastie e Tibshirani, i GAM estendono i modelli additivi alle distribuzioni appartenenti alla famiglia esponenziale (come Bernoulli, Poisson, Gamma), integrando una funzione di legame (link function) ${\displaystyle g(\cdot )}$:

${\displaystyle g(\mathbb {E} [Y|X])=\alpha +\sum _{j=1}^{p}f_{j}(X_{j})}$

L'addestramento nei GAM combina l'algoritmo di backfitting con il metodo dei minimi quadrati ripesati iterativamente (IRLS - Iteratively Reweighted Least Squares) ^[4].

Nell'apprendimento automatico, una delle declinazioni più diffuse dei modelli additivi è rappresentata dalle tecniche di gradient boosting (come, ad esempio, XGBoost, LightGBM), in cui la funzione target è approssimata da una somma additiva di alberi di decisione deboli (weak learner):^[5]

${\displaystyle F(\mathbf {x} )=\sum _{m=1}^{M}\gamma _{m}h_{m}(\mathbf {x} )}$

dove le ${\displaystyle h_{m}(\mathbf {x} )}$ sono alberi di regressione appresi sequenzialmente per minimizzare una funzione di perdita empirica.

• Interpretabilità: È possibile isolare ed esaminare l'impatto individuale di ciascuna variabile predittrice ${\displaystyle X_{j}}$ sulla risposta osservando il grafico della funzione componente ${\displaystyle f_{j}}$ (grafici di dipendenza parziale).
• Flessibilità: Cattura relazioni complesse e non lineari senza dover specificare a priori la forma della funzione (ad es. polinomiale, logaritmica).
• Contrasto alla maledizione della dimensionalità: Modellando le funzioni individualmente su 1D anziché stimare una superficie ad alta dimensionalità ${\displaystyle p}$, la velocità di convergenza è dell'ordine ${\displaystyle O(n^{-2s/(2s+1)})}$, dove ${\displaystyle s}$ misura la regolarità delle funzioni impiegate.

• Assenza implicita di interazioni: Il modello assume che l'effetto delle variabili sia strettamente additivo. Se esistono interazioni forti tra predittori (ad es. ${\displaystyle X_{1}\cdot X_{2}}$), esse devono essere incluse esplicitamente aggiungendo termini bidimensionali ${\displaystyle f_{12}(X_{1},X_{2})}$.

• Gradient boosting
• Modello lineare generalizzato
• Spline
• Statistica non parametrica

V · D · M Apprendimento automatico
Problemi	Teoria dell'apprendimento statistico · Classificazione · Regressione · Classificazione a singola classe · Ranking · Regole di associazione · Apprendimento non supervisionato · Apprendimento semi-supervisionato · Apprendimento supervisionato · Apprendimento debolmente supervisionato · Apprendimento auto-supervisionato · Apprendimento per rinforzo · Apprendimento profondo · Apprendimento online · Apprendimento incrementale · Apprendimento trasduttivo · Concept drift · Dati mancanti
Apprendimento non supervisionato	Clustering · Clustering gerarchico · K-means · Algoritmo EM · Clustering spettrale · DBSCAN · Mean shift · Rete generativa avversaria (cGAN · VAE-GAN · cycleGAN)
Apprendimento supervisionato	Albero di decisione · Foresta casuale · Conditional random field CRF · Modello di Markov nascosto · Algoritmo k-nearest neighbors (k-NN) · Ragionamento basato su casi (CBR) · Classificatore bayesiano · Rete neurale artificiale · Regressione lineare · Regressione logistica · Modello grafico · Rete bayesiana · Macchine a vettori di supporto (SVM) · Processo gaussiano · Modello ensemble · Boosting · Bagging · Classifier chain · Cascading · Classificatore ECOC · Stacking · Voting
Apprendimento per rinforzo	Q-learning · SARSA · TD
Riduzione della dimensionalità	Analisi fattoriale · Analisi della correlazione canonica (CCA) · Analisi delle componenti indipendenti (ICA) · Analisi discriminante lineare (LDA) · Analisi delle componenti principali (PCA) · Apprendimento di varietà (manifold learning) · Estrazione di caratteristiche · Immersione localmente lineare (LLE) · Isomap · Scaling multidimensionale (MDS) · Selezione delle caratteristiche · t-distributed stochastic neighbor embedding (t-SNE)
Reti neurali artificiali	Percettrone · Percettrone basato su kernel · Rete neurale a funzioni base radiali (RBF net) · Rete neurale feed-forward · Rete di Hopfield · Percettrone multistrato · Rete neurale ricorrente (LSTM) · Macchina di Boltzmann ristretta · Mappa auto-organizzata · Rete neurale convoluzionale · Rete neurale a ritardo · Rete neurale spiking · Rete neurale grafica · Trasformatore
Software	Keras · Microsoft Cognitive Toolkit · Scikit-learn · TensorFlow · Theano · PyTorch · Weka
Altro	Algoritmo genetico · Particle Swarm Optimization · Caratteristica · Compromesso bias-varianza · Minimizzazione del rischio empirico