Un modello semiparametrico è un tipo di modello statistico, spesso usato nell'apprendimento automatico, che combina componenti parametriche (con numero finito e fisso di parametri) e componenti non parametriche (con numero di parametri potenzialmente infinito dipendente dalla dimensione del campione).

Questo approccio si colloca come compromesso ideale tra la rigidità strutturale e semplicità (interpretabilità) dei modelli parametrici e la flessibilità, in mancanza di assunzioni forti sulle distribuzioni, dei modelli non parametrici.

Sia ${\displaystyle (X_{1},Y_{1}),(X_{2},Y_{2}),\dots ,(X_{n},Y_{n})}$ un campione di variabili casuali indipendenti e identicamente distribuite (i.i.d.) generate da una distribuzione congiunta descritta da un modello statistico ${\displaystyle {\mathcal {P}}}$.

Un modello si dice semiparametrico se lo spazio dei parametri ${\displaystyle \Theta }$ associato a ${\displaystyle {\mathcal {P}}}$ può essere decomposto nel prodotto cartesiano di due sottospazi:

${\displaystyle \Theta ={\mathcal {B}}\times {\mathcal {F}}}$

dove:

• ${\displaystyle \beta \in {\mathcal {B}}\subseteq \mathbb {R} ^{p}}$ è il vettore dei parametri di interesse (di dimensione finita ${\displaystyle p}$).
• ${\displaystyle \eta \in {\mathcal {F}}}$ è il parametro di disturbo (o nuisance parameter), appartenente a uno spazio funzionale di dimensione infinita (ad esempio, lo spazio delle funzioni continue, crescenti o di densità di probabilità).

Il problema principale nell'inferenza semiparametrica consiste nello stimare in modo efficiente il parametro ${\displaystyle \beta }$ in presenza del parametro (non parametrico) ${\displaystyle \eta }$ oppure nel predire la risposta ${\displaystyle Y}$ mantenendo l'interpretabilità dei parametri di interesse.

Utilizzato nell'analisi di sopravvivenza, il modello, sviluppato da David Cox, descrive la funzione di rischio istantaneo ${\displaystyle h(t|X)}$ al tempo ${\displaystyle t}$ dato un vettore di covariate ${\displaystyle X\in \mathbb {R} ^{p}}$:^[1]

${\displaystyle h(t|X)=h_{0}(t)\exp(\beta ^{\top }X)}$

• componente parametrica: ${\displaystyle \beta \in \mathbb {R} ^{p}}$, stimato mediante la verosimiglianza parziale (partial likelihood);
• componente non parametrica: ${\displaystyle h_{0}(t)}$, la funzione di rischio di base (baseline hazard), la quale non assume alcuna forma analitica prefissata (come, ad es., la Weibull o l'esponenziale).

Nella regressione, il modello additivo parziale estende il modello lineare classico introducendo una componente non lineare su una o più variabili continue:^[2]

${\displaystyle Y_{i}=X_{i}^{\top }\beta +g(Z_{i})+\varepsilon _{i},\quad i=1,\dots ,n}$

dove:

• ${\displaystyle X_{i}\in \mathbb {R} ^{p}}$ e ${\displaystyle Z_{i}\in \mathbb {R} }$ sono vettori di covariate.
• ${\displaystyle \beta \in \mathbb {R} ^{p}}$ è il vettore dei coefficienti lineari da stimare.
• ${\displaystyle g(\cdot )}$ è una funzione liscia (smooth) sconosciuta da stimare tramite tecniche non parametriche (come spline o stimatori con kernel).
• ${\displaystyle \varepsilon _{i}}$ è un errore casuale a media nulla e varianza ${\displaystyle \sigma ^{2}}$.

Utilizzato frequentemente in econometria e per la riduzione della dimensionalità nell'apprendimento automatico, definisce la risposta condizionata come:

${\displaystyle \mathbb {E} [Y|X]=g(X^{\top }\beta )}$

• componente parametrica: la combinazione lineare dei regressori ${\displaystyle X^{\top }\beta }$;
• componente non parametrica: la funzione di legame (link function) ${\displaystyle g(\cdot )}$, assumendo soltanto proprietà di regolarità (ad es. la derivabilità) e non una forma analitica rigida come nei modelli lineari generalizzati (GLM).

L'inferenza nei modelli semiparametrici poggia su concetti avanzati della teoria asintotica e della teoria dell'efficienza semiparametrica, sviluppati nella letteratura scientifica riguardante l'efficienza statistica:^[3][4]

In presenza del parametro di disturbo ${\displaystyle \eta }$ di dimensione infinita, la funzione di score ordinaria per ${\displaystyle \beta }$ viene proiettata sullo spazio ortogonale allo spazio tangente generato da ${\displaystyle \eta }$. Tale proiezione prende il nome di score efficiente ${\displaystyle S_{\text{eff}}}$.^[5]

La matrice di informazione di Fisher efficiente per ${\displaystyle \beta }$ è definita come:

${\displaystyle I_{\text{eff}}(\beta )=\mathbb {E} [S_{\text{eff}}S_{\text{eff}}^{\top }]}$

Se uno stimatore ${\displaystyle {\hat {\beta }}_{n}}$ soddisfa la condizione di normalità asintotica con varianza-limite pari all'inverso della matrice:

${\displaystyle {\sqrt {n}}({\hat {\beta }}_{n}-\beta )\xrightarrow {d} {\mathcal {N}}\left(0,I_{\text{eff}}^{-1}(\beta )\right)}$

lo stimatore viene detto semiparametricamente efficiente.

1. Flessibilità: riduce il rischio di errore di specifica del modello (misspecification bias) legato a ipotesi arbitrarie sui parametri;
2. Interpretabilità: mantiene la struttura parametrica sui regressori primari, facilitando l'interpretazione causale o marginale dei coefficienti ${\displaystyle \beta }$;
3. Superamento della maledizione della dimensionalità: modellando solo un sottoinsieme di variabili in modo non parametrico si evita il rapido deterioramento delle prestazioni tipico dei modelli completamente non parametrici in spazi ad alta dimensionalità.

1. Complessità computazionale: la stima simultanea o iterativa della componente parametrica e non parametrica richiede algoritmi intensivi (ad es. metodi di verosimiglianza di profilo, backfitting o approcci EM);
2. Teoria asintotica complessa: le dimostrazioni di consistenza e di normalità asintotica richiedono strumenti avanzati della teoria dei processi empirici e della convergenza della misura.

• Statistica parametrica
• Statistica non parametrica
• Analisi di sopravvivenza
• Funzione spline
• Maledizione della dimensionalità

V · D · M Statistica
Teoria statistica	Statistica descrittiva Media (aritmetica · geometrica · armonica · di potenza · aritmetico-geometrica · integrale) · Mediana · Moda · Intervallo di variazione · Varianza · Deviazione standard · Scarto medio assoluto · Simmetria · Differenza media (assoluta · logaritmica) · Curtosi Inferenza statistica Test di verifica d'ipotesi · Significatività · Ipotesi nulla/alternativa · Errore del I e del II tipo · Test Q · Test U · Test t · Test Z · Massima verosimiglianza · Standardizzazione · Valore p · Analisi della varianza Analisi di sopravvivenza Tasso di guasto · Stimatore di Kaplan-Meier · Test dei ranghi logaritmici Analisi della regressione Regressione lineare · Regressione nonlineare · Variabili strumentali · Metodo generalizzato dei momenti · Regressione logistica · Modello probit · Modello logit
Statistica economica	Istituti statistici ISTAT · EuroSTAT · Royal Statistical Society · U.S. Census Bureau · ISI · INSEE Siti web statistici Our World in Data · Statista · Bloomberg Terminal · Google Public Data Explorer · World Inequality Database · TradingEconomics · ACLED Software econometrici gretl · EViews

V · D · M Apprendimento automatico
Problemi	Teoria dell'apprendimento statistico · Classificazione · Regressione · Classificazione a singola classe · Ranking · Regole di associazione · Apprendimento non supervisionato · Apprendimento semi-supervisionato · Apprendimento supervisionato · Apprendimento debolmente supervisionato · Apprendimento auto-supervisionato · Apprendimento per rinforzo · Apprendimento profondo · Apprendimento online · Apprendimento incrementale · Apprendimento trasduttivo · Concept drift · Dati mancanti
Apprendimento non supervisionato	Clustering · Clustering gerarchico · K-means · Algoritmo EM · Clustering spettrale · DBSCAN · Mean shift · Rete generativa avversaria (cGAN · VAE-GAN · cycleGAN)
Apprendimento supervisionato	Albero di decisione · Foresta casuale · Conditional random field CRF · Modello di Markov nascosto · Algoritmo k-nearest neighbors (k-NN) · Ragionamento basato su casi (CBR) · Classificatore bayesiano · Rete neurale artificiale · Regressione lineare · Regressione logistica · Modello grafico · Rete bayesiana · Macchine a vettori di supporto (SVM) · Processo gaussiano · Modello ensemble · Boosting · Bagging · Classifier chain · Cascading · Classificatore ECOC · Stacking · Voting
Apprendimento per rinforzo	Q-learning · SARSA · TD
Riduzione della dimensionalità	Analisi fattoriale · Analisi della correlazione canonica (CCA) · Analisi delle componenti indipendenti (ICA) · Analisi discriminante lineare (LDA) · Analisi delle componenti principali (PCA) · Apprendimento di varietà (manifold learning) · Estrazione di caratteristiche · Immersione localmente lineare (LLE) · Isomap · Scaling multidimensionale (MDS) · Selezione delle caratteristiche · t-distributed stochastic neighbor embedding (t-SNE)
Reti neurali artificiali	Percettrone · Percettrone basato su kernel · Rete neurale a funzioni base radiali (RBF net) · Rete neurale feed-forward · Rete di Hopfield · Percettrone multistrato · Rete neurale ricorrente (LSTM) · Macchina di Boltzmann ristretta · Mappa auto-organizzata · Rete neurale convoluzionale · Rete neurale a ritardo · Rete neurale spiking · Rete neurale grafica · Trasformatore
Software	Keras · Microsoft Cognitive Toolkit · Scikit-learn · TensorFlow · Theano · PyTorch · Weka
Altro	Algoritmo genetico · Particle Swarm Optimization · Caratteristica · Compromesso bias-varianza · Minimizzazione del rischio empirico