Ne doit pas être confondu avec loi exponentielle.

En théorie des probabilités et en statistique, une famille exponentielle est une classe de lois de probabilité dont la forme générale est la suivante :

$${\displaystyle f_{X}(x;\theta )=a(x)\,b(\theta )\,\mathrm {e} ^{\eta (\theta )\cdot T(x)}}$$

dans laquelle ${\displaystyle X}$ est la variable aléatoire, ${\displaystyle x}$ est un réel, ${\displaystyle \theta }$ est un paramètre, ${\displaystyle a}$ et ${\displaystyle b}$ sont des fonctions réelles et ${\displaystyle \eta }$ est appelé son «paramètre naturel».

Les familles exponentielles présentent certaines propriétés algébriques et inférentielles particulières.

La caractérisation d'une loi dans la famille exponentielle permet de reformuler ladite loi en utilisant des paramètres naturels spécifiques.

En statistiques inférentielles, ces familles permettent d'obtenir des statistiques d'échantillonnage, à savoir les statistiques suffisantes naturelles de la famille. Celles-ci résument un échantillon de données à l'aide d'un nombre réduit de valeurs, constituant les variables de décision en statistiques inférentielles.

En statistiques bayésiennes, elles possèdent des lois a priori conjuguées qui facilitent la mise à jour des lois dites « subjectives ». En effet, après inférence bayésienne, la distribution a posteriori d'une variable aléatoire de la famille exponentielle avec une loi a priori conjuguée peut toujours être écrite sous une forme analytique fermée à condition que la constante de normalisation de la distribution de la famille exponentielle puisse être exprimée sous une forme analytique fermée. ^[pas clair]. Voici quelques exemples courants : la loi t de Student, la loi bêta-binomiale ou la loi de Dirichlet multinomiale.

Les familles exponentielles apparaissent de façon naturelle dans la recherche de lois lors d'applications statistiques, en particulier dans les méthodes bayésiennes.

La famille exponentielle comprend une grande quantité de lois parmi les plus courantes : loi normale, loi exponentielle, loi Gamma, loi du χ², loi bêta, loi de Dirichlet, loi de Bernoulli, loi multinomiale, loi de Poisson, loi de Wishart, loi de Wishart inverse, etc. D'autres lois courantes ne forment une famille exponentielle que si certains paramètres sont fixes et de valeur connue, telles les lois binomiale et multinomiale (pour un nombre de tirages fixe dans les deux cas), et la loi binomiale négative (pour un nombre d'échecs fixe). Parmi les lois d'usage courant qui ne sont pas de famille exponentielle, on peut citer la loi de Student, la plupart des lois de mélange, ainsi que la famille des lois uniformes de bornes non fixées.

La notion de famille exponentielle a été développée aux alentours des années 1935 et 1936 par Georges Darmois^[1], Edwin Pitman^[2] et B. Koopman ^[3]. Le terme classe exponentielle est parfois utilisé dans le même sens^[4],[5].

Une loi de probabilité est définie par les valeurs spécifiques des constantes utilisées dans sa formulation. Par exemple, la loi normale ${\displaystyle {\mathcal {N}}(10,200)}$ correspond à une loi normale avec une moyenne ${\displaystyle \mu =10}$ et un écart-type ${\displaystyle \sigma =10{\sqrt {2}}}$. Une « famille » de lois est définie par un ou plusieurs paramètres variables, comme la famille de lois de Poisson ${\displaystyle P(\lambda )}$. Cette famille est dite exponentielle lorsque la fonction de densité de probabilité présente une forme algébrique particulière entre la variable aléatoire et les paramètres, caractérisée par la séparation des facteurs.

La loi binomiale est une famille de lois caractérisée par un paramètre n (nombre de tirages) et un paramètre p (probabilité de succès). Elle peut se décliner en trois cas.

La loi binomiale unique est définit de la façon suivante: Si n et p ont des valeurs spécifiques, par exemple ${\displaystyle n=20,p=0.1}$, alors ${\displaystyle {\mathcal {B}}(20,0.1)}$ est une loi binomiale unique.

La famille de lois binomiales est caractérisée ainsi: Si n a une valeur fixe, par exemple ${\displaystyle n=20}$, mais que p peut varier, il s'agit d'une famille de lois binomiales caractérisée par le paramètre p, où n est une constante.

La famille de lois binomiales généralisée est caractérisée de façon plus large de la façon suivante: Si n et p sont libres de varier, il s'agit d'une famille plus large de lois binomiales, avec n et p comme paramètres.

Les trois situations sont souvent désignées sous le terme « la loi binomiale », mais seule la seconde situation constitue une famille exponentielle.

La loi uniforme continue entre 0 et 1, notée ${\displaystyle {\mathcal {U}}(0,1)}$, est parfois appelée « nombre aléatoire tiré d'une loi uniforme ». Cette loi est un cas particulier de la loi bêta. Bien que la loi bêta appartienne à une famille exponentielle, la loi uniforme ${\displaystyle {\mathcal {U}}(0,1)}$ n'est pas une famille exponentielle puisqu'elle ne représente qu'une seule loi.

La famille de lois uniformes, caractérisée par la variabilité d'une ou des deux bornes, n'appartient pas non plus à la famille exponentielle. Pour qu'une famille de lois soit exponentielle, la densité de probabilité doit pouvoir être exprimée sous une forme exponentielle par rapport à ses paramètres, ce qui n'est pas le cas des lois uniformes avec des bornes variables.

Une famille exponentielle est un ensemble de lois dont la loi de probabilité (discrète ou continue) peut s'écrire sous la forme de facteurs séparables:

$${\displaystyle f_{X}(x;\theta )=a(\theta )\,b(x)\,\mathrm {e} ^{\eta (\theta )\cdot T(x)}}$$

où ${\displaystyle T(x)}$, ${\displaystyle b(x)}$, ${\displaystyle \eta (\theta )}$ et ${\displaystyle a(\theta )}$ sont précisées.

Souvent, la densité s'écrira sous la forme alternative:

$${\displaystyle f_{X}(x;\theta )=b(x)\,\mathrm {e} ^{\eta (\theta )\cdot T(x)-A(\theta )}}$$

ou même:

$${\displaystyle f_{X}(x;\theta )=\mathrm {e} ^{\eta (\theta )\cdot T(x)-A(\theta )+B(x)}}$$

La valeur ${\displaystyle \theta }$ est le paramètre de la famille.

La variable aléatoire ${\displaystyle X}$ peut représenter un vecteur de plusieurs mesures. Dans ce cas, ${\displaystyle T}$ est une fonction de plusieurs variables. Que ${\displaystyle X}$ soit scalaire ou vectoriel, et même s'il y a un paramètre unique, les fonctions ${\displaystyle \eta }$ et ${\displaystyle T}$ peuvent prendre la forme de vecteurs.

La famille exponentielle est dite en forme canonique (ou naturelle) lorsque ${\displaystyle \eta (\theta )=\theta }$. Il est toujours possible de convertir une famille exponentielle en forme canonique, par la définition d'un paramètre transformé ${\displaystyle \eta =\eta (\theta )}$:

$${\displaystyle f_{X}(x;\eta )=b(x)\,\mathrm {e} ^{\eta \cdot T(x)\ -\ A(\eta )}.}$$

La valeur η est un paramètre naturel de la famille.

La forme canonique n'est pas unique, puisque ${\displaystyle \eta (\theta )}$ peut être multiplié par une constante non nulle, pourvu que ${\displaystyle T(x)}$ soit multiplié par la constante inverse.

La valeur ${\displaystyle A(\theta )}$ (alternativement ${\displaystyle a(\theta )=e^{-A(\theta )}}$) se déduit du choix des autres fonctions. En effet, ${\displaystyle A(\theta )}$ assure que la loi est normalisée, c'est-à-dire que pour tout paramètre ${\displaystyle \theta }$, ${\displaystyle \int _{x\in \mathbb {R} }f_{X}(x;\theta )dx=1}$ dans le cas continu ou ${\displaystyle \sum _{x\in \mathbb {R} }f_{X}(x;\theta )=1}$ dans le cas discret. On en déduit que ${\displaystyle a(\theta )={\frac {1}{\int _{x\in \mathbb {R} }b(x)e^{\eta (\theta ).T(x)}dx}}}$ dans le cas continu et ${\displaystyle a(\theta )={\frac {1}{\sum _{x\in \mathbb {R} }b(x)e^{\eta (\theta ).T(x)}}}}$ dans le cas discret. En particulier, si ${\displaystyle \eta }$ n'est pas injective, alors ${\displaystyle A}$ et ${\displaystyle a}$ ne sont pas injectives.

La définition ci-dessus, bien qu'à première vue exprimée en termes d'un paramètre scalaire, reste valable pour un paramètre vecteur de réels ${\displaystyle {\vec {\theta }}=\left(\theta _{1},\theta _{2},\ldots ,\theta _{d}\right)^{T}}$. La loi est dite de famille exponentielle vectorielle si la fonction de densité (ou de probabilité, pour les discrètes) s'écrit :

$${\displaystyle f_{X}(x;{\vec {\theta }})=b(x)\,a({\vec {\theta }})\,\exp \left(\sum _{i=1}^{s}\eta _{i}({\vec {\theta }})\,T_{i}(x)\right)}$$

ou, en forme compacte :

$${\displaystyle f_{X}(x;{\vec {\theta }})=b(x)\,a({\vec {\theta }})\,\mathrm {e} ^{{\vec {\eta }}({\vec {\theta }})\cdot {\vec {T}}(x)}}$$

La somme est écrite comme le produit scalaire des fonctions-vecteurs ${\displaystyle {\vec {\eta }}(\theta )}$ et ${\displaystyle {\vec {T}}(x)}$.

On peut également rencontrer une forme alternative du type :

$${\displaystyle f_{X}(x;{\vec {\theta }})=b(x)\,\mathrm {e} ^{{\vec {\eta }}({\vec {\theta }})\cdot {\vec {T}}(x)-A({\vec {\theta }})}}$$

Comme précédemment, la famille exponentielle est sous forme canonique si ${\displaystyle \eta _{i}({\vec {\theta }})=\theta _{i}}$, pour tout ${\displaystyle i}$.

Une famille exponentielle vectorielle est dite courbe si la dimension ${\displaystyle d}$ du vecteur paramètre ${\displaystyle {\vec {\theta }}}$ est inférieure à la dimension ${\displaystyle s}$ du vecteur ${\displaystyle {\vec {\eta }}({\vec {\theta }})=\left(\eta _{1}({\vec {\theta }}),\eta _{2}({\vec {\theta }}),\ldots ,\eta _{s}({\vec {\theta }})\right)^{T}}$, le nombre de fonctions du vecteur paramètre dans la représentation factorisée.

Il est à noter que la plupart des lois courantes de famille exponentielle ne sont pas courbes, de sorte que nombre d'algorithmes conçus pour la famille exponentielle supposent implicitement ou explicitement que la loi n'est pas courbe.

La fonction de normalisation ${\displaystyle A({\vec {\theta }})}$ ou ${\displaystyle a({\vec {\theta }})}$ peut toujours s'écrire en fonction de ${\displaystyle {\vec {\eta }}}$, quelles que soient les transformations de ${\displaystyle {\vec {\theta }}}$ en ${\displaystyle {\vec {\eta }}}$. La famille exponentielle suivante est en « forme naturelle » (paramétrée par son paramètre naturel) :

$${\displaystyle f_{X}(x;{\vec {\eta }})=b(x)\,\mathrm {e} ^{{\vec {\eta }}\cdot {\vec {T}}(x)-A({\vec {\eta }})}}$$

ou :

$${\displaystyle f_{X}(x;{\vec {\eta }})=b(x)\,a({\vec {\eta }})\,\mathrm {e} ^{{\vec {\eta }}\cdot {\vec {T}}(x)}}$$

De même qu'un paramètre scalaire est généralisable à un paramètre vectoriel, une variable aléatoire simple (scalaire) peut se généraliser à une loi conjointe sur un vecteur de variables aléatoires : chaque notation scalaire ${\displaystyle x}$ est alors remplacée par un vecteur ${\displaystyle {\vec {x}}=\left(x_{1},x_{2},\ldots ,x_{k}\right)}$. Il est à noter que la dimension ${\displaystyle k}$ du vecteur aléatoire ne correspond pas nécessairement à la dimension ${\displaystyle d}$ du vecteur paramètre, ni (pour une fonction exponentielle courbe) à la dimension ${\displaystyle s}$ du paramètre naturel ${\displaystyle {\vec {\eta }}}$ et de la statistique suffisante ${\displaystyle T({\vec {x}})}$.

La loi s'écrit alors :

$${\displaystyle f_{X}({\vec {x}};{\vec {\theta }})=b({\vec {x}})\,\mathrm {e} ^{{\vec {\eta }}({\vec {\theta }})\cdot {\vec {T}}({\vec {x}})-A({\vec {\theta }})}}$$

ou :

$${\displaystyle f_{X}({\vec {x}};{\vec {\theta }})=b({\vec {x}})\,a({\vec {\theta }})\,\mathrm {e} ^{{\vec {\eta }}({\vec {\theta }})\cdot {\vec {T}}(\mathbf {x} )}}$$

Les fonctions ${\displaystyle T(x)}$, ${\displaystyle \eta (\theta )}$ et ${\displaystyle A(\eta )}$ qui apparaissent dans les définitions ne sont pas totalement arbitraires. Elles jouent un rôle important pour l'analyse statistique.

• T(x) est une statistique suffisante (ou exhaustive) de la loi. Une statistique suffisante est une fonction qui résume parfaitement les données mesurées x dans le cadre d'un échantillon tiré de cette loi : même si un autre jeu de données y diffère complètement de x, mais que T(x) = T(y), alors la densité estimée à partir des observations sera la même, c.à.d. elle aura le même paramètre.

La dimension de T(x) égale le nombre de paramètres de η.

La statistique suffisante d'une collection de données indépendantes et identiquement distribuées (i.i.d.) est la somme des statistiques suffisantes individuelles. En estimation bayésienne, elle contient toute l'information nécessaire au calcul de la loi a posteriori des paramètres, conditionnellement aux observations. En estimation classique, elle suffit pour construire un estimateur des paramètres :

• η est le paramètre naturel de la loi. L'ensemble des valeurs de η pour lesquelles la fonction f_X(x|θ) est finie est appelé l' espace paramétrique naturel. On peut montrer que cet espace paramétrique naturel est toujours convexe.

• A(η) est parfois appelée la fonction de log-partition parce qu'elle est le logarithme du facteur de normalisation a(η) (la « fonction de partition » des statisticiens) :

$${\displaystyle a(\eta )={\frac {1}{\int _{x}b(x)\mathrm {e} ^{\eta (\theta )\cdot T(x)}\operatorname {d} \!x}}}$$

ou :

$${\displaystyle A(\eta )=\ln \int _{x}b(x)\ \mathrm {e} ^{\eta (\theta )\cdot T(x)}\operatorname {d} \!x}$$

L'utilité de la fonction A apparaît quand il faut calculer la moyenne, la variance et les autres moments de la statistique suffisante T(x) : il suffit de dériver A(η).

Par exemple, on veut calculer l'espérance du logarithme d'une variable aléatoire suivant une loi gamma. Comme ln(x) est une composante de la statistique suffisante de cette loi, l'espérance ${\displaystyle \mathbb {E} [\ln x]}$ se calcule aisément en dérivant ${\displaystyle A(\eta )=\ln \Gamma (r)-r\ln \lambda \,}$.

• b(x) est la mesure de base. Elle sert au calcul d'une prieure non informative (= entropie maximale).

Un moyen de caractériser une famille exponentielle est sa factorisation en un produit de termes contenant chacun un seul type de variable, paramètres ou variables aléatoires. Ces facteurs sont présents soit directement, soit dans l'exponentiation (base ou exposant). De façon générale, les facteurs multipliés entre eux devront donc avoir une des formes suivantes :

${\displaystyle f(x)}$	${\displaystyle c^{f(x)}}$	${\displaystyle {[f(x)]}^{c}}$	${\displaystyle {[f(x)]}^{g(\theta )}}$	${\displaystyle {[f(x)]}^{h(x)g(\theta )}}$
${\displaystyle g(\theta )}$	${\displaystyle c^{g(\theta )}}$	${\displaystyle {[g(\theta )]}^{c}}$	${\displaystyle {[g(\theta )]}^{f(x)}}$	${\displaystyle {[g(\theta )]}^{h(x)j(\theta )}}$

où f(x) et h(x) sont des fonctions quelconques de x, g(θ) et j(θ) sont des fonctions quelconques de θ, et c est une expression quelconque « constante » (c.à.d. ne comportant ni x ni θ).

La forme ${\displaystyle {[f(x)]}^{g(\theta )}}$ est acceptable parce que ${\displaystyle {[f(x)]}^{g(\theta )}={\rm {e}}^{g(\theta )\ln f(x)}\,}$ qui se factorise dans l'exposant. De même pour ${\displaystyle {[f(x)]}^{h(x)g(\theta )}={\rm {e}}^{h(x)g(\theta )\ln f(x)}={\rm {e}}^{[h(x)\ln f(x)]g(\theta )}\,}$.

Ces facteurs sont toutefois limités en nombre. Par exemple, l'expression ${\displaystyle {[f(x)g(\theta )]}^{h(x)j(\theta )}}$ est identique à ${\displaystyle {[f(x)]}^{h(x)j(\theta )}[g(\theta )]^{h(x)j(\theta )}}$, un produit de deux facteurs « autorisés ». Pourtant, sa forme factorisée

${\displaystyle {[f(x)]}^{h(x)j(\theta )}[g(\theta )]^{h(x)j(\theta )}=\exp \left([h(x)\ln f(x)]j(\theta )+h(x)[j(\theta )\ln g(\theta )]\right)\,,}$

n'a pas la forme requise. Par contre, ce genre d'expression constitue une famille exponentielle courbe, qui permet plusieurs termes factorisés dans l'exposant.

Une somme incluant les deux types de variables, comme par exemple le facteur [1+f(x)g(θ)], ne se prête pas toujours à la factorisation. C'est la raison pour laquelle la loi de Cauchy et la t de Student, par exemple, ne sont pas de famille exponentielle.

La distinction entre paramètres et constantes est fondamentale pour déterminer si une « loi » est ou non de famille exponentielle.

La variable aléatoire normale de moyenne inconnue μ mais de variance σ² constante a pour fonction de densité :

${\displaystyle f_{\sigma }(x;\mu )={\frac {1}{{\sqrt {2\pi }}|\sigma |}}{\rm {e}}^{-(x-\mu )^{2}/2\sigma ^{2}}}$.

En posant :

${\displaystyle b_{\sigma }(x)={\frac {1}{{\sqrt {2\pi }}|\sigma |}}{\rm {e}}^{-x^{2}/2\sigma ^{2}},\,T_{\sigma }(x)={\frac {x}{\sigma }}\,A_{\sigma }(\mu )={\frac {\mu ^{2}}{2\sigma ^{2}}}\,\eta _{\sigma }(\mu )={\frac {\mu }{\sigma }},\,}$

on voit que c'est une famille exponentielle, à paramètre simple μ.

Si σ = 1, elle est en forme canonique, car alors η(μ) = μ.

Dans le cas de la normale de moyenne inconnue μ et de variance inconnue σ², la fonction de densité

${\displaystyle f(x;\mu ,\sigma )={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}{\rm {e}}^{-(x-\mu )^{2}/2\sigma ^{2}}}$

est une famille exponentielle à paramètre vectoriel (μ , σ) qui s'écrit sous forme canonique en posant :

${\displaystyle b(x)={1 \over {\sqrt {2\pi }}},\,{\boldsymbol {T}}(x)={\binom {x}{x^{2}}},\,{\boldsymbol {\eta }}(\mu ,\sigma )={\begin{pmatrix}{\frac {\mu }{\sigma ^{2}}}\\-{\frac {1}{2\sigma ^{2}}}\end{pmatrix}},\,A(\mu ,\sigma )={\mu ^{2} \over 2\sigma ^{2}}+\ln |\sigma |=A({\boldsymbol {\eta }})=-\eta _{1}^{2}/4\eta _{2}+1/2\ln |1/2\eta _{2}|}$

La loi binomiale à nombre de tirages n constant constitue un exemple de famille exponentielle discrète. Sa densité de probabilité

${\displaystyle f(x)={\binom {n}{x}}p^{x}(1-p)^{n-x},\quad x\in \{0,1,2,\ldots ,n\}}$

se factorise en

${\displaystyle f(x)={\binom {n}{x}}\exp \left[x\ln \left({p \over 1-p}\right)+n\ln \left(1-p\right)\right]}$.

Son paramètre naturel vaut :

${\displaystyle \eta =\ln {p \over 1-p}}$

qu'on appelle la fonction logit.

Ce tableau reprend une sélection de lois courantes et leur réécriture en famille exponentielle à paramètres naturels, de forme générale :

${\displaystyle f_{X}(\mathbf {x} |{\boldsymbol {\theta }})=b(\mathbf {x} )\ \exp \left(\ {\boldsymbol {\eta }}({\boldsymbol {\theta }})\cdot \mathbf {T} (\mathbf {x} )-A({\boldsymbol {\eta }})\ \right)\,\!}$

On a privilégié la forme fonctionnelle avec une fonction de log-partition A(η) parce que les moments de la statistique suffisante se calculent facilement en dérivant cette dernière fonction. On a donné également la fonction A(θ).

• Sont de famille exponentielle les lois : normale, exponentielle, log-normale, Gamma, khi-2, Bêta, Dirichlet, Bernoulli, multinomiale, Poisson, géométrique, inverse-gaussienne, von Mises et von Mises-Fisher.
• Sont de famille exponentielle uniquement si un paramètre est fixé (« constant ») : la Pareto à borne inférieure x_m fixée, les binomiales et multinomiales à nombre de tirages n fixé, les binomiales négatives à nombre d'échecs (ou paramètre d'arrêt) r fixé.

En règle générale, le domaine de définition, ou support, reste constant parmi toutes les lois d'une famille exponentielle. Ceci explique pourquoi la variation des paramètres fixés ci-dessus (comme la binomiale à nombre de tirages variable) rend la famille non exponentielle — le paramètre en question affecte le support (en l'occurrence, il modifie la valeur minimum ou maximum possible). C'est pour la même raison que la famille des Uniformes n'est pas non plus exponentielle.

La loi de Weibull à paramètre de forme k fixé est une famille exponentielle. Pourtant, le paramètre de forme ne modifie pas le support. Dans ce cas, c'est la forme particulière de sa fonction de densité (k apparaît dans l'exposant d'un exposant) qui empêche la factorisation de la Weibull si k varie.

• Ne sont pas de famille exponentielle : les lois F de Fisher-Snedecor, Cauchy, hypergéométrique et logistique. De même, la plupart des lois qui résultent du mélange fini ou infini de lois ne sont pas des familles exponentielles : les mélanges gaussiens, les lois à queue lourde construites par composition telles la t de Student (composition d'une loi normale par une loi gamma), la Bêta-binomiale et la Dirichlet-multinomiale.

loi	paramètre θ	paramètre naturel η	fonction réciproque θ(η)	mesure de base b(x)	statistique suffisante T(x)	log-partition A(η)	A(θ)
Bernoulli	p	${\displaystyle \ln {\frac {p}{1-p}}}$ (fonction logit)	${\displaystyle {\frac {1}{1+{\rm {e}}^{-\eta }}}={\frac {{\rm {e}}^{\eta }}{1+{\rm {e}}^{\eta }}}}$ (fonction logistique)	1	x	${\displaystyle \ln(1+{\rm {e}}^{\eta })}$	${\displaystyle -\ln(1-p)}$
binomiale (n constant)	p	${\displaystyle \ln {\frac {p}{1-p}}}$	${\displaystyle {\frac {1}{1+{\rm {e}}^{-\eta }}}={\frac {{\rm {e}}^{\eta }}{1+{\rm {e}}^{\eta }}}}$	${\displaystyle \mathbf {C} _{n}^{x}}$	x	${\displaystyle n\ln(1+{\rm {e}}^{\eta })}$	${\displaystyle -n\ln(1-p)}$
Poisson	λ	${\displaystyle \ln \lambda }$	${\displaystyle \exp(\eta )}$	${\displaystyle {\frac {1}{x!}}}$	x	${\displaystyle \exp(\eta )}$	λ
Binomiale négative (r constant)	p	ln(p)	${\displaystyle \exp(\eta )}$	${\displaystyle \Gamma _{r}^{x}}$	x	${\displaystyle -r\ln(1-\exp(\eta ))}$	–r ln(1–p)
Exponentielle	λ	–λ	${\displaystyle -\eta }$	1	x	${\displaystyle -\ln(-\eta )}$	${\displaystyle -\ln \lambda }$
Pareto (minimum xm constant)	α	${\displaystyle -\alpha -1}$	${\displaystyle -1-\eta }$	1	ln(x)	${\displaystyle -\ln(-1-\eta )}$    ${\displaystyle +(1+\eta )\ln x_{\mathrm {m} }}$	${\displaystyle -\ln \alpha }$    ${\displaystyle -\alpha \ln x_{\mathrm {m} }}$
Weibull (k constant)	λ	–λk	${\displaystyle (-\eta )^{1/k}}$	${\displaystyle x^{k-1}}$	xk	${\displaystyle \ln(-\eta )-\ln k}$	${\displaystyle k\ln \lambda -\ln k}$
Laplace (μ constant)	b	${\displaystyle -{\frac {1}{b}}}$	${\displaystyle -{\frac {1}{\eta }}}$	1	${\displaystyle |x-\mu |}$	${\displaystyle \ln \left(-{\frac {2}{\eta }}\right)}$	ln(2b)
Khi-carré	ν	${\displaystyle {\frac {\nu }{2}}-1}$	${\displaystyle 2(\eta +1)}$	${\displaystyle {\rm {e}}^{-x/2}}$	ln(x)	${\displaystyle \ln \Gamma (\eta +1)}$   ${\displaystyle +(\eta +1)\ln 2}$	${\displaystyle \ln \Gamma \left({\frac {\nu }{2}}\right)}$    ${\displaystyle +{\frac {\nu }{2}}\ln 2}$
Normale (variance constante)	μ	${\displaystyle {\frac {\mu }{\sigma }}}$	σ η	${\displaystyle {\frac {1}{{\sqrt {2\pi }}\sigma }}{\rm {e}}^{-{\frac {x^{2}}{2\sigma ^{2}}}}}$	${\displaystyle {\frac {x}{\sigma }}}$	${\displaystyle -{\frac {\eta ^{2}}{2}}}$	${\displaystyle {\frac {\mu ^{2}}{2\sigma ^{2}}}}$
Normale	μ , σ2	${\displaystyle {\begin{bmatrix}{\dfrac {\mu }{\sigma ^{2}}}\\[10pt]-{\dfrac {1}{2\sigma ^{2}}}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}-{\dfrac {\eta _{1}}{2\eta _{2}}}\\[15pt]-{\dfrac {1}{2\eta _{2}}}\end{bmatrix}}}$	${\displaystyle {\frac {1}{\sqrt {2\pi }}}}$	${\displaystyle {\begin{bmatrix}x\\x^{2}\end{bmatrix}}}$	${\displaystyle -{\frac {\eta _{1}^{2}}{4\eta _{2}}}-{\frac {1}{2}}\ln(-2\eta _{2})}$	${\displaystyle {\frac {\mu ^{2}}{2\sigma ^{2}}}+\ln \sigma }$
Log-normale	μ , σ2	${\displaystyle {\begin{bmatrix}{\dfrac {\mu }{\sigma ^{2}}}\\[10pt]-{\dfrac {1}{2\sigma ^{2}}}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}-{\dfrac {\eta _{1}}{2\eta _{2}}}\\[15pt]-{\dfrac {1}{2\eta _{2}}}\end{bmatrix}}}$	${\displaystyle {\frac {1}{{\sqrt {2\pi }}x}}}$	${\displaystyle {\begin{bmatrix}\ln x\\(\ln x)^{2}\end{bmatrix}}}$	${\displaystyle -{\frac {\eta _{1}^{2}}{4\eta _{2}}}-{\frac {1}{2}}\ln(-2\eta _{2})}$	${\displaystyle {\frac {\mu ^{2}}{2\sigma ^{2}}}+\ln \sigma }$
Normale inverse	μ, λ	${\displaystyle {\begin{bmatrix}-{\dfrac {\lambda }{2\mu ^{2}}}\\[15pt]-{\dfrac {\lambda }{2}}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}{\sqrt {\dfrac {\eta _{2}}{\eta _{1}}}}\\[15pt]-2\eta _{2}\end{bmatrix}}}$	${\displaystyle {\frac {1}{{\sqrt {2\pi }}x^{3/2}}}}$	${\displaystyle {\begin{bmatrix}x\\[5pt]{\dfrac {1}{x}}\end{bmatrix}}}$	${\displaystyle -2{\sqrt {\eta _{1}\eta _{2}}}-{\frac {1}{2}}\ln(-2\eta _{2})}$	${\displaystyle -{\frac {\lambda }{\mu }}-{\frac {1}{2}}\ln \lambda }$
Gamma-Normale	α, β, μ, λ	${\displaystyle {\begin{bmatrix}\alpha -{\frac {1}{2}}\\-\beta -{\dfrac {\lambda \mu ^{2}}{2}}\\\lambda \mu \\-{\dfrac {\lambda }{2}}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}\eta _{1}+{\frac {1}{2}}\\-\eta _{2}+{\dfrac {\eta _{3}^{2}}{4\eta _{4}}}\\-{\dfrac {\eta _{3}}{2\eta _{4}}}\\-2\eta _{4}\end{bmatrix}}}$	${\displaystyle {\dfrac {1}{\sqrt {2\pi }}}}$	${\displaystyle {\begin{bmatrix}\ln \tau \\\tau \\\tau x\\\tau x^{2}\end{bmatrix}}}$	${\displaystyle \ln \Gamma \left(\eta _{1}+{\frac {1}{2}}\right)}$   ${\displaystyle -{\frac {1}{2}}\ln \left(-2\eta _{4}\right)}$   ${\displaystyle -\left(\eta _{1}+{\frac {1}{2}}\right)\ln \left({\dfrac {\eta _{3}^{2}}{4\eta _{4}}}-\eta _{2}\right)}$	${\displaystyle \ln \Gamma \left(\alpha \right)-\alpha \ln \beta |}$       ${\displaystyle -{\frac {1}{2}}\ln \lambda }$
Gamma	r,λ	${\displaystyle {\begin{bmatrix}r-1\\-\lambda \end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}\eta _{1}+1\\-\eta _{2}\end{bmatrix}}}$	1	${\displaystyle {\begin{bmatrix}\ln x\\x\end{bmatrix}}}$	${\displaystyle \ln \Gamma (\eta _{1}+1)}$   ${\displaystyle -(\eta _{1}+1)\ln(-\eta _{2})}$	${\displaystyle \ln \Gamma (r)-r\ln \lambda }$
	k,θ	${\displaystyle {\begin{bmatrix}k-1\\[5pt]-{\dfrac {1}{\theta }}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}\eta _{1}+1\\[5pt]-{\dfrac {1}{\eta _{2}}}\end{bmatrix}}}$				${\displaystyle \ln \Gamma (k)+k\ln \theta }$
Gamma inverse	r, λ	${\displaystyle {\begin{bmatrix}-r-1\\-\lambda \end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}-\eta _{1}-1\\-\eta _{2}\end{bmatrix}}}$	1	${\displaystyle {\begin{bmatrix}\ln x\\1/x\end{bmatrix}}}$	${\displaystyle \ln \Gamma (-\eta _{1}-1)}$   ${\displaystyle -(-\eta _{1}-1)\ln(-\eta _{2})}$	${\displaystyle \ln \Gamma (r)-r\ln \lambda }$
Khi-carré inverse	ν, σ2	${\displaystyle {\begin{bmatrix}-{\dfrac {\nu }{2}}-1\\[10pt]-{\dfrac {\nu \sigma ^{2}}{2}}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}-2(\eta _{1}+1)\\[10pt]{\dfrac {\eta _{2}}{\eta _{1}+1}}\end{bmatrix}}}$	1	${\displaystyle {\begin{bmatrix}\ln x\\1/x\end{bmatrix}}}$	${\displaystyle \ln \Gamma (-\eta _{1}-1)}$   ${\displaystyle -(-\eta _{1}-1)\ln(-\eta _{2})}$	${\displaystyle \ln \Gamma \left({\frac {\nu }{2}}\right)|}$       ${\displaystyle -{\frac {\nu }{2}}\ln {\frac {\nu \sigma ^{2}}{2}}}$
Bêta	α, β	${\displaystyle {\begin{bmatrix}\alpha \\\beta \end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}\eta _{1}\\\eta _{2}\end{bmatrix}}}$	${\displaystyle {\frac {1}{x(1-x)}}}$	${\displaystyle {\begin{bmatrix}\ln x\\\ln(1-x)\end{bmatrix}}}$	${\displaystyle \ln \Gamma (\eta _{1})+\ln \Gamma (\eta _{2})}$   ${\displaystyle -\ln \Gamma (\eta _{1}+\eta _{2})}$	${\displaystyle \ln \Gamma (\alpha )+\ln \Gamma (\beta )}$   ${\displaystyle -\ln \Gamma (\alpha +\beta )}$
Dirichlet	α1,...,αk	${\displaystyle {\begin{bmatrix}\alpha _{1}-1\\\vdots \\\alpha _{k}-1\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}\eta _{1}+1\\\vdots \\\eta _{k}+1\end{bmatrix}}}$	1	${\displaystyle {\begin{bmatrix}\ln x_{1}\\\vdots \\\ln x_{k}\end{bmatrix}}}$	${\displaystyle \sum _{i=1}^{k}\ln \Gamma (\eta _{i}+1)}$   ${\displaystyle -\ln \Gamma \left(\sum _{i=1}^{k}\left(\eta _{i}+1\right)\right)}$	${\displaystyle \sum _{i=1}^{k}\ln \Gamma (\alpha _{i})|}$       ${\displaystyle -\ln \Gamma \left(\sum _{i=1}^{k}\alpha _{i}\right)}$
Normale multivariée	μ, Σ	${\displaystyle {\begin{bmatrix}{\boldsymbol {\Sigma }}^{-1}{\boldsymbol {\mu }}\\[5pt]-{\frac {1}{2}}{\boldsymbol {\Sigma }}^{-1}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}-{\frac {1}{2}}{\boldsymbol {\eta }}_{2}^{-1}{\boldsymbol {\eta }}_{1}\\[5pt]-{\frac {1}{2}}{\boldsymbol {\eta }}_{2}^{-1}\end{bmatrix}}}$	${\displaystyle (2\pi )^{-k/2}}$	${\displaystyle {\begin{bmatrix}\mathbf {x} \\[5pt]\mathbf {x} \mathbf {x} ^{\mathrm {T} }\end{bmatrix}}}$	${\displaystyle -{\frac {1}{4}}{\boldsymbol {\eta }}_{1}^{\rm {T}}{\boldsymbol {\eta }}_{2}^{-1}{\boldsymbol {\eta }}_{1}}$       ${\displaystyle -{\frac {1}{2}}\ln \left|-2{\boldsymbol {\eta }}_{2}\right|}$	${\displaystyle {\frac {1}{2}}{\boldsymbol {\mu }}^{\rm {T}}{\boldsymbol {\Sigma }}^{-1}{\boldsymbol {\mu }}|}$       ${\displaystyle +{\frac {1}{2}}\ln |{\boldsymbol {\Sigma }}|}$
Wishart	V, n	${\displaystyle {\begin{bmatrix}-{\frac {1}{2}}\mathbf {V} ^{-1}\\[5pt]{\dfrac {n-p-1}{2}}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}-{\frac {1}{2}}{{\boldsymbol {\eta }}_{1}}^{-1}\\[5pt]2\eta _{2}+p+1\end{bmatrix}}}$	1	${\displaystyle {\begin{bmatrix}\mathbf {X} \\\ln |\mathbf {X} |\end{bmatrix}}}$	${\displaystyle -\left(\eta _{2}+{\frac {p+1}{2}}\right)\ln |-{\boldsymbol {\eta }}_{1}|}$       ${\displaystyle +\ln \Gamma _{p}\left(\eta _{2}+{\frac {p+1}{2}}\right)=}$ ${\displaystyle -{\frac {n}{2}}\ln |-{\boldsymbol {\eta }}_{1}|+\ln \Gamma _{p}\left({\frac {n}{2}}\right)=}$ ${\displaystyle \left(\eta _{2}+{\frac {p+1}{2}}\right)(p\ln 2+\ln |\mathbf {V} |)}$       ${\displaystyle +\ln \Gamma _{p}\left(\eta _{2}+{\frac {p+1}{2}}\right)}$	${\displaystyle {\frac {n}{2}}(p\ln 2+\ln |\mathbf {V} |)}$   ${\displaystyle +\ln \Gamma _{p}\left({\frac {n}{2}}\right)}$
	A(η) est donnée sous trois formes, afin de faciliter le calcul des moments. Note : Se rappeler que Tr(A'B) = vec(A) • vec(B) ; autrement dit, la trace d'un produit matriciel est semblable à un produit scalaire. Les paramètres matriciels sont considérés comme des vecteurs dans la forme exponentielle. Par ailleurs, V et X sont symétriques.
Wishart inverse	Ψ, m	${\displaystyle {\begin{bmatrix}-{\frac {1}{2}}{\boldsymbol {\Psi }}\\[5pt]-{\dfrac {m+p+1}{2}}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}-2{\boldsymbol {\eta }}_{1}\\[5pt]-(2\eta _{2}+p+1)\end{bmatrix}}}$	1	${\displaystyle {\begin{bmatrix}\mathbf {X} ^{-1}\\\ln |\mathbf {X} |\end{bmatrix}}}$	${\displaystyle \ln \Gamma _{p}\left(-\left(\eta _{2}+{\frac {p+1}{2}}\right)\right)+}$    ${\displaystyle \left(\eta _{2}+{\frac {p+1}{2}}\right)\ln |-{\boldsymbol {\eta }}_{1}|=}$ ${\displaystyle \ln \Gamma _{p}\left({\frac {m}{2}}\right)-{\frac {m}{2}}\ln |-{\boldsymbol {\eta }}_{1}|=}$ ${\displaystyle \ln \Gamma _{p}\left(-\left(\eta _{2}+{\frac {p+1}{2}}\right)\right)-}$  ${\displaystyle \left(\eta _{2}+{\frac {p+1}{2}}\right)(p\ln 2-\ln |{\boldsymbol {\Psi }}|)}$	${\displaystyle {\frac {m}{2}}(p\ln 2-\ln |{\boldsymbol {\Psi }}|)}$   ${\displaystyle +\ln \Gamma _{p}\left({\frac {m}{2}}\right)}$
multinomiale (n constant) (= Multi-Bernoulli si n=1) version 1	p1,...,pk avec ${\displaystyle \sum _{i=1}^{k}p_{i}=1}$	${\displaystyle {\begin{bmatrix}\ln p_{1}\\\vdots \\\ln p_{k}\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}{\rm {e}}^{\eta _{1}}\\\vdots \\{\rm {e}}^{\eta _{k}}\end{bmatrix}}}$ ${\displaystyle \textstyle \sum _{i=1}^{k}\mathrm {e} ^{\eta _{i}}=1}$	${\displaystyle {\frac {n!}{\prod _{i=1}^{k}x_{i}!}}}$	${\displaystyle {\begin{bmatrix}x_{1}\\\vdots \\x_{k}\end{bmatrix}}}$	0	0
Multinomiale (n constant) version 2	p1,...,pk–1 avec ${\displaystyle p_{k}=}$${\displaystyle 1-\sum _{i=1}^{k-1}p_{i}}$	${\displaystyle {\begin{bmatrix}\ln {\dfrac {p_{1}}{p_{k}}}\\[10pt]\vdots \\[5pt]\ln {\dfrac {p_{k-1}}{p_{k}}}\\[15pt]0\end{bmatrix}}}$	${\displaystyle {\begin{bmatrix}{\dfrac {{\rm {e}}^{\eta _{1}}}{\sum _{i=1}^{k}{\rm {e}}^{\eta _{i}}}}\\[10pt]\vdots \\[5pt]{\dfrac {{\rm {e}}^{\eta _{k}}}{\sum _{i=1}^{k}{\rm {e}}^{\eta _{i}}}}\end{bmatrix}}}$	${\displaystyle {\frac {n!}{\prod _{i=1}^{k}x_{i}!}}}$	${\displaystyle {\begin{bmatrix}x_{1}\\\vdots \\x_{k}\end{bmatrix}}}$	${\displaystyle \ln \left(\sum _{i=1}^{k}{\rm {e}}^{\eta _{i}}\right)}$	${\displaystyle -\ln p_{k}}$

La variante de la multinomiale résulte du fait que les paramètres p_i sont contraints par ${\displaystyle \sum _{i=1}^{k}p_{i}=1}$. Il n'y a donc que k-1 paramètres indépendants.

• Dans la version 1, on voit k paramètres naturels et une relation simple entre les paramètres standard et naturel. Cependant, k-1 seulement des paramètres naturels sont indépendants, et du coup l'ensemble des k paramètres naturels est non identifiable. La contrainte sur les paramètres normaux se transpose à l'identique sur les paramètres naturels.

Notez que la version 1 n'est pas une famille exponentielle standard. C'est une famille exponentielle courbe, puisque k-1 paramètres indépendants sont incorporés dans un espace k-dimensionnel. Les propriétés de base des familles exponentielles ne s'appliquent pas aux familles exponentielles courbes. Par exemple on voit que la fonction de log-partition A(x) a la valeur 0.

• La version 2 montre une manière simple de rendre les paramètres identifiables en fixant p_k. Cela force le dernier paramètre naturel à la valeur constante 0. Les autres formules sont écrites de façon à ne pas utiliser p_k, de sorte que le modèle n'a bien que k-1 paramètres, tant sous forme normale que sous forme canonique.

Le théorème de Pitman–Koopman–Darmois montre que parmi les familles de lois dont le domaine ne dépend pas du paramètre à estimer, seules les familles exponentielles offrent une statistique suffisante dont la dimension reste bornée quand la taille d'échantillon croît.

Concrètement, soient X_k, (où k = 1, 2, 3, ... n) des variables aléatoires indépendantes, identiquement distribuées. Il faut que leur loi soit de famille exponentielle pour qu'existe une statistique suffisante T(X₁, ..., X_n) dont le nombre de composantes scalaires n'augmente pas avec la taille d'échantillon n : sa dimension ne changera pas quand on collecte plus de données.

En inférence bayésienne, une loi a priori d'un paramètre à estimer est multipliée par une fonction de vraisemblance (puis normalisée) pour aboutir à une loi a posteriori.

Une prieure conjuguée est une loi a priori qui, après combinaison à la fonction de vraisemblance, donne une loi a posteriori de même type, ce qui rend particulièrement facile le calcul de la postérieure. Par exemple, pour estimer la probabilité de succès p d'une loi binomiale, si on prend une loi bêta comme prieure, la postérieure sera une autre loi bêta. De même, l'estimation du paramètre d'une Poisson par une prieure Gamma donne une postérieure Gamma. Les prieures conjuguées sont souvent très pratiques, de par leur flexibilité.

Lorsque la fonction de vraisemblance est de famille exponentielle, il existe une prieure conjuguée, qui sera en général elle aussi de famille exponentielle.

En règle générale, une fonction de vraisemblance ne sera pas de famille exponentielle, et donc il n'existera pas de prieure conjuguée. La postérieure devra être calculée par des méthodes numériques.

La prieure conjuguée π (pour « prior ») sur le paramètre η d'une famille exponentielle est donnée par :

${\displaystyle \pi ({\boldsymbol {\eta }}|{\boldsymbol {\chi }},\nu )=f({\boldsymbol {\chi }},\nu )\exp({\boldsymbol {\eta }}^{\rm {T}}{\boldsymbol {\chi }}-\nu \,A({\boldsymbol {\eta }}))=f({\boldsymbol {\chi }},\nu )a({\boldsymbol {\eta }})^{\nu }\exp({\boldsymbol {\eta }}^{\rm {T}}{\boldsymbol {\chi }}),}$

où

• ν > 0 représente le nombre virtuel d'observations fournies par la prieure.
• ${\displaystyle {\boldsymbol {\chi }}\in \mathbb {R} ^{s}}$ (s étant la dimension de η) représente la contribution de ces pseudo-observations dans la statistique suffisante constituée de toutes les observations et pseudo-observations.

χ et ν sont des hyperparamètres (paramètres contrôlant des paramètres).

• f(χ,ν) est la constante de normalisation, déterminée automatiquement par les autres fonctions, qui sert à assurer que π(η| χ,ν) est une fonction de densité.
• A(η) (resp. a(η)) sont les mêmes fonctions que dans la loi p(x| χ) pour laquelle π est prieure conjuguée.

Pour voir que cette loi a priori est une prieure conjuguée, on peut en calculer la postérieure.

Soit la fonction de densité (ou de probabilité) d'une observation, de famille exponentielle, écrite en paramètre naturel :

${\displaystyle p(x|{\boldsymbol {\eta }})=b(x)a({\boldsymbol {\eta }})\exp \left(\ {\boldsymbol {\eta }}^{\rm {T}}\mathbf {T} (x)\ \right)\,\!}$

La vraisemblance des données X = (x₁, ...,x_n) est donnée par :

${\displaystyle p(\mathbf {X} |{\boldsymbol {\eta }})=\left(\prod _{i=1}^{n}b(x_{i})\right)a({\boldsymbol {\eta }})^{n}\exp \left(\ {\boldsymbol {\eta }}^{\rm {T}}\left(\sum _{i=1}^{n}\mathbf {T} (x_{i})\right)\ \right)}$

Par conséquent, en appliquant la loi a priori susdite :

${\displaystyle {\begin{aligned}\pi ({\boldsymbol {\eta }}|{\boldsymbol {\chi }},\nu )&=f({\boldsymbol {\chi }},\nu )a({\boldsymbol {\eta }})^{\nu }\exp({\boldsymbol {\eta }}^{\rm {T}}{\boldsymbol {\chi }})&\propto a({\boldsymbol {\eta }})^{\nu }\exp({\boldsymbol {\eta }}^{\rm {T}}{\boldsymbol {\chi }})\end{aligned}}}$,

on dérive la postérieure :

${\displaystyle {\begin{aligned}p({\boldsymbol {\eta }}|\mathbf {X} ,{\boldsymbol {\chi }},\nu )&\propto p(\mathbf {X} |{\boldsymbol {\eta }})\pi ({\boldsymbol {\eta }}|{\boldsymbol {\chi }},\nu )\\&=\left(\prod _{i=1}^{n}b(x_{i})\right)a({\boldsymbol {\eta }})^{n}\exp \left(\ {\boldsymbol {\eta }}^{\rm {T}}\left(\sum _{i=1}^{n}\mathbf {T} (x_{i})\right)\ \right)f({\boldsymbol {\chi }},\nu )a({\boldsymbol {\eta }})^{\nu }\exp({\boldsymbol {\eta }}^{\rm {T}}{\boldsymbol {\chi }})\\&\propto a({\boldsymbol {\eta }})^{n}\exp \left(\ {\boldsymbol {\eta }}^{\rm {T}}\left(\sum _{i=1}^{n}\mathbf {T} (x_{i})\right)\ \right)a({\boldsymbol {\eta }})^{\nu }\exp({\boldsymbol {\eta }}^{\rm {T}}{\boldsymbol {\chi }})\\&\propto a({\boldsymbol {\eta }})^{\nu +n}\exp \left(\ {\boldsymbol {\eta }}^{\rm {T}}\left({\boldsymbol {\chi }}+\sum _{i=1}^{n}\mathbf {T} (x_{i})\right)\ \right)\end{aligned}}}$