尤度方程式 （ゆうどほうていしき、英 : likelihood equation ）とは、統計学 において、対数尤度関数 の極値 条件を与える方程式 の事。統計的推定法 の一つである最尤法 において、尤度関数 を最大化する最尤推定値 を求める際に用いられる。
独立同分布 を満たす
n
{\displaystyle n}
確率変数
D
=
{
D
i
∣ ∣ -->
i
∈ ∈ -->
{
1
,
.
.
,
n
}
}
{\displaystyle {\boldsymbol {D}}=\{D_{i}\mid i\in \{1,..,n\}\}}
d
=
{
d
i
∣ ∣ -->
i
∈ ∈ -->
{
1
,
.
.
,
n
}
}
{\displaystyle {\boldsymbol {d}}=\{d_{i}\mid i\in \{1,..,n\}\}}
n
{\displaystyle n}
無作為抽出 された状況を考える。
ここで確率密度関数
f
(
X
|
θ θ -->
)
{\displaystyle f(X|{\boldsymbol {\theta }})}
θ θ -->
=
(
θ θ -->
1
,
.
.
,
θ θ -->
p
)
{\displaystyle {\boldsymbol {\theta }}={(\theta _{1},..,\theta _{p})}}
Θ ⊂ R p に値を持つ。この確率モデルが
d
{\displaystyle {\boldsymbol {d}}}
θ θ -->
{\displaystyle {\boldsymbol {\theta }}}
最尤推定 をおこなう。
このとき独立同分布 条件により、尤度関数
L
(
θ θ -->
|
d
)
{\displaystyle L({\boldsymbol {\theta }}|{\boldsymbol {d}})}
l
(
θ θ -->
|
d
)
{\displaystyle l({\boldsymbol {\theta }}|{\boldsymbol {d}})}
L
(
θ θ -->
|
d
)
=
∏ ∏ -->
i
=
1
n
f
(
X
=
d
i
|
θ θ -->
)
{\displaystyle L({\boldsymbol {\theta }}|{\boldsymbol {d}})=\prod _{i=1}^{n}f(X=d_{i}|{\boldsymbol {\theta }})}
l
(
θ θ -->
|
d
)
=
ln
-->
L
(
θ θ -->
|
d
)
=
∑ ∑ -->
i
=
1
n
ln
-->
f
(
X
=
d
i
|
θ θ -->
)
{\displaystyle l({\boldsymbol {\theta }}|{\boldsymbol {d}})=\ln {L({\boldsymbol {\theta }}|{\boldsymbol {d}})}=\sum _{i=1}^{n}\ln {f(X=d_{i}|{\boldsymbol {\theta }})}}
すなわちあるデータ群に対するモデルの尤度関数は、各観測値に対する尤度関数の積（対数尤度の場合は和）となる。
最尤法では対数尤度関数を最大化する
θ θ -->
{\displaystyle {\boldsymbol {\theta }}}
θ θ -->
^ ^ -->
{\displaystyle {\hat {\boldsymbol {\theta }}}}
θ θ -->
^ ^ -->
{\displaystyle {\hat {\boldsymbol {\theta }}}}
∂ ∂ -->
∂ ∂ -->
θ θ -->
l
(
θ θ -->
|
d
)
=
0
{\displaystyle {\frac {\partial }{\partial {\boldsymbol {\theta }}}}l({\boldsymbol {\theta }}|{\boldsymbol {d}})=\mathbf {0} }
この方程式を尤度方程式 という。左辺の勾配ベクトル ：
S
(
d
,
θ θ -->
)
:=
∂ ∂ -->
∂ ∂ -->
θ θ -->
l
(
θ θ -->
|
d
)
{\displaystyle \mathbf {S} ({\boldsymbol {d}},{\boldsymbol {\theta }}):={\frac {\partial }{\partial {\boldsymbol {\theta }}}}l({\boldsymbol {\theta }}|{\boldsymbol {d}})}
は、スコア関数 、もしくは単にスコア と呼ばれる。多くの場合、最尤推定値の推定は、尤度方程式を解く問題、すなわち、スコアをゼロとするパラメータθ ∈ Θ
Xi (i =1,..,n )μ 、分散をσ2 とする正規分布 に従うとする（X ∼ N(μ, σ2 )
l
(
μ μ -->
,
σ σ -->
2
,
x
)
=
− − -->
n
2
ln
-->
2
π π -->
− − -->
n
2
ln
-->
σ σ -->
2
− − -->
1
2
σ σ -->
2
∑ ∑ -->
i
=
1
n
(
x
i
− − -->
μ μ -->
)
2
{\displaystyle l(\mu ,\sigma ^{2},\mathbf {x} )=-{\frac {n}{2}}\ln {2\pi }-{\frac {n}{2}}\ln {\sigma ^{2}}-{\frac {1}{2\sigma ^{2}}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}}
であり、尤度方程式は
∂ ∂ -->
l
(
μ μ -->
,
σ σ -->
2
,
x
)
∂ ∂ -->
μ μ -->
=
1
σ σ -->
2
∑ ∑ -->
i
=
1
n
(
x
i
− − -->
μ μ -->
)
=
0
{\displaystyle {\frac {\partial l(\mu ,\sigma ^{2},\mathbf {x} )}{\partial \mu }}={\frac {1}{\sigma ^{2}}}\sum _{i=1}^{n}(x_{i}-\mu )=0}
∂ ∂ -->
l
(
μ μ -->
,
σ σ -->
2
,
x
)
∂ ∂ -->
σ σ -->
2
=
− − -->
n
2
σ σ -->
2
+
1
2
(
σ σ -->
2
)
2
∑ ∑ -->
i
=
1
n
(
x
i
− − -->
μ μ -->
)
2
=
0
{\displaystyle {\frac {\partial l(\mu ,\sigma ^{2},\mathbf {x} )}{\partial \sigma ^{2}}}=-{\frac {n}{2\sigma ^{2}}}+{\frac {1}{2(\sigma ^{2})^{2}}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}=0}
となる。これらを整理すると最尤推定値として
μ μ -->
^ ^ -->
=
1
n
∑ ∑ -->
i
=
1
n
x
i
{\displaystyle {\hat {\mu }}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}}
σ σ -->
2
^ ^ -->
=
1
n
∑ ∑ -->
i
=
1
n
(
x
i
− − -->
μ μ -->
)
2
{\displaystyle {\hat {\sigma ^{2}}}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-\mu )^{2}}
を得る。
Xi (i =1,..,n )β 、尺度パラメータをη とするワイブル分布 に従うとする。このとき、対数尤度関数は
l
(
η η -->
,
β β -->
,
x
)
=
n
ln
-->
β β -->
− − -->
n
β β -->
ln
-->
η η -->
+
(
β β -->
− − -->
1
)
∑ ∑ -->
i
=
1
n
ln
-->
x
i
− − -->
1
η η -->
β β -->
∑ ∑ -->
i
=
1
n
x
i
β β -->
{\displaystyle l(\eta ,\beta ,\mathbf {x} )=n\ln {\beta }-n\beta \ln {\eta }+(\beta -1)\sum _{i=1}^{n}\ln {x_{i}}-{\frac {1}{\eta ^{\beta }}}\sum _{i=1}^{n}x_{i}^{\beta }}
であり、尤度方程式は
∂ ∂ -->
l
(
η η -->
,
β β -->
,
x
)
∂ ∂ -->
η η -->
=
− − -->
n
β β -->
η η -->
− − -->
β β -->
η η -->
(
β β -->
+
1
)
∑ ∑ -->
i
=
1
n
x
i
β β -->
=
0
{\displaystyle {\frac {\partial l(\eta ,\beta ,\mathbf {x} )}{\partial \eta }}=-{\frac {n\beta }{\eta }}-{\frac {\beta }{\eta ^{(\beta +1)}}}\sum _{i=1}^{n}x_{i}^{\beta }=0}
∂ ∂ -->
l
(
η η -->
,
β β -->
,
x
)
∂ ∂ -->
β β -->
=
n
β β -->
− − -->
n
ln
-->
η η -->
+
∑ ∑ -->
i
=
1
n
ln
-->
x
i
+
ln
-->
η η -->
η η -->
β β -->
∑ ∑ -->
i
=
1
n
x
i
β β -->
+
1
η η -->
β β -->
∑ ∑ -->
i
=
1
n
ln
-->
x
i
x
i
β β -->
=
0
{\displaystyle {\frac {\partial l(\eta ,\beta ,\mathbf {x} )}{\partial \beta }}={\frac {n}{\beta }}-n\ln {\eta }+\sum _{i=1}^{n}\ln {x_{i}}+{\frac {\ln {\eta }}{\eta ^{\beta }}}\sum _{i=1}^{n}x_{i}^{\beta }+{\frac {1}{\eta ^{\beta }}}\sum _{i=1}^{n}\ln {x_{i}}x_{i}^{\beta }=0}
となる。
これらを整理すると最尤推定値ˆ η ˆ β
η η -->
^ ^ -->
=
(
1
n
∑ ∑ -->
i
=
1
n
x
i
β β -->
^ ^ -->
)
1
β β -->
^ ^ -->
{\displaystyle {\hat {\eta }}=\left({\frac {1}{n}}\sum _{i=1}^{n}x_{i}^{\hat {\beta }}\right)^{\frac {1}{\hat {\beta }}}}
1
β β -->
^ ^ -->
+
1
n
∑ ∑ -->
i
=
1
n
ln
-->
x
i
− − -->
∑ ∑ -->
i
=
1
n
x
i
β β -->
^ ^ -->
ln
-->
x
i
∑ ∑ -->
i
=
1
n
x
i
β β -->
^ ^ -->
=
0
{\displaystyle {\frac {1}{\hat {\beta }}}+{\frac {1}{n}}\sum _{i=1}^{n}\ln {x_{i}}-{\frac {\sum _{i=1}^{n}x_{i}^{\hat {\beta }}\ln {x_{i}}}{\sum _{i=1}^{n}x_{i}^{\hat {\beta }}}}=0}
を得る。第二式を満たすˆ β ˆ η
Xi (i =1,..,n )α 、尺度パラメータをβ とするガンマ分布 に従うとする（X ∼ Γ(α, β)
l
(
α α -->
,
β β -->
,
x
)
=
− − -->
n
ln
-->
Γ Γ -->
(
α α -->
)
− − -->
n
α α -->
ln
-->
β β -->
+
(
α α -->
− − -->
1
)
∑ ∑ -->
i
=
1
n
ln
-->
x
i
− − -->
1
β β -->
∑ ∑ -->
i
=
1
n
x
i
{\displaystyle l(\alpha ,\beta ,\mathbf {x} )=-n\ln {\Gamma (\alpha )}-n\alpha \ln {\beta }+(\alpha -1)\sum _{i=1}^{n}\ln {x_{i}}-{\frac {1}{\beta }}\sum _{i=1}^{n}x_{i}}
であり、尤度方程式は
∂ ∂ -->
l
(
α α -->
,
β β -->
,
x
)
∂ ∂ -->
α α -->
=
− − -->
n
ψ ψ -->
(
α α -->
)
− − -->
n
ln
-->
β β -->
+
(
α α -->
− − -->
1
)
∑ ∑ -->
i
=
1
n
ln
-->
x
i
=
0
{\displaystyle {\frac {\partial l(\alpha ,\beta ,\mathbf {x} )}{\partial \alpha }}=-n\psi (\alpha )-n\ln {\beta }+(\alpha -1)\sum _{i=1}^{n}\ln {x_{i}}=0}
∂ ∂ -->
l
(
α α -->
,
β β -->
,
x
)
∂ ∂ -->
β β -->
=
− − -->
n
α α -->
β β -->
+
1
β β -->
2
∑ ∑ -->
i
=
1
n
x
i
=
0
{\displaystyle {\frac {\partial l(\alpha ,\beta ,\mathbf {x} )}{\partial \beta }}=-{\frac {n\alpha }{\beta }}+{\frac {1}{\beta ^{2}}}\sum _{i=1}^{n}x_{i}=0}
となる。
ここではψ(α) はガンマ関数の対数微分 であるディガンマ関数 を表す。これらを整理すると最尤推定値ˆ β ˆ α
β β -->
^ ^ -->
=
1
α α -->
^ ^ -->
1
n
∑ ∑ -->
i
=
1
n
x
i
{\displaystyle {\hat {\beta }}={\frac {1}{\hat {\alpha }}}{\frac {1}{n}}\sum _{i=1}^{n}x_{i}}
α α -->
^ ^ -->
=
1
n
∑ ∑ -->
i
=
1
n
x
i
(
∏ ∏ -->
i
=
1
n
x
i
)
1
n
exp
-->
(
ψ ψ -->
(
α α -->
^ ^ -->
)
)
{\displaystyle {\hat {\alpha }}={\frac {{\frac {1}{n}}\sum _{i=1}^{n}x_{i}}{\left(\prod _{i=1}^{n}x_{i}\right)^{\frac {1}{n}}}}\exp {(\psi ({\hat {\alpha }}))}}
を得る。第二式を満たすˆ α ˆ β
尤度方程式が解析的に解けない場合、S (θ* )=0 θ* ∈ Θ
ニュートン＝ラフソン法 では、反復計算により、最適解θ* θ (k ) テイラー展開 により、
S
(
x
,
θ θ -->
)
≃ ≃ -->
S
(
x
,
θ θ -->
(
k
)
)
− − -->
I
(
θ θ -->
(
k
)
)
(
θ θ -->
− − -->
θ θ -->
(
k
)
)
{\displaystyle \mathbf {S} (\mathbf {x} ,{\boldsymbol {\theta }})\simeq \mathbf {S} (\mathbf {x} ,{\boldsymbol {\theta }}^{(k)})-I({\boldsymbol {\theta }}^{(k)})({\boldsymbol {\theta }}-{\boldsymbol {\theta }}^{(k)})}
と一次近似 できる。ここでI (θ )
I
(
θ θ -->
)
=
− − -->
∂ ∂ -->
2
∂ ∂ -->
θ θ -->
∂ ∂ -->
θ θ -->
T
ln
-->
L
(
θ θ -->
,
x
)
{\displaystyle I({\boldsymbol {\theta }})=-{\frac {\partial ^{2}}{\partial {\boldsymbol {\theta }}\partial {\boldsymbol {\theta }}^{T}}}\ln {L({\boldsymbol {\theta }},\mathbf {x} )}}
で与えられる、対数尤度関数のヘッセ行列 の符号を変えた行列である。ニュートン＝ラフソン法では、左辺をゼロとおくことで、θ (k +1)
θ θ -->
(
k
+
1
)
=
θ θ -->
(
k
)
+
I
(
θ θ -->
(
k
)
)
− − -->
1
S
(
x
,
θ θ -->
(
k
)
)
{\displaystyle {\boldsymbol {\theta }}^{(k+1)}={\boldsymbol {\theta }}^{(k)}+I({\boldsymbol {\theta }}^{(k)})^{-1}\mathbf {S} (\mathbf {x} ,{\boldsymbol {\theta }}^{(k)})}
を定める。
ニュートン＝ラフソン法は、最適解θ* θ*
|
|
θ θ -->
(
k
)
− − -->
θ θ -->
∗ ∗ -->
|
|
≤ ≤ -->
K
|
|
θ θ -->
(
k
)
− − -->
θ θ -->
∗ ∗ -->
|
|
2
{\displaystyle ||{\boldsymbol {\theta }}^{(k)}-{\boldsymbol {\theta }}^{\ast }||\leq K||{\boldsymbol {\theta }}^{(k)}-{\boldsymbol {\theta }}^{\ast }||^{2}}
を満たす正の定数K
一方で、ニュートン＝ラフソン法は各ステップで、対数尤度関数のヘッセ行列から定まるI (θ )p 次の連立方程式を解くことが必要となる。これらの計算量 はO (p 3 )オーダー であり、パラメータ数p が増えると、計算負荷が急激に増える。また、初期値の設定によっては、I (θ )正定値 とはならず、最適解θ*
ニュートン＝ラフソン法においては、各ステップで負の対数尤度関数の二階微分であるI (θ )I (θ )I (θ )期待値 であるフィッシャー情報行列
J
(
θ θ -->
)
=
E
θ θ -->
[
− − -->
∂ ∂ -->
2
∂ ∂ -->
θ θ -->
∂ ∂ -->
θ θ -->
T
ln
-->
L
(
θ θ -->
,
x
)
]
=
E
θ θ -->
[
∂ ∂ -->
∂ ∂ -->
θ θ -->
ln
-->
L
(
θ θ -->
,
x
)
∂ ∂ -->
∂ ∂ -->
θ θ -->
T
ln
-->
L
(
θ θ -->
,
x
)
]
{\displaystyle J({\boldsymbol {\theta }})=E_{\boldsymbol {\theta }}\left[-{\frac {\partial ^{2}}{\partial {\boldsymbol {\theta }}\partial {\boldsymbol {\theta }}^{T}}}\ln {L({\boldsymbol {\theta }},\mathbf {x} )}\right]=E_{\boldsymbol {\theta }}\left[{\frac {\partial }{\partial {\boldsymbol {\theta }}}}\ln {L({\boldsymbol {\theta }},\mathbf {x} }){\frac {\partial }{\partial {\boldsymbol {\theta }}^{T}}}\ln {L({\boldsymbol {\theta }},\mathbf {x} )}\right]}
が、より簡潔に求まるため、I (θ )J (θ )
θ θ -->
(
k
+
1
)
=
θ θ -->
(
k
)
+
J
(
θ θ -->
(
k
)
)
− − -->
1
S
(
x
,
θ θ -->
(
k
)
)
{\displaystyle {\boldsymbol {\theta }}^{(k+1)}={\boldsymbol {\theta }}^{(k)}+J({\boldsymbol {\theta }}^{(k)})^{-1}\mathbf {S} (\mathbf {x} ,{\boldsymbol {\theta }}^{(k)})}
とする。この方法をフィッシャーのスコア法 と呼ぶ。
フィッシャー情報行列は非負定値であるため、ニュートン＝ラフソン法でのI (θ )
Epps, T. W. (2013). Probability and Statistical Theory for Applied Researchers . World Scientific Pub Co Inc. ISBN 978-9814513159 Lehmann, E. L. (1983). Theory of Point Estimation . John Wiley & Sons Inc. ISBN 978-0471058496 Monahan, John F. (2011). Numerical Methods of Statistics . Cambridge Series in Statistical and Probabilistic Mathematics (2nd ed.). Cambridge University Press. ISBN 978-0521139519
![{\displaystyle J({\boldsymbol {\theta }})=E_{\boldsymbol {\theta }}\left[-{\frac {\partial ^{2}}{\partial {\boldsymbol {\theta }}\partial {\boldsymbol {\theta }}^{T}}}\ln {L({\boldsymbol {\theta }},\mathbf {x} )}\right]=E_{\boldsymbol {\theta }}\left[{\frac {\partial }{\partial {\boldsymbol {\theta }}}}\ln {L({\boldsymbol {\theta }},\mathbf {x} }){\frac {\partial }{\partial {\boldsymbol {\theta }}^{T}}}\ln {L({\boldsymbol {\theta }},\mathbf {x} )}\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/672a8f1946a064847286d4ace693b662f0d4c856)
