この記事は検証可能な参考文献や出典が全く示されていないか、不十分です。 出典を追加して記事の信頼性向上にご協力ください。（このテンプレートの使い方） 出典検索?: "尤度関数" – ニュース · 書籍 · スカラー · CiNii · J-STAGE · NDL · dlib.jp · ジャパンサーチ · TWL (2014年9月)

尤度関数（ゆうどかんすう、英: likelihood function）とは統計学において、ある前提条件に従って結果が出現する場合に、逆に観察結果からみて前提条件が「何々であった」と推測する尤もらしさ（もっともらしさ）を表す数値を、「何々」を変数とする関数として捉えたものである。また単に尤度ともいう。

その相対値に意味があり、最尤法、尤度比検定などで用いられる。

B = b であることが確定している場合に、 A が起きる確率（条件付き確率）を

${\displaystyle P(A\mid B=b)}$

とする。このとき、逆に A が観察で確認されていることを基にして、上記の条件付き確率を変数 b の関数として尤度関数という。また一般には、それに比例する関数からなる同値類

${\displaystyle L(b\mid A)=\alpha P(A\mid B=b)}$

をも尤度関数という（ここで${\displaystyle \alpha }$は任意の正の比例定数）。

重要なのは数値${\displaystyle L(b|A)}$自体ではなく、むしろ比例定数を含まない尤度比${\displaystyle L(b_{2}\mid A)/L(b_{1}\mid A)}$である。もし${\displaystyle L(b_{2}\mid A)/L(b_{1}\mid A)>1}$ならば、${\displaystyle b_{1}}$と考えるよりも${\displaystyle b_{2}}$と考えるほうが尤もらしい、ということになる。 ${\displaystyle B}$が与えられた場合には、それから${\displaystyle A}$について推論するのには条件付き確率${\displaystyle P(A\mid B)}$を用いる。 逆に、${\displaystyle A}$が与えられた場合に、それから${\displaystyle B}$について推論するのには条件付き確率${\displaystyle P(B\mid A)}$（事後確率）を用いるが、これは尤度関数である${\displaystyle P(A\mid B)}$あるいは${\displaystyle P(A\mid B)/P(A)}$から、次のベイズの定理によって求められる：

${\displaystyle P(B\mid A)={\frac {P(A\mid B)~P(B)}{P(A)}}}$

ただし、尤度関数は後に示すように確率密度関数とは別の概念である。

コインを投げるときに、表が出る（'H'）確率が p_H であれば、2回の試行で2回とも表が出る（'HH'）確率は p_H² である。 p_H = 0.5 であれば、2回とも表が出る確率は0.25である。このことを次のように示す：

${\displaystyle P({\mbox{HH}}\mid p_{H}=0.5)=0.25}$

これのもう1つの言い方として、「観察結果が'HH'ならば p_H = 0.5 の尤度は 0.25である」、つまり

${\displaystyle L(p_{H}=0.5\mid {\mbox{HH}})=P({\mbox{HH}}\mid p_{H}=0.5)=0.25}$.

と言える。一般には

${\displaystyle L(p_{H}=x\mid {\mbox{HH}})=P({\mbox{HH}}\mid p_{H}=x)=x^{2}}$

と書ける。 しかしこれを、「観察値が0.25ならば、1回投げて表の出る確率は p_H = 0.5」という意味にとってはならない。 極端な場合を例にとると、「観察結果が'HH'ならば p_H = 1 の尤度は1」とはいえる。しかし明らかに、観察値が1だからといって表の出る確率 p_H = 1 ということはない。'HH'という事象は p_H の値が0より大きく1以下のいくつであっても起こりうるのだ。 ${\displaystyle L(p_{H}=x\mid {\mbox{HH}})}$の値はxが1に近づくほど大きくなる（しかし現実にはp_H はおよそ0.5である場合が多い）。観察はたった2回の試行に基づくもので、それからとりあえず「p_H = 1 が尤もらしい」といっているにすぎない。 また尤度関数は確率密度関数ではなく、積分しても一般に1にはならない。上の例では p_H に関する[0, 1]区間の尤度関数の積分は1/3で、これからも尤度密度関数を p_H に対する確率密度関数としては解釈できないことがわかる。

統計学では標本の観察結果から母集団の分布を表現する母数（パラメータ）を求めることが重要であるが、母集団の母数がある特定の値であることを前提条件として観察結果が得られると考え、統計学の問題に尤度の概念を適用できる。尤度関数は特に最尤法、尤度比検定で重要な意味を持ち、尤度を最大にするという原理により多くの統計学的推定法が導かれる。 次のような母数を含む確率密度関数族を考える：

${\displaystyle f(x\mid \theta )}$

ここで x が確率変数、 θ が母数である。尤度関数は

${\displaystyle L(\theta \mid x)=f(x\mid \theta )}$

ここで x は実験の観察値である。θ を定数として、 f(x | θ) を x の関数として見たときには、これは確率密度関数であり、逆に x を定数として θ の関数として見たときには、尤度関数である。 この場合も尤度を、観察標本が与えられたときに「この母数が正しい」という確率と混同してはいけない。観察結果はあくまでも少数の標本にすぎず、仮説の尤度を仮説の確率として解釈するのは危険である。

負の対数尤度（英: negative log-likelihood, NLL）は尤度関数の対数に ${\displaystyle -1}$ を掛けたものである。すなわち次の式で表される関数である：

${\displaystyle \mathrm {NLL} (\theta )=-\log {L(\theta \mid x)}=-\log {p(x\mid \theta )}}$

密度関数の値域が ${\displaystyle 0\leqq p(x)\leqq 1}$ であるため、NLLの値域は ${\displaystyle +\infty \geqq p(x)\geqq 0}$ となる。尤度関数が「${\displaystyle \theta }$ の尤もらしさ」を直観的に表現するのに対し、NLLは「${\displaystyle \theta }$ のありえなさ」を直観的に表現する。

対数は単調増加し ${\displaystyle -1}$ は大小を逆転させるため、尤度関数が最大値を取る ${\displaystyle \theta }$ とNLLが最小値を取る ${\displaystyle \theta }$ は一致する。ゆえに最尤推定、ひいては最尤推定に基づく機械学習の損失関数としてNLLはしばしば用いられる（${\displaystyle \operatorname {argmax} _{\theta }L(\theta )}$ を ${\displaystyle \operatorname {argmin} _{\theta }\mathrm {NLL} (\theta )}$ で代用する）。

NLLの実現値 ${\displaystyle \mathrm {NLL} (\theta =\theta _{i})}$ は標本 ${\displaystyle x}$ の自己情報量と等価である（式が同一）。直観的には、この実現値が表現する「${\displaystyle \theta _{i}}$ 下で ${\displaystyle x}$ が得られることのありえなさ」がまさに「驚き具合（サプライザル）」であることからわかる。

${\displaystyle n}$ 個の観測値 ${\displaystyle {\boldsymbol {d}}=\{d_{i}\mid i\in \{1,..,n\}\}}$ が独立同分布から得られた場合、NLLは次の式で表現できる ^{[注 1]}：

${\displaystyle \mathrm {NLL} (\theta \mid {\boldsymbol {d}})=-\log(\prod _{i=1}^{n}p(d_{i}\mid \theta ))=-\sum _{i=1}^{n}\log {p(d_{i}\mid \theta )}}$

すなわち無作為抽出されたデータ群に対するNLLは「各データNLLの和」として表現できる。和で表現できるため、${\displaystyle \mathrm {NLL} (\theta \mid {\boldsymbol {d}})}$ を${\displaystyle n}$ で割ることで（標本数に依存しない）「${\displaystyle \mathrm {NLL} (\theta \mid d_{i})}$ の標本平均」に相当する値を自然に導出できる^{[注 2]}。

尤度に関する初期の考察はデンマークの数学者トルバルド・ティエレ（Thorvald N. Thiele）による1889年の著書にみられる。

尤度についての完全な考察が現れた最初の論文は、ロナルド・フィッシャーによる1922年の『On the mathematical foundations of theoretical statistics』である。ここでフィッシャーはまた「最尤法」（method of maximum likelihood）の語を初めて用いている。フィッシャーは統計学的推計の基礎として事後確率を用いることに反対し、代わりに尤度関数に基づく推計を提案している。

• Kingma, Diederik P.; Welling, Max (2019-06-06). “An Introduction to Variational Autoencoders” (英語). Foundations and Trends in Machine Learning (Now Publishers) 12 (4): 307-392. arXiv:1906.02691. doi:10.48550/arXiv.1906.02691. ISBN 978-1-6808-3622-6. 

• 推計統計学
• 確率分布
• ベイズの定理
• ベイズ推計
• 尤度比検定
• 最尤法
• 最大エントロピー原理
• 陽性尤度比
• 陰性尤度比
• 尤度方程式

表 話 編 歴 統計学
標本調査	標本 母集団 無作為抽出 層化抽出法
記述統計学	連続データ 位置 平均 算術 幾何 調和 中央値 分位数 順序統計量 最頻値 階級値 分散 範囲 偏差 偏差値 標準偏差 標準誤差 変動係数 決定係数 相関係数 自己相関 共分散 自己共分散 分散共分散行列 百分率 統計的ばらつき モーメント 分散 歪度 尖度 カテゴリデータ 頻度 分割表
推計統計学	仮説検定 パラメトリック t検定 ウェルチのt検定 F検定 Z検定 二項検定 ジャック–ベラ検定 シャピロ–ウィルク検定 分散分析 共分散分析 ノンパラメトリック ウィルコクソンの符号順位検定 マン・ホイットニーのU検定 カイ二乗検定 イェイツのカイ二乗検定 累積カイ二乗検定 フィッシャーの正確確率検定 尤度比検定 G検定 アンダーソン–ダーリング検定 コルモゴロフ–スミルノフ検定 カイパー検定 マンテル検定 コクラン・マンテル・ヘンツェルの統計量 その他 帰無仮説 対立仮説 有意 棄却 区間推定 信頼区間 予測区間 モデル選択基準 AIC BIC WAIC MDL その他 偏り 偏りと分散 過剰適合 推定量 点推定 最尤推定 尤度関数 尤度方程式 最小距離推定 メタアナリシス ブートストラップ法
ベイズ統計学	確率 主観確率 ベイズ確率 事前確率 事後確率 最大事後確率 その他 ベイズ推定 ベイズ因子
相関	相関係数 ピアソンの積率相関係数 スピアマンの順位相関係数 ケンドールの順位相関係数 偏相関係数 その他 自己相関 空間的自己相関 相互相関 交絡変数 相関関係と因果関係 擬似相関 錯誤相関
モデル	一般線形モデル 一般化線形モデル 混合モデル 一般化線形混合モデル
回帰	線形 リッジ回帰 ラッソ回帰 エラスティックネット 非線形 k近傍法 回帰木 ランダムフォレスト ニューラルネットワーク サポートベクター回帰 射影追跡回帰 時系列 自己回帰モデル 自己回帰移動平均モデル ARCHモデル 対移動平均比率法 トレンド定常 傾向推定 共和分 構造変化
分類	線形 線形判別分析 ロジスティック回帰 単純ベイズ分類器 単純パーセプトロン 線形サポートベクターマシン 二次 二次判別分析 非線形 k近傍法 決定木 ランダムフォレスト ニューラルネットワーク サポートベクターマシン ベイジアンネットワーク 隠れマルコフモデル その他 二項分類 多クラス分類 第一種過誤と第二種過誤
教師なし学習	クラスタリング k平均法（k-means++法） DBSCAN 密度推定（英語版） カーネル密度推定（カーネル） その他 主成分分析 独立成分分析 自己組織化写像
統計図表	棒グラフ バイプロット（英語版） 箱ひげ図 管理図 フォレストプロット ヒストグラム 円グラフ Q-Qプロット ランチャート 散布図 幹葉図 バイオリン図 ドットプロット ヒートマップ 階級区分図
生存時間分析	生存時間関数 カプラン＝マイヤー推定量 ログランク検定 故障率 比例ハザードモデル
歴史	統計学の創始者 確率論と統計学の歩み
応用	社会統計学 疫学 生物統計学 系統学 統計力学 計量経済学 機械学習 実験計画法
出版物	統計学に関する学術誌一覧 重要な出版物
全般	統計 頻度主義統計学 統計学および機械学習の評価指標
その他	方向統計学 S言語 R言語 統計検定 社会調査士 JDLA Deep Learning For GENERAL JDLA Deep Learning for ENGINEER 実用数学技能検定 品質管理検定
カテゴリ