機械学習および データマイニング
問題 分類 クラスタリング 回帰 異常検知 相関ルール（英語版） 強化学習 構造化予測（英語版） 特徴量設計（英語版） 表現学習（英語版） オンライン学習（英語版） 半教師あり学習（英語版） 教師なし学習 ランキング学習（英語版） 文法獲得（英語版）
教師あり学習（分類 • 回帰） 決定木（英語版） アンサンブル （バギング、ブースティング、 ランダムフォレスト） k-NN 線形回帰 単純ベイズ ニューラルネットワーク ロジスティック回帰 パーセプトロン 関連ベクトルマシン (RVM)（英語版） サポートベクトルマシン (SVM)
クラスタリング BIRCH（英語版） 階層的（英語版） k平均法 期待値最大化法 (EM) DBSCAN OPTICS（英語版） 平均値シフト（英語版）
次元削減 因子分析 CCA ICA LDA（英語版） NMF（英語版） PCA t-SNE
構造化予測（英語版） グラフィカルモデル ベイジアンネットワーク CRF HMM
異常検知 k-NN 局所外れ値因子法
ニューラルネットワーク オートエンコーダ ディープラーニング DeepDream 多層パーセプトロン RNN LSTM GRU 制約ボルツマンマシン（英語版） SOM CNN
強化学習 TD学習 Q学習 SARSA
理論 偏りと分散のトレードオフ 計算論的学習理論（英語版） 経験損失最小化（英語版） オッカム学習（英語版） PAC学習 統計的学習（英語版） VC理論（英語版）
学会・論文誌等 NIPS（英語版） ICML（英語版） ML（英語版） JMLR（英語版） ArXiv:cs.LG
全般 統計学および機械学習の評価指標
Category:機械学習 Category:データマイニング
表 話 編 歴

フローベース生成モデル（フローベースせいせいモデル、英：Flow-based generative model）は、機械学習で使われる生成モデルの一つである。確率分布の変数変換則を用いた手法である正規化流 (英：normalizing flow)^[1]を活用し確率分布を明示的にモデル化することで、単純な確率分布を複雑な確率分布に変換する。

尤度関数を直接的にモデリングすることには多くの利点がある。例えば、負の対数尤度を損失関数として直接計算して最小化することができる。また、変換前の分布からサンプリングし、フローによる変換を適用することにより、複雑な分布に基づいた新しいサンプルを生成することができる。

これとは対照的に、変分オートエンコーダ（VAE）や生成的敵対的ネットワークなどの多くの代替生成モデリング手法は、尤度関数を明示的に表現しない。

${\displaystyle z_{0}}$を確率分布 ${\displaystyle p_{0}(z_{0})}$ に従う（一変数または多変数の）確率変数であるとする。

${\displaystyle i=1,...,K}$ について、${\displaystyle z_{i}=f_{i}(z_{i-1})}$を ${\displaystyle z_{0}}$ から変換された確率変数の列であるとする。ここで関数 ${\displaystyle f_{1},...,f_{K}}$は逆変換可能である必要がある：すなわち、逆関数 ${\displaystyle f_{i}^{-1}}$が存在する。最終的な出力${\displaystyle z_{K}}$はモデル化したい分布を表す。

ここで、${\displaystyle z_{K}}$の対数尤度は以下の様に表される（対数尤度の導出参照）：

${\displaystyle \log p_{K}(z_{K})=\log p_{0}(z_{0})-\sum _{i=1}^{K}\log \left|\det {\frac {df_{i}(z_{i-1})}{dz_{i-1}}}\right|}$

対数尤度を効率的に計算するためには、関数${\displaystyle f_{1},...,f_{K}}$は次の性質を満たす必要がある：

1. 逆変換が容易である。
2. ヤコビ行列式を計算しやすい。

実際には、関数${\displaystyle f_{1},...,f_{K}}$はディープニューラルネットワークを使用してモデル化され、対象となる分布からのデータサンプルの負の対数尤度を最小化するように訓練される。これらの手法は通常、逆行列式とヤコビ行列式の両方の計算でニューラルネットワークの順方向演算のみが必要になるように設計される。このような手法の例として、NICE^[2]、 RealNVP^[3] 、およびGlow^[4]がある。

変数 ${\displaystyle z_{1}}$及び ${\displaystyle z_{0}}$ について、${\displaystyle z_{0}=f_{1}^{-1}(z_{1})}$ であるとする。

確率密度の変数変換公式より、 ${\displaystyle z_{1}}$の従う確率分布は以下のように書ける：

${\displaystyle p_{1}(z_{1})=p_{0}(z_{0})\left|\det {\frac {df_{1}^{-1}(z_{1})}{dz_{1}}}\right|}$

ここで、${\displaystyle \det {\frac {df_{1}^{-1}(z_{1})}{dz_{1}}}}$は ${\displaystyle f_{1}^{-1}}$ のヤコビ行列の行列式である。

逆関数定理により

${\displaystyle p_{1}(z_{1})=p_{0}(z_{0})\left|\det \left({\frac {df_{1}(z_{0})}{dz_{0}}}\right)^{-1}\right|}$

恒等式 ${\displaystyle \det(A^{-1})=\det(A)^{-1}}$ により（${\displaystyle A}$は正則行列）、次が導ける：

${\displaystyle p_{1}(z_{1})=p_{0}(z_{0})\left|\det {\frac {df_{1}(z_{0})}{dz_{0}}}\right|^{-1}}$

したがって、対数尤度は次のようになる。

${\displaystyle \log p_{1}(z_{1})=\log p_{0}(z_{0})-\log \left|\det {\frac {df_{1}(z_{0})}{dz_{0}}}\right|}$

一般に、上記の式は全ての ${\displaystyle z_{i}}$及び ${\displaystyle z_{i-1}}$ に適用される 。${\displaystyle \log p_{i}(z_{i})}$ は ${\displaystyle \log p_{i-1}(z_{i-1})}$ から非再帰的な項を引いたものに等しいので、数学的帰納法より以下が示せる。

${\displaystyle \log p_{K}(z_{K})=\log p_{0}(z_{0})-\sum _{i=1}^{K}\log \left|\det {\frac {df_{i}(z_{i-1})}{dz_{i-1}}}\right|}$

関数の合成によってフローを構築する代わりに、別のアプローチとして、フローを連続時間ダイナミクスとして定式化することができる^[5]。${\displaystyle z_{0}}$ を分布 ${\displaystyle p(z_{0})}$ を持つ潜在変数であるとする。以下のフロー関数を使用して、この潜在変数をデータ空間に写す。

${\displaystyle x=F(z_{0})=z_{T}=z_{0}+\int _{0}^{t}f(z_{t},t)dt}$

ここで ${\displaystyle f}$ は任意の関数であり、ニューラルネットワークなどでモデル化できるとする。

その場合、逆関数は次のようになる^[5]。

${\displaystyle z_{0}=F^{-1}(x)=z_{T}+\int _{t}^{0}-f(z_{t},t)dt}$

このとき ${\displaystyle x}$ の対数尤度は以下で与えられる^[5]：

${\displaystyle \log(p(x))=\log(p(z_{0}))-\int _{0}^{t}{\text{Tr}}\left[{\frac {\partial f}{\partial z_{t}}}dt\right]}$

実用上では Neural ODE^[6] などの数値積分手法が必要になる場合がある。

フローベース生成モデルは、次のようなさまざまなモデリングタスクに適用されている。

• 音声合成^[7]
• 画像生成^[4]
• 分子グラフ生成^[8]
• 点群モデリング^[9]
• 動画生成^[10]

• Flow-based Deep Generative Models
• Normalizing flow models