この項目「
信頼領域 」は翻訳されたばかりのものです。不自然あるいは曖昧な表現などが含まれる可能性があり、このままでは読みづらいかもしれません。（原文：
en: Trust region ）
修正、加筆に協力し、現在の表現をより自然な表現にして下さる方を求めています。
ノートページ や
履歴 も参照してください。
（2022年9月 ）
数理最適化 において、信頼領域 （しんらいりょういき、英 : trust region ）は、目的関数 を近似するモデル関数（多くの場合二次関数 ）が有効とみなされる領域をいう。目的関数のモデル関数による近似が信頼領域内で十分であるならば、信頼領域を拡大して反復 を継続し、逆に近似が不十分な場合、信頼領域を縮小して続行する。
近似が十分がどうかは、モデル関数から期待される改善と、目的関数で観測された実際の改善との比 により評価される。この比を単純にしきい値と比較した結果に基き信頼領域を拡大・縮小する。モデル関数は、妥当な近似値を与える領域内でのみ「信頼」される。
信頼領域法は、ある意味で直線探索 法と双対 を成す。信頼領域法ではまずステップサイズ（信頼領域のサイズ）を選択し、次にステップ方向を選択するが、直線探索法ではまずステップ方向を選択し、次にステップサイズを選択する。
信頼領域法の背後にある考え方には、多くの名前がある。信頼領域という用語が使用されたのは、Sorensen 1982 が最初とされる。人気のある教科書Fletcher 1980 では、これらのアルゴリズムを制限ステップ法 （restricted-step methods ）と呼んでいる。さらに、この方法に関する初期の基礎研究、Goldfeld, Quandt & Trotter 1966 では二次山登り法 （quadratic hill-climbing ）と呼ばれている。
レーベンバーグ・マルカート法 は、目的関数を二次曲面 で反復的に近似し、線形ソルバーにより推定値を更新する。初期推定が最適から乖離している場合、これだけではうまく収束しない可能性があるため、本法では代わりに各ステップを制限し、「行き過ぎ」ないようにする。具体的には、
A
Δ Δ -->
x
=
b
{\displaystyle A\,\Delta x=b}
Δ Δ -->
x
{\displaystyle \Delta x}
(
A
+
λ λ -->
diag
-->
(
A
)
)
Δ Δ -->
x
=
b
{\displaystyle {\big (}A+\lambda \operatorname {diag} (A){\big )}\,\Delta x=b}
diag
-->
(
A
)
{\displaystyle \operatorname {diag} (A)}
A と同じ対角をもつ対角行列、λ は信頼領域のサイズを制御するパラメータである。幾何学的には、上記変更は
Δ Δ -->
x
=
0
{\displaystyle \Delta x=0}
推定値の発散を防ぎ、かつ迅速に解に収束させるためには、いかに信頼領域のサイズ(λ )を変更するかが重要である。真の減少は
Δ Δ -->
x
{\displaystyle \Delta x}
Δ Δ -->
f
actual
=
f
(
x
)
− − -->
f
(
x
+
Δ Δ -->
x
)
{\displaystyle \Delta f_{\text{actual}}=f(x)-f(x+\Delta x)}
この値と、減衰二次近似された目的関数から予測される目的関数の減少
Δ Δ -->
f
pred
{\displaystyle \Delta f_{\text{pred}}}
Δ Δ -->
f
pred
/
Δ Δ -->
f
actual
{\displaystyle \Delta f_{\text{pred}}/\Delta f_{\text{actual}}}
Δ Δ -->
f
pred
{\displaystyle \Delta f_{\text{pred}}}
Δ Δ -->
f
actual
{\displaystyle \Delta f_{\text{actual}}}
λ を減少）させ次の反復を行なう。比率が 0.25 より小さい場合は、真の関数が近似関数から「大きく」離れているため、信頼領域を縮小（λ を増加) させ次の反復を行なう。
Sorensen, D. C. (1982). “Newton's Method with a Model Trust Region Modification” . SIAM J. Numer. Anal. 19 (2): 409–426. doi :10.1137/0719026 . https://digital.library.unt.edu/ark:/67531/metadc283479/ . Fletcher, Roger (1987) [1980]. “Restricted Step Methods”. Practical Methods of Optimization (Second ed.). Wiley. ISBN 0-471-91547-5 Goldfeld, Stephen M. ; Quandt, Richard E. ; Trotter, Hale F. (1966). “Maximization by Quadratic Hill-Climbing”. Econometrica 34 (3): 541–551. doi :10.2307/1909768 . JSTOR 1909768 . Dennis, J. E., Jr.; Schnabel, Robert B. (1983). “Globally Convergent Modifications of Newton's Method”. Numerical Methods for Unconstrained Optimization and Nonlinear Equations . Englewood Cliffs: Prentice-Hall. pp. 111–154. ISBN 0-13-627216-9 Andrew R. Conn, Nicholas I. M. Gould, Philippe L. Toint "Trust-Region Methods (MPS-SIAM Series on Optimization) ".
Byrd, R. H, R. B. Schnabel, and G. A. Schultz. "A trust region algorithm for nonlinearly constrained optimization ", SIAM J. Numer. Anal., 24 (1987), pp. 1152–1170.
Yuan, Y. "A review of trust region algorithms for optimization " in ICIAM 99: Proceedings of the Fourth International Congress on Industrial & Applied Mathematics, Edinburgh, 2000 Oxford University Press, USA.
Yuan, Y. "Recent Advances in Trust Region Algorithms ", Math. Program., 2015
