Equació de Hamilton-Jacobi-Bellman

En la teoria del control òptim, l'equació de Hamilton-Jacobi-Bellman (amb acrònim anglès HJB) dona una condició necessària i suficient per a l'optimitat d'un control respecte a una funció de pèrdua.[1] És, en general, una equació diferencial parcial no lineal a la funció de valor, el que significa que la seva solució is la funció de valor en si. Un cop coneguda aquesta solució, es pot utilitzar per obtenir el control òptim prenent el maximitzador (o minimitzador) de l'Hamiltonià implicat en l'equació HJB.[2][3]

L'equació és el resultat de la teoria de la programació dinàmica que va ser pionera a la dècada de 1950 per Richard Bellman i els seus companys de feina.[4][5][6] La connexió amb l'equació de Hamilton-Jacobi de la física clàssica va ser dibuixada per primera vegada per Rudolf Kálmán.[7] En problemes de temps discret, l'equació de diferència corresponent s'anomena normalment equació de Bellman.

Si bé els problemes variacionals clàssics, com el problema de la braquistocrona, es poden resoldre mitjançant l'equació de Hamilton–Jacobi–Bellman,[8] el mètode es pot aplicar a un espectre més ampli de problemes. A més, es pot generalitzar als sistemes estocàstics, en aquest cas l'equació HJB és una equació diferencial parcial el·líptica de segon ordre.[9] Un inconvenient important, però, és que l'equació HJB admet solucions clàssiques només per a una funció de valor prou suau, que no està garantida en la majoria de situacions. En canvi, es requereix la noció d'una solució de viscositat, en la qual els derivats convencionals es substitueixen per subderivades (valorades).[10]

Referències

  1. ↑ Kirk, Donald E. Optimal Control Theory: An Introduction (en anglès). Englewood Cliffs, NJ: Prentice-Hall, 1970, p. 86–90. ISBN 0-13-638098-0. 
  2. ↑ Yong, Jiongmin. «Dynamic Programming and HJB Equations». A: Stochastic Controls : Hamiltonian Systems and HJB Equations (en anglès). Springer, 1999, p. 157–215 [p. 163]. ISBN 0-387-98723-1. 
  3. ↑ Naidu, Desineni S. «The Hamilton–Jacobi–Bellman Equation». A: Optimal Control Systems (en anglès). Boca Raton: CRC Press, 2003, p. 277–283 [p. 280]. ISBN 0-8493-0892-5. 
  4. ↑ Bellman, R. E. Proc. Natl. Acad. Sci., 40, 4, 1954, pàg. 231–235. Bibcode: 1954PNAS...40..231B. DOI: 10.1073/pnas.40.4.231. PMC: 527981. PMID: 16589462 [Consulta: free].
  5. ↑ Bellman, R. E.. Dynamic Programming, 1957. 
  6. ↑ Bellman, R.; Dreyfus, S. J. Br. Interplanet. Soc., 17, 1959, pàg. 78–83.
  7. ↑ Kálmán, Rudolf E. «The Theory of Optimal Control and the Calculus of Variations». A: Bellman. Mathematical Optimization Techniques (en anglès). Berkeley: University of California Press, 1963, p. 309–331. OCLC 1033974. 
  8. ↑ Kemajou-Brown, Isabelle. «Brief History of Optimal Control Theory and Some Recent Developments». A: Budzban. Probability on Algebraic and Geometric Structures (en anglès). 668, 2016, p. 119–130 (Contemporary Mathematics). DOI 10.1090/conm/668/13400. ISBN 9781470419455. 
  9. ↑ Chang, Fwu-Ranq. Stochastic Optimization in Continuous Time (en anglès). Cambridge, UK: Cambridge University Press, 2004, p. 113–168. ISBN 0-521-83406-6. 
  10. ↑ Bardi, Martino. Optimal Control and Viscosity Solutions of Hamilton–Jacobi–Bellman Equations (en anglès). Boston: Birkhäuser, 1997. ISBN 0-8176-3640-4.