大家好，欢迎来到IT知识分享网。
参考资料：维基的哈密顿-雅克比-贝尔曼方程条目。有条件的同学可以自行查看，效果比本文要好一些。文末也会给出相关更深入的资料供大家学习。
作为强化学习的一个基础思想，HJB方程从大框架概述了控制优化的方向。这里对其推导与应用进行简述。
定义如下变量：
为过程价值函数，其中S(t)为在t时刻的状态函数，A(t)为在t时刻的动作函数。
为在t时刻状态为S(t)的终点值函数。
我们可以定义如下过程：在[0,T]时间段，最终值函数的表现形式如下：
而我们的优化目标就是保证右端公式的最小化。
HJB偏微分形式推导：
考虑如下表达形式：
对右端的
进行泰勒展开，可得到以下形式：
与上式联立可消去
，然后去除dt，可得如下优化形式：
JCB方程微分形式推导得证。
如何求解：
一般采用逆向归纳法，即从t=T推导至t=0，利用动态规划的思想求解。
HJB方程相关资料：
链接：https://pan.baidu.com/s/1pBom-F4cLqHVA3_u3XSOyA?pwd=4s5e
提取码：4s5e
免责声明：本站所有文章内容,图片，视频等均是来源于用户投稿和互联网及文摘转载整编而成，不代表本站观点，不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益，请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权，请联系删除，如若转载，请注明出处：https://yundeesoft.com/32078.html
