基于特征的聚合与深度强化学习

"

美国工程院院士、麻省理工学院（MIT）教授Dimitri P. Bertsekas在IEEE/CAA Journal of Automatica Sinica发表的综述“Feature-Based Aggregation and Deep Reinforcement Learning: A Survey and Some New Implementations”中，介绍了策略迭代的发展，总结近似策略迭代方法相关问题，回顾了基于神经网络的近似策略迭代的核心思想。

Bertsekas教授讨论了有限状态下马尔可夫决策问题近似解的策略迭代，特别是基于特征的聚合及其与深度强化学习的联系,提出将深度神经网络的特征提取能力与聚合提供的非线性近似可能性相结合的方法。文中归纳了基于聚合的近似动态规划与深度强化学习方法，引入初始问题状态的特征，构建了一个聚合马尔可夫决策问题，使其满足状态与特征相关条件，并讨论该类型聚合的性质和可能实现。提出了策略改进方法的新思路：将基于特征的聚合与利用深度神经网络等的特征构建相结合。由于聚合的动态规划特性及非线性基于特征结构的使用，相比基于神经网络的强化学习提供的特征线性函数，聚合后的特征非线性函数可使策略的代价函数得到更精确近似，从而产生更有效的策略。

文章信息：D. P. Bertsekas, “Feature-based aggregation and deep reinforcement learning: asurvey and some new implementations,”IEEE/CAA J. Autom. Sinica,vol. 6, no. 1, pp. 1-31, Jan. 2019.

"

文章来源: https://www.toutiao.com/group/6716410339392487948/