计算机应用研究

作者：逄金辉,冯子聪,

单位：北京理工大学计算机学院,北京100081；

关键词：深度强化学习,探索,不确定性,

深度强化学习（DRL）近年来在诸多复杂序列决策问题场景中（如游戏人工智能、无人驾驶、机器人和金融等）都取得了重要的成就。然而，在诸多现实场景中，深度强化学习的应用面临着采样成本高昂、效率低下的问题。场景中无处不在的不确定性是影响采样效率的重要原因，基于不确定性的深度强化学习探索方法成为解决上述问题的重要手段。首先简要介绍了深度强化学习中的重要概念和主流算法，列举了三种经典探索方法，并对这些方法面对复杂场景时的不足之处进行了总结；之后，介绍了不确定性的概念，以及将不确定性引入DRL探索问题研究的背景，在此基础上进行了归纳整理，将基于不确定性的探索方法分为基于乐观性、基于环境不确定性、基于偶然不确定性三种形式，详细梳理了各类方法的基本原理和优缺点；最后，展望了基于不确定性的深度强化学习探索研究的挑战与可能的发展方向。

来源：2023年第11期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2023年第11期