计算机应用研究

作者：周瑞朋,秦进,

单位：贵州大学计算机科学与技术学院,贵阳550025；

关键词：强化学习,样本利用率,样本评价,增量式,相似度,

基金：国家自然科学基金资助项目(61562009)；贵州省科学技术基金资助项目(黔科合支撑[2020]3Y004号)；；

现有的强化学习算法存在样本利用率低的问题，导致智能体寻找最优策略的能力下降。为解决这个问题，提出了基于增量式相似度的样本评估方法。设计了一个状态新颖度度量方法和一个样本价值评价函数。计算新状态与基准状态之间的相似度，基于状态的相似度计算状态的新颖程度，再增量式更新基准状态，直到训练结束。计算样本价值时，将状态的新颖程度考虑在内，再针对样本奖励值是否大于零分别进行计算。最后根据其样本价值结合排名选择和随机选择进行采样。该方法在Playing Atari 2600的控制问题中取得了更高的奖励值，说明该方法缓解了样本利用率低的问题，且通过增量式计算相似度减少了计算量。

来源：2021年第7期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2021年第7期