计算机应用研究

作者：赵婷婷,杨梦楠,陈亚瑞,王嫄,杨巨成,

单位：天津科技大学人工智能学院,天津300457；

关键词：强化学习,值函数,参数探索策略梯度,梯度估计方差,

基金：国家自然科学基金资助项目(61976156)；天津市企业科技特派员资助项目(20YDTPJC00560)；；

策略梯度估计方差大是策略梯度算法存在的普遍问题，基于参数探索的策略梯度算法（PGPE）通过使用确定性策略有效缓解了这一问题。然而，PGPE算法基于蒙特卡罗方法进行策略梯度的估计，需要大量学习样本才能保证梯度估计相对稳定，因此，梯度估计方差大阻碍了其在现实问题中的实际应用。为进一步减小PGPE算法策略梯度估计的方差，提出了基于值函数估计的参数探索策略梯度算法（PGPE-FA），该算法在PGPE算法中引入Actor-Critic框架。具体地，提出的方法使用价值函数估计策略梯度，代替了PGPE方法使用轨迹样本估计策略梯度的方式，从而减小了梯度估计方差。最后，通过实验验证了所提算法能够减小梯度估计的方差。

来源：2023年第8期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2023年第8期