计算机应用研究

作者：李超群,黄晓芳,周祖宏,廖敏,

单位：1.西南科技大学计算机科学与技术学院,四川绵阳621000；2.绵阳中心医院,四川绵阳621000；

关键词：深度增强学习,DDQN,RPA,业务流程自动化,路径规划,采样策略,

基金：国家自然科学基金面上项目(62076209)；四川省科技厅重点资助项目(21ZDYF3119,2022YFG0321)；；

智能化地制定机器人流程自动化（robotic process automation，RPA）执行路径有利于企业节约相关人力成本以及提高RPA的推广，提出基于改进深度双Q网络（double deep Q-learning algorithms，DDQN）算法进行RPA路径规划。首先针对存在RPA的作业环境即Web页面，不满足深度增强算法的探索条件的问题，借助隐喻地图的思想，通过构建虚拟环境来满足路径规划实验要求。同时为了提高DDQN算法探索效率，提出利用样本之间的位置信息的杰卡德系数，将其作为样本优先度结合基于排名的优先级（rank-based prioritization）构建新的采样方式。通过随机采用任务样本在虚拟环境上进行验证，证明其符合实验要求。进一步比较改进DDQN、深度Q网络（deep Q network，DQN）、DDQN、PPO以及SAC-Discrete算法的实验结果，结果显示改进算法的迭代次数更少、收敛速度更快以及回报值更高，验证了改进DDQN的有效性和可行性。

来源：2023年第4期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2023年第4期