计算机应用研究

作者：邹启杰,李文雪,高兵,赵锡玲,张汝波,

单位：1.大连大学信息工程学院,辽宁大连116622；2.大连民族大学机电工程学院,辽宁大连116600；

关键词：多智能体强化学习,分层强化学习,集中训练分散执行,值函数分解,技能发现,

基金：国家自然科学基金资助项目(61673084)；2021年辽宁省教育厅项目(LJKZ1180)；；

针对目前大多数多智能体强化学习算法在智能体数量增多以及环境动态不稳定的情况下导致的维度爆炸和奖励稀疏的问题，提出了一种基于加权值函数分解的多智能体分层强化学习技能发现算法。首先，该算法将集中训练分散执行的架构与分层强化学习相结合，在上层采用加权值函数分解的方法解决智能体在训练过程中容易忽略最优策略而选择次优策略的问题；其次，在下层采用独立Q学习算法使其能够在多智能体环境中分散式地处理高维复杂的任务；最后，在底层独立Q学习的基础上引入技能发现策略，使智能体之间相互学习互补的技能。分别在简易团队运动和星际争霸Ⅱ两个仿真实验平台上对该算法与多智能体强化学习算法和分层强化学习算法进行对比，实验表明，该算法在奖励回报以及双方对抗胜率等性能指标上都有所提高，提升了整个多智能体系统的决策能力和收敛速度，验证了算法的可行性。

来源：2023年第9期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2023年第9期