计算机应用研究

作者：许书卿,臧传治,王鑫,刘鼎,刘玉奇,曾鹏,

单位：1.中国科学院沈阳自动化研究所机器人学国家重点实验室,沈阳110016；2.中国科学院网络化控制系统重点实验室,沈阳110016；3.中国科学院机器人与智能制造创新研究院,沈阳110016；4.中国科学院大学,北京100049；5.沈阳工业大学,沈阳110023；

关键词：多智能体,强化学习,注意力机制,观测空间,

基金：国家自然科学基金资助项目(92067205)；辽宁省自然科学基金资助项目(2020-KF-11-02)；机器人学国家重点实验室开放课题(2020-Z11)；；

针对多智能体系统（multi-agent systems，MAS）中环境具有不稳定性、智能体决策相互影响所导致的策略学习困难的问题，提出了一种名为观测空间关系提取（observation relation extraction，ORE）的方法，该方法使用一个完全图来建模MAS中智能体观测空间不同部分之间的关系，并使用注意力机制来计算智能体观测空间不同部分之间关系的重要程度。通过将该方法应用在基于值分解的多智能体强化学习算法上，提出了基于观测空间关系提取的多智能体强化学习算法。在星际争霸微观场景（StarCraft multi-agent challenge，SMAC）上的实验结果表明，与原始算法相比，带有ORE结构的值分解多智能体算法在收敛速度和最终性能方面都有更好的性能。

来源：2022年第10期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2022年第10期