计算机应用研究

作者：赵春宇,赖俊,陈希亮,张人文,

单位：陆军工程大学指挥控制工程学院,南京210007；

关键词：元学习,深度强化学习,梯度下降,多智能体深度强化学习,

基金：国家自然科学基金资助项目(61806221)；；

多智能体系统在自动驾驶、智能物流、医疗协同等多个领域中广泛应用，然而由于技术进步和系统需求的增加，这些系统面临着规模庞大、复杂度高等挑战，常出现训练效率低和适应能力差等问题。为了解决这些问题，将基于梯度的元学习方法扩展到多智能体深度强化学习中，提出一种名为多智能体一阶元近端策略优化（MAMPPO）方法，用于学习多智能体系统的初始模型参数，从而为提高多智能体深度强化学习的性能提供新的视角。该方法充分利用多智能体强化学习过程中的经验数据，通过反复适应，找到在梯度下降方向上最敏感的参数并学习初始参数，使模型训练从最佳起点开始，有效提高了联合策略的决策效率，显著加快了策略变化的速度，面对新情况的适应速度显著加快。在星际争霸Ⅱ上的实验结果表明，MAMPPO方法显著提高了训练速度和适应能力，为后续提高多智能强化学习的训练效率和适应能力提供了一种新的解决方法。

来源：2024年第5期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2024年第5期