计算机应用研究

作者：易佳豪,王福杰,胡锦涛,秦毅,郭芳,罗俊轩,

单位：东莞理工学院计算机学院,广东东莞523000；

关键词：多智能体,孪生延迟深度确定性策略梯度,深度强化学习,轨迹跟踪,行为克隆,

基金：国家自然科学基金资助项目(62203116,62103106)；广东省基础与应用基础研究面上项目(2024A1515010222)；广东省教育厅特色创新项目(2022KTSCX138,2022ZDZX1031)；东莞市社会发展科技项目重点项目(20231800935882)；松山湖科技特派员项目(20234430-01KCJ-G)；；

针对具有非线性干扰以及多变环境的机械臂轨迹跟踪问题，提出了一种结合行为克隆（behavior cloning，BC）的多智能体深度强化学习（multi-agent deep reinforcement learning，MDRL）控制方法。多智能体控制算法中包含了以孪生延迟深度确定性策略梯度算法（twin delayed deep deterministic policy gradient algorithm，TD3）为基底算法的比例积分微分智能体（proportional-integral-derivative agent，PID agent）和直接用深度强化学习策略输出扭矩的智能体（direct deep reinforcement learning agent，DDR agent），并采用两个奖励函数来优化两个agent的策略网络。PID agent用于输出PID控制器的参数，再由PID控制器输出力矩控制机械臂以增加控制器的跟踪泛性，DDR agent则直接输出扭矩增加控制器的抗干扰性。为了克服多智能体训练难度高的问题，在训练中引入行为克隆技术，利用PID控制器的专家经验对PID agent进行预训练，形成预策略在训练初期就可以输出较合适的PID参数，增加有效经验来加速训练过程的奖励收敛。为了验证方法的有效性，通过欧拉拉格朗日建模二自由度机械臂，并在具有干扰的多种环境下进行仿真实验对比。实验结果表明，所提算法在具有随机干扰环境以及与训练轨迹不同的跟踪轨迹中都具有最好的跟踪效果，验证了所提算法的有效性。

来源：2025年第4期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2025年第4期