计算机应用研究

作者：王浩,王珺,胡海峰,周飞飞,龚锐,张索非,

单位：1.南京邮电大学a.通信与信息工程学院;b.物联网学院,南京210003；2.中国电信股份有限公司江苏分公司,南京210037；

关键词：大语言模型,参数高效微调,P-tuning,混合专家,多任务学习,

基金：国家自然科学基金资助项目(62371245)；；

大语言模型（LLM）在推理和生成任务中的表现显著提升，但现有的开源LLM在处理专业领域问题时仍存在知识不足，亟需针对特定任务进行微调。传统微调方法在多任务学习中难以兼顾低成本与高效性。为此，提出了一种名为PMoE的参数高效微调框架。该框架基于Ptuning方法，并引入混合专家机制，在保持低成本微调的同时增强多任务处理能力。PMoE在Transformer模块的每一层构建可训练的专家模块，以替代Ptuning中的提示词模块，并采用路由机制根据输入任务特征动态分配任务。此外，PMoE的专家模块支持拆卸，实现不同任务场景下的模型复用，进一步降低计算成本。实验结果表明，PMoE在中国医学领域数据集上相较于P-tuning方法性能提升6.24%，并在多任务处理和迁移学习方面表现优越，验证了其高效性与广泛适用性。

来源：2025年第7期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2025年第7期