计算机应用研究

作者：孙丽萍,童子龙,钱乾,陆鑫涛,凌晨,方诚,汤其宇,蒋晓,

单位：1.上海健康医学院医疗器械学院,上海201318；2.复旦大学信息科学与工程学院,上海200433；3.上海理工大学健康科学与工程学院,上海200093；4.海军军医大学附属第三医院,上海200438；5.中国人民解放军第905医院,上海200052；

关键词：大语言模型,微调,肝胆科,人工智能,

通用大语言模型（large language model，LLM）缺乏对专业领域知识理解的深度和广度，对专业领域问题回答的准确度不够，常常产生幻觉，阻碍了大语言模型的商业应用落地。因此，基于专业领域特有数据提高大型语言模型的专业性成为当前大语言模型应用落地的关键挑战。针对通用大语言模型在特定领域知识理解与生成内容专业性不够的问题进行了研究。基于P-Tuning v2与Freeze两种参数高效微调方法，提出了一种专业级大语言模型的两阶段微调框架。依赖该框架与肝胆科临床数据对ChatGLM-6B进行微调，得到一个针对肝胆专科的专业级大语言模型，命名为MedGLM.H。根据实验显示，微调后的大语言模型对于肝胆专科问题的准确率从31%提升到了62%；得分率从57%提升到了73%。在进行两阶段微调后，模型在肝胆专科的问答中表现出更高的准确性与专业性，根据三名临床医生进行的对话实验，证明了微调后的模型在更专业的医疗场景中具备应用潜力。

来源：2024年第10期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2024年第10期