计算机应用研究

作者：洪少东,申国伟,罗素芬,刘涛,

单位：1.贵州大学a.公共大数据国家重点实验室;b.文本计算与认知智能教育部工程研究中心,贵阳550025；2.贵州省司法警官学校,贵阳550025；

关键词：大语言模型,微调模型,代码生成,不确定性估计,

基金：国家自然科学基金资助项目(62062022)；贵州省省级科技计划资助项目(黔科合基础-ZK［2023］重点011)；贵州省科技支撑计划资助项目(黔科合支撑［2023］一般447)；；

针对代码生成任务，微调模型与大语言模型（LLM）的互补机制尚未得到系统性分析，导致两者在协同过程中存在决策边界模糊的问题。提出一种基于不确定性估计的微调代码生成模型与LLM的协同方法Coral，分析微调代码生成模型与LLM的互补机制，量化两者决策边界。Coral通过预期校准误差的思想，比较不确定性估计方法，为微调模型配备较为稳定的不确定性估计方法，使其能够输出不确定性估计得分，反映输出的不确定性。Coral通过最大化微调模型与LLM在验证数据集的BLEU指标，计算不确定性估计阈值，量化两者的决策边界。基于阈值与微调模型输出的不确定性估计得分识别分布内（in-distribution，ID）与分部外（out-of-distribution，OOD）数据，利用LLM提升微调模型在OOD数据的泛化能力，从而提升代码生成任务的整体效果。在两个基准数据集的性能测试中，Coral的BLEU与Exact Match得分优于单独使用微调模型或LLM，证明所提方法能够有效协同微调模型与LLM。

来源：2025年第10期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2025年第10期