国内刊号:51-1196/TP
国际刊号:1001-3695
发布日期:
作者:刘小明,吴彦博,杨关,刘杰,吴佳昊,
单位:1.中原工学院a.人工智能学院;b.计算机学院,郑州450007;2.郑州市文本处理与图像理解重点实验室,郑州450007;3.北方工业大学信息学院,北京100144;4.中国语言智能研究中心,北京100089;
关键词:实体共指消解,主题模型,提示学习,预训练大模型,
基金:“新一代人工智能”国家科技重大专项资助项目(2020AAA0109703);国家自然科学基金联合基金重点项目(U23B2029);国家自然科学基金资助项目(62076167,61772020);河南省高等学校重点科研项目(24A520058,24A520060,23A520022);河南省研究生教育改革与质量提升工程项目(YJS2024AL053);;
针对现有基于大规模预训练语言模型(large-scale pre-trained language models,LLMs)的实体共指消解(entity coreference resolution,ECR)方法在处理长文本和复杂情境时性能受限,且全参数微调计算开销大的问题,进行了一项研究。提出了一种基于提示学习的主题结构增强型ECR模型。此模型利用上下文中的主题结构信息,以增强模型捕捉长距离共指关系的能力;同时,设计了一种可学习的提示模板,显著降低了模型微调所需的计算资源。在三个公开数据集上的实验结果表明,所提方法相较于基准模型,性能分别提升了2.3、0.5和2.6个百分点。并且与当前先进的Link-Append、Seq2seqCoref等模型相比,该方法在仅使用约1.1%参数量的情况下,达到了其约98%的性能水平,证明了该方法在提升长文本ECR任务效果的同时,具备显著的计算效率优势。
来源:2025年第9期
《计算机应用研究》期刊编辑部