国内刊号:51-1196/TP
国际刊号:1001-3695
发布日期:
作者:潘理虎,李婕,赵红燕,
单位:太原科技大学计算机科学与技术学院,太原030024;
关键词:主题模型,大语言模型,检索增强生成,思维链,最优传输理论,
基金:山西省自然科学面上基金资助项目(202203021211199);山西省重点实验室开放基金资助项目(CICIP2022004);太原科技大学博士科研启动基金资助项目(20212075);;
针对大语言模型在主题建模中面临的主题多样性和模型可解释性不足的挑战,提出了一种基于检索增强生成的主题推理模型(TIM_RAG),采用三阶段架构实现主题生成与分布推理。首先,在RAG检索阶段设计多维文档相似度检索方法,筛选兼具词频相关性与深层语义关联的相似文档,增强单篇文档的主题信息,提升主题多样性;其次,在RAG生成阶段构建多视角主题生成策略,借助思维链引导LLM提取多角度主题词,并生成中间步骤以提高该过程透明度;最后,在独立推理阶段提出嵌入传输计划机制,通过最优传输理论建模文档-主题与主题-词汇的语义关系,进一步提升模型可解释性。在WikiText-103、BBC News和20 Newsgroups数据集上的实验表明,TIM_RAG模型有效缓解了主题多样性不足的问题,提升了主题模型的性能。
来源:2025年第10期
《计算机应用研究》期刊编辑部