计算机应用研究

作者：王寰,孙雷,吴斌,刘占亮,张万通,张烁,

单位：1.中国人民大学信息学院,北京100872；2.起硕(天津)智能科技有限公司,天津300350；3.河北工程大学信息与电气工程学院,河北邯郸056038；4.北京智源人工智能研究院,北京100084；5.天津大学智能与计算学部,天津300350；

关键词：阅读理解,智能问答,RoBERTa-wwm-ext,指针生成网络,RAG,RPGN,RPR,

基于阅读理解的智能问答是指同人类一样首先让模型阅读理解相关文本，然后根据模型获取的文本信息来回答对应问题。预训练模型RoBERTa-wwm-ext使用抽取原文片段作为问题的回答，但这种方法遇到原文中不存在的答案片段或需要对原文总结后回复这两种情况时不能很好解决，而使用预训练模型进行生成式模型训练，这种生成式回复在一定程度上解决了需要总结原文才能回答的问题。因此，改进了只采用RoBERTa-wwm-ext模型进行抽取答案的方式，在此基础上融合了基于RAG模型的生成式问答模型，用于回答RoBERTa-wwm-ext等抽取式模型无法处理的问题。同时，吸取了PGN模型的优点，对RAG模型进行改进得到RPGN子模型，可以更好地利用阅读理解的文章生成合理的答案。由此，提出RPR（RAG、PGN、RoBERTa-wwm-ext）的融合模型，用于同时处理抽取式问题任务和生成式问答任务。

来源：2022年第3期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2022年第3期