计算机应用研究

作者：李伯涵,李红莲,

单位：北京信息科技大学信息与通信工程学院,北京100101；

关键词：文本摘要,BERT预训练模型,主题关键词,双重注意力机制,指针模型,

基金：国家自然科学基金资助项目(61671070)；国家语委重点资助项目(ZDI135-53)；自然科学重点实验室基金资助项目(6142006190301)；北京信息科技大学校促进内涵重点培育项目(5211910940)；北京信息科技大学“勤信人才”培育计划资助项目(QXTCPB201908)；；

针对生成式文本摘要中模型对文本语义了解不够充分以及生成摘要缺乏关键信息的问题，提出一种融合关键词的中文摘要生成模型KBPM（Key-BERT-Pen model）。首先使用TextRank方法将文本中关键词抽取出来，然后将抽取出的关键词与原文一起经过BERT预训练模型得到更加精确的上下文表示，最终将得到的词向量输入到带有双重注意力机制的指针模型中，指针模型从词汇表或原文中取出词汇来生成最终的摘要。实验结果表明，KBPM模型能够生成可读性更好、ROUGE分数更高的文本摘要。通过对比分析也验证了KBPM模型有效解决了生成摘要中缺乏关键信息的问题。

来源：2021年第11期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2021年第11期