计算机应用研究

作者：郑巧月,段友祥,孙岐峰,

单位：中国石油大学(华东)计算机科学与技术学院,山东青岛266580；

关键词：答案选择,Transformer,双重注意力机制,问答系统,深度学习,

基金：中石油重大科技专项资助项目(ZD2019-183-006)；中央高校基础科研业务专项资金资助项目(20CX05017A)；；

答案选择是问答系统中的关键组成部分，提升其准确性是问答系统研究的重要内容之一。近年来深度学习技术广泛应用于答案选择，获得了良好效果，但仍旧有一定的局限性。其中模型对问题语义信息利用度低、缺乏局部语义重视、句子间交互感知能力差等问题尤为突出。针对上述问题提出了一种基于Transformer和双重注意力融合的答案选择模型NHITAS（new hierarchical interactive Transformer for answer selection）。首先，在信息预处理部分提取问题类别和关键词对答案进行初步筛选，并引入外部知识作为句子额外语义补充；其次，采用分层交互的Transformer对句子进行语义上下文建模，提出了UP-Transformer（untied position-Transformer）和DA-Transformer（decay self-attention-Transformer）两种结构学习语义特征；最后，通过双重注意力融合过滤句子噪声，增强问题和答案之间的语义交互。在WikiQA和TrecQA数据集上对NHITAS的性能进行测试，实验结果表明所提模型对比其他模型，能够有效提升答案选择任务的效果。

来源：2022年第11期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2022年第11期