计算机应用研究

作者：叶俊民,赵晓丽,杜翔,姚贤坦,

单位：华中师范大学计算机学院,武汉430000；

关键词：机器阅读理解,片段抽取型机器阅读理解,RoBERTa-www-ext,卷积神经网络,注意力机制,

基金：国家社会科学基金后期资助项目(20FTQB020)；；

针对现有的机器阅读理解模型主要使用循环模型处理文本序列信息，这容易导致训练和预测速度慢且模型预测准确性不高等问题，提出了一种片段抽取型机器阅读理解算法QA-Reader。该算法利用大型预训练语言模型RoBERTa-www-ext获取问题和上下文的词嵌入表示；使用深度可分离卷积和多头自注意力机制进行编码；计算上下文和问题的双向注意力及上下文的自注意力，以融合上下文和问题之间的关联信息，拼接得到最终的语义表征；经过模型编码器预测得到答案，模型针对不可回答的问题计算了其不可回答的概率。在中文片段抽取型机器阅读理解数据集上进行了实验，结果表明QA-Reader模型与基线模型相比，其性能方面EM和F1值分别提高了3.821%、2.740%，训练速度提高了0.089%。

来源：2021年第11期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2021年第11期