计算机应用研究

作者：鹿忠磊,刘文芬,周艳芳,胡学先,王彬宇,

单位：1.数学工程与先进计算国家重点实验室,郑州450001；2.桂林电子科技大学计算机与信息安全学院广西密码学与信息安全重点实验室,广西桂林541004；

关键词：自然语言处理,句子压缩,预读,注意力机制,

基金：国家自然科学基金资助项目(61862011,61502527)；广西自然科学基金资助项目(2018GXNSFAA138116)；广西密码学与信息安全重点实验室开放课题项目(GCIS201704)；；

针对英文句子压缩方法进行研究，提出一种基于预读及简单注意力机制的压缩方法。在编码器—解码器（encoder-decoder）框架下，以循环门单元（gated recurrent unit，GRU）神经网络模型为基础，在编码阶段对原句语义进行两次建模。首次建模结果作为全局信息，加强二次语义建模，得到更全面准确的语义编码向量。解码阶段充分考虑删除式句子压缩的特殊性，适用简单注意力（3t-attention）机制，将编码向量中与当前解码时刻最相关的语义部分输入到解码器中，提高预测效率及准确率。在谷歌新闻句子压缩数据集上的实验结果表明，所提压缩方法优于已有公开结果。因此，预读及简单注意力机制可有效提高英文句子压缩精度。

来源：2019年第2期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2019年第2期