计算机应用研究

作者：郝志峰,陈培辉,蔡瑞初,温雯,王丽娟,

单位：1.广东工业大学计算机学院,广州510006；2.佛山科学技术学院数学与大数据学院,广东佛山528000；3.汕尾职业技术学院信息工程系,广东汕尾516600；

关键词：叠层循环神经网络,多句法结构,Bi-Tree-LSTM,注意力机制,关系分类,

基金：NSFC-广东联合基金资助项目(U1501254)；广东省自然科学基金资助项目(2014A030306004,2014A030308008)；广东省科技计划资助项目(2015B010108006,2015B010131015)；广东特支计划资助项目(2015TQ01X140)；广州市珠江科技新星资助项目(201610010101)；广州市科技计划资助项目(201604016075)；；

基于循环神经网络结合句法结构的方法被广泛运用于关系分类，利用神经网络对输入的编码信息自动获取特征并实现关系分类；然而，目前已有的方法主要是基于单一特定句法结构的模型，而特定句法结构的模型不能够迁移到其他句法结构类型上。针对该问题，提出一种融合多句法结构的叠层循环神经网络模型。该叠层循环神经网络分为两层进行网络构建，首先在序列层进行实体预训练，通过Bi-LSTM-CRF融合attention机制，提高模型对文本序列上实体信息的关注度，从而获取更加准确的实体特征信息，促进关系层阶段更好地分类；其次在关系层，将Bi-Tree-LSTM嵌套在序列层之上，并将序列层的隐状态与实体特征信息传入关系层，利用共享参数对三种不同的句法结构进行加权学习，通过端到端的模型训练并实现语义关系分类。实验结果表明，该模型在SemEval-2010 Task8语料库上的marco-F1值达到了85.9%，并进一步地提升了模型的鲁棒性。

来源：2020年第1期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2020年第1期