计算机应用研究

作者：周超,王呈,夏源,杜林,

单位：1.江南大学物联网工程学院,江苏无锡214122；2.江阴怡源-江南大学工业智能运维联合实验室,江苏无锡214400；

关键词：人机对话,意图识别,槽位填充,联合建模,

基金：近地面探测技术重点实验室基金资助项目(6142414220203)；；

在工业运维人机对话任务中，为解决运维数据中包含复杂嵌套实体以及存在少量缺字、错字的问题，提出一种改进的BERT联合任务算法GP-GraphBERT，利用意图和语义槽识别任务的关联性提升对话性能。首先，由BERT得到隐藏层状态后，通过构建邻接矩阵将其转换为图结构，嵌入加权残差图注意力网络（WRGAT）增强模型的邻居感知能力。其次，改进融合旋转式位置编码（rotary position embedding，RoPE）的全局指针机制（GlobalPointer），使模型能够无差别地识别常规实体和嵌套实体。最后，设计意图识别和语义槽识别任务的联合损失函数，利用两者的关联性提高预测精度，在模型训练过程中引入动态掩码处理，增强模型的鲁棒性和泛化能力。实验结果表明，GP-GraphBERT算法在工业运维人机对话数据集上意图识别和语义槽识别的F1分数达到87.5%和86.4%，相较于原网络JointBERT分别提升9.2和3.0百分点，同时能够满足运维数据嵌套实体识别需求。实验充分验证了算法在联合识别任务中的性能。

来源：2024年第12期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2024年第12期