计算机应用研究

作者：李尚往,缪裕青,刘同来,张万桢,周明,

单位：1.桂林电子科技大学a.计算机与信息安全学院;b.广西图像图形与智能处理重点实验室,广西桂林541004；2.仲恺农业工程学院人工智能学院,广州510225；3.桂林海威科技股份有限公司,广西桂林541004；

关键词：对话情绪识别,超图,跨模态融合,双流门控注意力网络,Transformer,

基金：国家自然科学基金资助项目(62366010,62366011)；广东省自然科学基金资助项目(2023A1515011230)；广东省哲学社会科学规划专项项目(GD25CW04)；桂林电子科技大学研究生教育创新计划资助项目(2025YCXS076)；；

针对目前多模态对话情绪识别模型中各模态间的交互信息和多元对话关系利用不充分等问题，提出一种基于超图学习与成对跨模态融合的多模态对话情绪识别模型。该模型的超图学习模块以话语表征作为节点，设计包含多模态与时序信息的两种不同类型超边形成超图，通过超图卷积捕捉说话人之间的多元对话关系。同时，提出一种双流门控注意力网络动态调整节点特征，以减少信息冗余；成对跨模态融合模块将每个模态作为基准特征，基于跨模态注意力机制分别与其他模态特征进行重复强化，挖掘两两模态间的深层次交互信息，以增强跨模态特征表示。实验结果表明，在IEMOCAP和CMU-MOSEI数据集上，所提模型的准确率和加权平均F1值均优于多个对比模型，充分验证了提出模型的有效性。

来源：2026年第2期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2026年第2期