计算机应用研究

作者：谭晓聪,郭军军,线岩团,相艳,

单位：昆明理工大学a.信息工程与自动化学院;b.云南省人工智能重点实验室,昆明650500；

关键词：多模态,情绪识别,一致性约束,图卷积网络,情感分析,

基金：国家自然科学基金地区项目(62162037)；云南省科技厅面上项目(202001AT070047,202001AT070046)；；

多模态对话情绪识别是一项根据对话中话语的文本、语音、图像模态预测其情绪类别的任务。针对现有研究主要关注话语上下文的多模态特征提取和融合，而没有充分考虑每个说话人情绪特征利用的问题，提出一种基于一致性图卷积网络的多模态对话情绪识别模型。该模型首先构建了多模态特征学习和融合的图卷积网络，获得每条话语的上下文特征；在此基础上，以说话人在完整对话中的平均特征为一致性约束，使模型学习到更合理的话语特征，从而提高预测情绪类别的性能。在两个基准数据集IEMOCAP和MELD上与其他基线模型进行了比较，结果表明所提模型优于其他模型。此外，还通过消融实验验证了一致性约束和模型其他组成部分的有效性。

来源：2023年第10期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2023年第10期