计算机应用研究

作者：魏金龙,邵新慧,

单位：东北大学理学院,沈阳110819；

关键词：多模态情感分析,多模态融合,模态强化,门控机制,

针对各模态之间信息密度存在差距和融合过程中可能会丢失部分情感信息等问题，提出一种基于非文本模态强化和门控融合方法的多模态情感分析模型。该模型通过设计一个音频-视觉强化模块来实现音频和视觉模态的信息增强，从而减小与文本模态的信息差距。之后，通过跨模态注意力和门控融合方法，使得模型充分学习到多模态情感信息和原始情感信息，从而增强模型的表达能力。在对齐和非对齐的CMU-MOSEI数据集上的实验结果表明，所提模型是有效的，相比现有的一些模型取得了更好的性能。

来源：2024年第1期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2024年第1期