计算机应用研究

作者：刘洲,马立平,张海燕,

单位：1.西南科技大学计算机科学与技术学院,四川绵阳621010；2.武汉三江航天远方科技有限公司,武汉430048；

关键词：多模态情感分析,模态细粒度对齐,深度跨模态交互,残差注意力,

基金：西南科技大学智慧教育研究中心科研项目(22ZHJYZD01)；；

针对现有多模态情感分析方法在模态对齐上不够精细，深度特征融合时易丢失重要信息的问题，提出了一种图文深度交互模型。该模型摈弃使用图像区域强监督的方式检测图片中的物体，首先将图片平等划分成更精细的区域序列，通过双路融合流的深度融合层来对齐多模态数据中蕴涵的潜在模式，并使用自适应门阀优化残差注意力信息的传递。在MSED和MSVA数据集上进行实验，相比较基线模型，在准确率和F1分数上分别取得了最高1.06%、0.74%和0.75%、0.63%的提升。最后通过可视化细粒度对齐效果和消融实验证明了所提方法的有效性。

来源：2025年第2期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2025年第2期