计算机应用研究

作者：赵锟,孟凡,李文强,唐桂林,谢曜聪,

单位：1.青岛理工大学信息与控制工程学院,山东青岛266520；2.河南医科大学第二附属医院河南省精神病院,河南新乡453002；3.河南医科大学a.河南省生物精神病学重点实验室;b.河南省精神障碍防治协同创新中心,河南新乡453002；

关键词：多模态情感识别,软硬数据增强,混合时空卷积,注意力机制,轻量级,

基金：河南省重点研发专项项目(241111312800)；；

针对现有的多模态情感识别方法在模型计算复杂、跨模态协同建模能力有限以及在不完整模态场景下泛化能力不足的问题，提出一种面向多模态情感识别的软硬数据增强与交互注意力混合时空卷积网络（MSCN-IA-SHDA）。该模型首先采用混合时空卷积网络（mixed spatiotemporal convolutional network，MSCN）并行提取语音和视觉模态的深层时空特征，引入一种门控式的交互注意力机制（interactive attention，IA）以实现门控式的跨模态特征融合，并结合软硬数据增强策略（soft-hard data augmentation，SHDA）提升模型在模态缺失情况下的鲁棒性。在RAVDESS、CH-SIMS和CH-SIMSv2数据集上的实验结果表明，MSCN-IA-SHDA模块在保证识别精度的同时保持了较低的计算复杂度，情感分类的准确率分别为88.43%、74.32%和77.87%，验证了所提方法的有效性。

来源：2026年第4期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2026年第4期