计算机应用研究

作者：冯广,刘馨婷,林忆宝,赵志文,肖俊鸿,周科栋,黄俊辉,

单位：广东工业大学a.自动化学院;b.计算机学院,广州510006；

关键词：多模态情感分析,跨模态特征融合,统一语义对齐,动态融合调控,分层残差机制,跨模态鲁棒性,

基金：国家自然科学基金重点资助项目(62237001)；广东省哲学社会科学青年项目(GD23YJY08)；；

针对多模态情感分析中模态异构、贡献动态与语义抽象不足等问题，提出一种三阶段闭环融合模型MIFA，路径包含“统一对齐-动态融合调控-高阶语义抽象”。方法上，首先以统一语义对齐实现异构模态在共享空间的一致表达；继而通过上下文门控与通道调制联合估计模态/通道权重；最终以分层残差语义增强实现高阶抽象与判别强化。在CMU-MOSI与CMU-MOSEI数据集上的实验表明，二分类Acc2与F1分别达到86.43%/86.03%和86.42%/85.81%，七分类Acc7为45.04%/50.41%，回归任务中MAE为0.689/0.532，总体优于主流模型。验证了该方法能够稳定对齐并自适应调控信息流，提升情感分类与强度回归性能，具备在复杂跨模态场景中的应用潜力。

来源：2026年第2期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2026年第2期