计算机应用研究

作者：樊继冬,仲兆满,韩天乐,李梦晗,崔心如,徐瑾,

单位：江苏海洋大学a.计算机工程学院;b.江苏省海洋资源开发研究院,江苏连云港222005；

关键词：多模态情感分析,多任务学习,异质特征,自适应融合,多尺度特征,多模态融合,

基金：国家自然科学基金资助项目(72174079)；江苏省“青蓝工程”大数据优秀教学团队资助项目(2022-29)；连云港市重点研发计划(产业前瞻与关键核心技术)资助项目(CG2323)；；

针对多模态情感分析中模态异质性特征关注不足导致的特征冗余和噪声干扰问题，提出了一种基于多任务联合学习与自适应融合的多模态情感分析模型（MTL-SAF）。该模型创新性地构建了多任务联合情感分析模块，通过同时处理多模态和单模态任务来全面捕捉模态间异质性特征，并引入动态权重分配的自适应融合机制以抑制冗余噪声。模型采用多尺度特征提取策略，有效融合低级与高级特征以增强情感信息表达能力。在SIMS、MOSI和MOSEI数据集上的实验结果表明，MTL-SAF在情感分类准确率和F1值等指标上均显著优于现有基线模型，验证了其在处理模态异质性和增强特征表达方面的优越性。

来源：2025年第9期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2025年第9期