计算机应用研究

作者：冯广,黄荣灿,周垣桦,项峰,杨燕茹,郑润庭,刘天翔,李伟辰,

单位：广东工业大学a.自动化学院;b.计算机学院,广州510006；

关键词：自适应权值,对抗训练,多分类,交叉注意力,掩码特征增强,

基金：国家自然科学基金重点项目(62237001)；广东省哲学社会科学青年项目(GD23YJY08)；；

多模态情感分析在基于在线课堂的智慧教育领域发挥着关键的作用，在近些年越来越受到关注。然而，当前多模态情感分析中存在着有效利用模态间的互补性方面不足、文本模态主导作用没有发挥、噪声干扰和鲁棒性不足等问题。针对上述问题，提出了一种基于对抗训练的多模态自适应特征融合的情感分析方法。在特征提取方面，将音视频作为低级特征通过交叉注意力交互提高信息密度，并通过自适应加权对交互结果进行动态校正；其次，针对文本模态的主导作用，引入掩码机制以保留关键句子的表征，音频和视频模态通过跨模态注意力机制进一步优化情感识别性能；同时，引入模态判别器与特征提取器之间的对抗机制，实现多模态特征在共享空间中的对齐与融合，提升模态间的互补性利用效果。实验结果表明，所提出模型在公开的数据集MOSI和MOSEI上均取得了优越的性能表现。

来源：2025年第12期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2025年第12期