计算机应用研究

作者：缪裕青,杨爽,刘同来,张万桢,朱林,周明,

单位：1.桂林电子科技大学a.计算机与信息安全学院;b.广西图像图形与智能处理重点实验室;c.广西密码学与信息安全重点实验室,广西桂林541004；2.仲恺农业工程学院信息科学与技术学院,广州510225；3.桂林航天工业学院工程综合训练中心,广西桂林541004；4.桂林海威科技有限公司,广西桂林541004；

关键词：多模态情感分析,模态间噪声,跨模态门控机制,多模态融合,

基金：国家自然科学基金资助项目(61866007)；广西自然科学基金重点项目(2018GXNSFDA138006)；广西高校图像图形智能处理重点实验室研究项目(GIIP201706)；广西自然科学基金资助项目(2020GXNSFAA159094)；广东省研究生教育创新计划资助项目(2022JGXM115)；教育部产学合作协同育人项目(202102191071,202102211021)；桂林电子科技大学研究生教育创新计划资助项目(2022YCXS066,2023YCXS044)；广东自然科学基金资助项

如何有效挖掘单模态表征并实现多模态信息的充分融合是多模态情感分析研究的重点之一。针对多模态情感分析中的模态间噪声和多模态特征融合不充分等问题，提出一种基于跨模态门控机制和改进融合方法的多模态情感分析模型。首先，利用跨模态门控机制去除模态间噪声，提取互补信息以增强模态表示。然后，利用权重和相似约束分别关注不同模态情感贡献的差异性和情感表达的一致性。最后，结合模态的多层次表示获得情感分析的结果。在三个公开数据集上的实验结果表明，所提模型是有效的，相比已有的一些模型取得了更好的性能。

来源：2023年第7期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2023年第7期