计算机应用研究

作者：冯广,周科栋,伍文燕,黄俊辉,林忆宝,刘馨婷,赵志文,苏旭,

单位：广东工业大学a.自动化学院;b.计算机学院,广州510006；

关键词：多模态情感分析,模态缺失,提示生成,重构,自挖掘,零向量位,

基金：国家自然科学基金重点项目(62237001)；广东工业大学教育信息化教改专项资助项目(211230073)；；

在多模态情感分析任务中，真实应用常出现模态缺失现象，而现有缺失模态生成方法普遍过度依赖自动生成的模态表示，易导致生成误差放大和泛化能力不足等问题。为此，提出一种提示生成-双模态重构-自挖掘的多模态情感分析框架（prompt-reconstruct-mining，PRM）。针对单模态和双模态缺失场景，该框架首先利用生成式提示与已有模态信息对缺失模态进行初步估计，随后设计了双模态支撑重构机制，有效降低了单源生成误差；在融合阶段创新性地引入自挖掘算子（self-mining operator）显式学习未缺失模态的深层语义特征，并提出零向量位插入（zero-slot insertion）策略聚合全局上下文信息。实验结果表明，在CMU-MOSI和CMU-MOSEI数据集的单模态和双模态缺失场景下，PRM模型的accuracy和F1分别平均提升约1%~3%，并且在动态缺失与跨数据集迁移实验中仍表现出稳健的泛化能力，验证了模型在复杂缺失情境下的有效性和鲁棒性。

来源：2026年第3期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2026年第3期