计算机应用研究

作者：林洁霞,朱小栋,

单位：上海理工大学管理学院,上海200093；

关键词：多模态讽刺检测,分层交互,对比学习,交叉注意力机制,图注意力网络,

基金：国家自然科学基金面上项目(71871144)；；

多模态讽刺检测的关键在于有效地对齐和融合不同模态的特征。然而，现有融合方法通常忽略多模态间组成结构的关系，并且在识别讽刺时也经常忽略多模态数据中与讽刺情感相关的共同特征的重要性。因此，提出一种基于跨模态分层交互网络和对比学习的模型。首先，跨模态分层交互网络采用了基于交叉注意力机制的最小单元对齐模块和基于图注意力网络的组成结构融合模块，从不同层面上识别文本和图像之间的不一致性，将低一致性的样本判定为含讽刺意味的样本。其次，该模型通过数据增强和类别增强两个对比学习任务，帮助学习讽刺相关的共同特征。实验结果表明，所提模型与基线模型相比，准确率提升了0.81%，F1值提升了1.6%，验证了提出的分层交互网络和对比学习方法在多模态讽刺检测中的关键作用。

来源：2024年第9期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2024年第9期