计算机应用研究

作者：王丹,张峰,张辉,朱杰,

单位：河北大学数学与信息科学学院,河北保定071002；

关键词：信息互补,交叉注意力,图卷积网络,跨模态检索,

基金：国家自然科学基金资助项目(61802269)；河北省自然科学基金资助项目(F2022511001)；河北省高等学校科学技术研究项目(ZC2022070)；河北大学高层次人才科研启动项目(521100223212)；河北省创新能力提升计划—科技平台项目(22567623H)；；

随着互联网中多模态数据的快速增长，跨模态检索技术受到了广泛关注。然而，现实中一些多模态数据存在语义信息缺失，导致模型难以准确提取出其中蕴涵的语义特征。此外，一些多模态数据还包含了与语义无关的冗余信息，干扰了模型对关键信息的提取。为此，提出了一种基于信息互补与交叉注意力（ICCA）的跨模态检索方法。该方法利用图卷积网络（GCN）建模多标签和数据之间的关系，以补充多模态数据中缺失的语义信息与多标签中缺失的样本细节信息。此外，交叉注意力子模块利用多标签信息，过滤掉数据中语义无关的冗余信息。为了使语义相似的图像和文本在公共表示空间中实现更好的匹配，还提出了一种语义匹配损失。此损失将多标签嵌入融入到图像和文本的匹配过程中，用于进一步增强公共表示的语义性。在NUS-WIDE、MIRFlickr-25K和MS-COCO这三个广泛使用的数据集上进行实验，实验结果表明，ICCA在这些数据集上的平均精度均值（mean average precision，mAP）分别为0.808、0.859和0.837，显著优于现有方法。

来源：2025年第7期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2025年第7期