计算机应用研究

作者：刘佳楠,范晶晶,赵建光,朱杰,

单位：1.河北建筑工程学院信息工程学院,河北张家口075000；2.河北大学数学与信息科学学院,河北保定071002；

关键词：语义相关性,自适应相关性矩阵,图卷积网络,跨模态检索,

基金：河北省自然科学基金资助项目(F2022511001)；河北省高等学校科学技术研究项目(ZC2022070)；河北大学高层次人才科研启动项目(521100223212)；张家口市市级科技计划财政资助项目(2311010A)；张家口市2022年度基础研究专项资助项目(2221008A)；河北建筑工程学院2024年校级研究生创新基金资助项目(XY2024068)；；

随着深度神经网络的不断发展，跨模态检索模型的构建也随之取得了长足的进步。以图卷积网络（GCN）为基础的跨模态检索方法可以较好地捕获数据的语义相关性，因此越来越受到人们的关注。但是，目前大部分研究多将标签之间和样本之间的相关性融入到跨模态表示当中，并没有考虑到标签集合之间的相关性对于跨模态检索模型性能的影响。在多标签场景下，标签集合之间的多标签相关性可以有效地描述对应样本之间的语义关系，因此充分发现多标签相关性并将其融入到跨模态表示中，对于提高跨模态检索模型的性能有着重要的意义。提出了一种基于二重语义相关性图卷积网络 （dual semantic correlation graph convolutional networks，DSCGCN） 的跨模态检索方法，该方法利用GCN自适应地发现标签之间和多标签之间的语义相关性，并将此二重语义相关性融入到样本公共表示中。此外，还提出了一种多标签相似性损失，用于使生成的样本公共表示相似性更接近于语义相似性。通过在NUS-WIDE、MIRFlickr-25K和MS-COCO三个数据集上的实验可以发现，由于引入了多标签语义相关性，DSCGCN可以获得令人满意的检索效果。

来源：2024年第4期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2024年第4期