计算机应用研究

作者：丁淑艳,余恒,李伦波,郭剑辉,

单位：南京理工大学a.电子工程与光电技术学院;b.计算机科学与工程学院,南京210094；

关键词：跨模态检索,图卷积网络,深度学习,无监督哈希,

基金：新疆建设兵团重点领域科技攻关项目(2019BC010)；；

针对无监督跨模态检索任务中不能充分利用单个模态内的语义关联信息的问题，提出了一种基于图卷积网络的无监督跨模态哈希检索方法。通过图像和文本编码器分别获得两个模态的特征，输入到图卷积网络中挖掘单个模态的内部语义信息，将结果通过哈希编码层进行二值化操作后，与模态间的深度语义关联相似度矩阵进行对比计算损失，不断重构优化生成的二进制编码，直到生成样本对应的健壮哈希表达。实验结果表明，与经典的浅层方法和深度学习方法对比，该方法在多个数据集上的跨模态检索准确率均有明显提升。证明通过图卷积网络能够进一步挖掘模态内的语义信息，所提模型具有更高的准确性和鲁棒性。

来源：2023年第3期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2023年第3期