计算机应用研究

作者：朱杰,

单位：中央司法警官学院信息管理系,河北保定071000；

关键词：文本特征,图像局部与全局特征,跨模态检索,哈希码,

基金：中央司法警官学院博士科研启动经费专项项目(BSQDS202103)；河北省教育厅人文社科重大攻关资助项目(ZD202102)；；

随着深度学习方法的不断发展，跨模态哈希检索技术也取得了长足的进步。但是，目前的跨模态哈希检索方法通常基于两种假设:a）相似文本描述的图像内容也相似；b）相同类别的图像有着较好的全局相似性。但是，真实数据集中的数据往往不能满足以上两种假设，导致了跨模态哈希检索模型性能的降低。针对以上两个问题，提出了一种基于文本引导对抗哈希的跨模态检索方法（text-guided adversarial hashing for cross-modal retrieval，TAH），此方法在构建的网络结构基础上，将文本哈希码作为训练图像网络的基础，并将图像的局部特征与全局特征结合用于表示图像内容。此外，还针对性地提出了文本模态内全局一致性损失、模态间局部与全局一致性损失和分类对抗损失用于训练跨模态网络。实验证明，TAH可以在三个数据集中取得良好的检索性能。

来源：2022年第2期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2022年第2期