计算机应用研究

作者：张红良,李广明,

单位：东莞理工学院计算机科学与技术学院,广东东莞523000；

关键词：图像描述,空间位置信息,关联性特征,空间关联性注意力,Transformer,

基金：国家自然科学基金青年科学基金资助项目(62106046)；广东省自然科学基金资助项目(2016A030313135)；广东大学生科技创新培育专项资金资助项目(Pdjh2002a0505)；；

图像中物体间的关联性能够有效提升图像描述的效果，但是直接使用全局特征表示物体间的关系无法准确捕获图像的关联性特征。为准确捕获图像的关联性特征以提高描述的准确性，提出了一种基于空间关联性的图像描述生成方法。该方法使用Faster R-CNN提取图像的视觉特征和物体的空间位置信息，再将视觉特征与空间位置信息在高维空间融合后指导Transformer捕获图像的关联性特征；最后将视觉特征和关联性特征分别作为视觉注意力和空间关联性注意力的高层语义输入指导单词序列的生成。使用COCO数据集进行实验验证，在BLEU_4和CIDEr上分别得分38.1%和124.8%，相较于基线模型提升了1.8%和4.7%，证明了该方法的可行性。

来源：2023年第4期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2023年第4期