计算机应用研究

作者：徐守坤,周佳,李宁,石林,

单位：1.常州大学a.信息科学与工程学院;b.数理学院,江苏常州213164；2.福建省信息处理与智能控制重点实验室(闽江学院),福州350108；

关键词：视觉注意力,图像标注,空间特征,

基金：闽江学院福建省信息处理与智能控制重点实验室开放课题资助项目(MJUKF201740)；；

针对图像标注和attention机制结合过程中特征选择不充分和预测过程中对空间特征权重比例不足的问题，提出了一种结合空间特征的注意力图像标注方法。首先通过卷积神经网络得到图像特征，特征区域与文本标注序列匹配；然后通过attention机制给标注词汇加权，结合空间特征提取损失函数得到基于空间特征注意力的图像标注；最后分别在Flickr30k和MS-COCO两个数据集上进行验证，通过可视化显示该模型如何自动学习显著区域并生成相应的词汇输出序列。实验结果表明，该方法能较好地提取注意力区域并给出标注，与其他模型对比能够得到更好的标注结果。

来源：2019年第1期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2019年第1期