计算机应用研究

作者：陈烨,周刚,章梦礼,朱秀宝,黄宁博,

单位：信息工程大学数据与目标工程学院,郑州450001；

关键词：知识图谱,图像识别,跨模态,实体链接,

提出了一个基于图像识别的跨模态实体链接模型。首先，利用人机交互的图像目标截取模块实现图像目标指代，支持多目标图像的输入，将复杂的目标检测任务简化为图像识别分类任务。然后，设计了一个基于轻量快速的MobileNetV2网络训练的图像识别模块，在自建目标图像数据集环境下进行测试。实验结果验证了该模型能够减小模型规模，降低对硬件的要求，通过有监督的数据增强，在少样本训练条件下达到了94.06%的识别准确度，缓解了数据缺乏的问题。最后，进一步借助模型输出的目标实体命名标签，完成跨模态实体链接任务，能够有效支撑图像输入条件下的知识图谱问答任务。

来源：2022年第5期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2022年第5期