计算机应用研究

作者：缪翌,张卫锋,徐领,

单位：1.浙江理工大学计算机科学与技术学院(人工智能学院),杭州310000；2.嘉兴大学信息科学与工程学院,浙江嘉兴314000；

关键词：多模态,视频时刻检索,图像-语言预训练模型,参数微调,

基金：中国博士后科学基金资助项目(2022M720569)；；

视频时刻检索作为下游任务，依赖预训练模型提取特征的能力。近年的研究表明，以CLIP为代表的图像-语言预训练模型在大规模数据集下能学习到有效且通用的语义知识，从而在图像分类等任务上表现出强大的迁移能力和零样本能力。然而其迁移到视频时刻检索任务仍效果不佳。为解决上述难题，提出了视频时刻检索网络VMRNet，该网络以CLIP预训练模型为骨干，并设计了用于增强CLIP模型时序建模能力和跨模态交互能力的视频时序增强模块VTEMo。该模块采用旁路层级结构，引入查询文本引导的视觉提示，引导视觉编码器学习当前查询任务关注的视觉信息和时序信息。在QVHighlights、Charades-STA等常用数据集上进行了验证实验，VMRNet的R1@0.5指标在两个数据集上分别提高0.83和1.27，模型总体性能优于其他代表性的模型。实验结果充分表明，提出的VTEMo可在查询文本引导下有效学习视频视觉特征和时序特征，VMRNet结合VTEMo可在视频时刻检索任务上获得更为优秀的表现。

来源：2024年第12期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2024年第12期