计算机应用研究

作者：刘逸斌,高曙,陈良臣,

单位：1.武汉理工大学计算机与人工智能学院,武汉430070；2.中国劳动关系学院计算机学院,北京100048；3.中国科学院信息工程研究所,北京100093；

关键词：弱监督,时序动作定位,空洞卷积,双流融合,

基金：国家自然科学基金项目(52172327)；国家教育部人文社科项目(18YJA630076)；中国劳动关系学院科研项目(23XYJS016)；；

弱监督时序动作定位旨在仅使用视频级标签对未修剪视频中的动作实例进行分类和定位。现有模型通常直接使用预训练的特征提取器从视频中提取片段级RGB和光流特征，但预提取的片段级视频特征只覆盖短的时间跨度，且没有考虑RGB和光流的互补性和关联性，影响了定位的准确率。为此，提出了双流特征增强与融合的弱监督时序动作定位模型。首先，通过多尺度密集型空洞卷积扩大感受野，使模型能够覆盖多个时间跨度，从而捕捉视频片段间的时序依赖性，获得增强的RGB和光流特征。然后，利用卷积网络自适应提取增强RGB和光流特征中的关键特征进行融合，实现RGB和光流特征的关联互补，进一步丰富视频特征表示，使模型定位效果更加准确。该模型在THUMOS14和ActivityNet1.3数据集上分别达到了73.9%和43.5%的检测精度，优于现有SOTA模型，证明了该模型的有效性。

来源：2025年第7期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2025年第7期