计算机应用研究

作者：杨兴明,徐浩,汪智文,高旭杰,吴克伟,谢昭,

单位：合肥工业大学计算机与信息学院,合肥230601；

关键词：行为识别,区域级特征,卷积神经网络,深度学习,

基金：安徽省自然科学基金资助项目(2108085MF203)；；

针对现有的行为识别方法缺少对视频帧中区域级特征的学习，造成识别过程中对相似的行为类别混淆的问题，提出一种区域级时间变化网络。该网络包括局部-全局时间特征学习模块、区域语义学习模块、区域语义融合模块。局部-全局时间特征学习模块学习局部时间注意力，以增强局部视频帧的运动特征，并将其聚合为全局时间区域特征。区域语义学习模块通过计算区域中像素之间的相似度来构建可变化的区域语义卷积核，从而学习随时间变化的行为语义特征。区域语义融合模块将可变化区域特征和全局时间区域特征作为两个独立分支，分别学习每个分支特征的通道注意力用于特征融合。在Something-Something V1&V2与 Kinetics-400数据集上的实验结果显示，区域级时间变化网络表现优于多数行为识别方法，证明了该网络能够有效提升行为识别的性能。

来源：2024年第11期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2024年第11期