计算机应用研究

作者：石祥滨,李怡颖,刘芳,代钦,

单位：1.辽宁大学信息学院,沈阳110036；2.沈阳航空航天大学计算机学院,沈阳110136；3.沈阳工程学院信息学院,沈阳110136；

关键词：动作识别,双流,通道信息,时空注意力,运动显著区域,

基金：国家自然科学基金资助项目(61602320)；；

针对双流法进行视频动作识别时忽略特征通道间的相互联系、特征存在大量冗余的时空信息等问题，提出一种基于双流时空注意力机制的端到端的动作识别模型T-STAM，实现了对视频关键时空信息的充分利用。首先，将通道注意力机制引入到双流基础网络中，通过对特征通道间的依赖关系进行建模来校准通道信息，提高特征的表达能力。其次，提出一种基于CNN的时间注意力模型，使用较少的参数学习每帧的注意力得分，重点关注运动幅度明显的帧。同时提出一种多空间注意力模型，从不同角度计算每帧中各个位置的注意力得分，提取多个运动显著区域，并且对时空特征进行融合进一步增强视频的特征表示。最后，将融合后的特征输入到分类网络，按不同权重融合两流输出得到动作识别结果。在数据集HMDB51和UCF101上的实验结果表明T-STAM能有效地识别视频中的动作。

来源：2021年第4期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2021年第4期