计算机应用研究

作者：张君逸,赵培培,梁松,杨迪,孙奥然,肖涛,

单位：1.中国矿业大学信息与控制工程学院,江苏徐州221116；2.常州海图信息科技股份有限公司,江苏常州213000；

关键词：行为识别,图卷积网络,CTR-GCN,双人交互行为识别,Transformer,注意力机制,

基金：国家重点研发计划资助项目(2022YFC3004703)；；

在图像/视频的行为识别算法中，存在骨骼图数据利用不充分、模型忽略运动中的交互语义信息，以及捕获运动中长短时信息不足等问题，导致在双人交互行为和相似动作场景下识别准确率不高。为解决这些问题，提出一种基于跨主体交互和多尺度时间增强的CTR-GCN（channel-wise topology refinement graph convolution net）网络的行为识别模型。针对输入骨骼图利用不充分的问题，将图数据进行分解来作数据增强，并设计集成网络来处理这些信息。现有算法主要学习单个主体的节点间的关系，忽略了双人交互行为时的交互语义信息的问题，设计了一种跨主体交互的Cformer（Cross-Transformer）深入学习主体间的交互特征。针对图卷积对时序信息中长短帧间信息处理不足的问题，提出了多尺度时间建模来增强模型对长短时特征的提取能力。实验结果表明，模型在NTU-RGBD和NTU-RGBD 120数据集上达到92.7%和89.4%的准确率，尤其在双人交互行为以及相似动作行为的场景下表现优异，验证了模型的有效性。

来源：2025年第9期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2025年第9期