计算机应用研究

作者：刘斯凡,林国丞,秦建伟,王传旭,

单位：青岛科技大学信息科学技术学院,山东青岛266061；

关键词：群组行为识别,多模态融合,交互关系推理,行为识别,

基金：国家自然科学基金资助项目(61672305)；；

为解决如何选取更具辨别力的多模态人物特征，以及在进行人物关系推理时如何更加关注特定于个人的时空交互建模的问题，提出了基于选择性特征融合的动态关系推理算法框架（SFDRI）。通过设计选择性特征融合模块，根据不同模态特征的随机函数概率分布得分，添加重采样方法以选取最相关的特征表示实现多模态特征的选择融合，并采用动态关系推理模块实现针对个人的复杂时空推理，通过在时空图上初始化交互域，利用点积计算预测人物交互关系矩阵，并同时添加每个人物特征的动态偏移以形成特定于个人的交互图，通过迭代更新交互图上的特征进行最终的群组行为的识别。结合对比实验，算法在公开的排球数据集（volleyball dataset，VD）和集体活动数据集（collective activity dataset，CAD）上分别提升了1.2%和1.5%的平均识别精度，证明了算法框架的有效性。

来源：2023年第3期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2023年第3期