计算机应用研究

作者：邹序焱,何汉武,吴悦明,

单位：1.广东工业大学机电工程学院,广州510006；2.宜宾学院人工智能与大数据学部,四川宜宾644000；3.广东工贸职业技术学院,广州510510；

关键词：神经网络,手势估计,RGBD相机,深度图,手的拓扑结构,

基金：国家重点研发专项资助项目(2018YFB1004902)；广东省重点研发资助项目(2017B010110008)；；

人类在认识事物时往往是从粗到细再到精，受认识过程的启发，根据手的拓扑结构设计了一种新的手势估计网络。该方法首先从手的角度提取全局特征，然后从手指角度提取局部特征，最后从关节点的角度提取点的细化特征，并融合三个不同阶段特征回归出每一关节点的3D空间坐标值，从而改善了回归精度。由于深度图只保存了目标点到相机的深度信息，以深度图作为神经网络的输入不利于卷积核获取其他两个方向的坐标信息；为了能在2D卷积核中直接利用空间坐标的全部信息，利用相机成像原理对深度图进行转换，将深度图转换为3通道的图像，这样提高了神经网络的回归精度。最后在公开数据集NYU和MSARA上进行训练和测试，测试结果表明，提出的网络结构及输入数据的转变都取得了良好的效果。

来源：2022年第3期

《计算机应用研究》期刊编辑部

查看计算机应用研究杂志2022年第3期