本发明涉及手势追踪，具体涉及一种双目相机高帧率手势追踪方法和系统。
背景技术：
1、近年来，手势追踪技术的发展得益于计算机视觉、图像处理、模式识别和机器学习等领域的进步。随着计算机硬件性能的提升和传感器技术的不断创新，手势追踪技术取得了显著的进展。
2、传统的手势追踪技术主要基于摄像头捕捉手势动作，然后利用图像处理算法分析手势的形状、位置和运动。随着深度学习技术的兴起，神经网络在手势追踪中的应用逐渐增多，使得系统能够更准确地追踪手势。
3、已有的手势追踪技术，使用两个摄像头，采取每秒30帧的频率拍摄画面，先使用卷积神经网络(cnn)生成单目的2d关键点，再通过计算两个摄像头之间的视差来获取深度信息，从而得出3d的手势关键点，进而生成3d的手势关键点。这种方法可以帮助系统更准确地捕捉手势的三维位置。
4、但是，这种方法计算复杂度高，处理图片数据性能消耗大，时耗较大，导致跟踪延迟较大，高计算复杂度导致系统只能在30帧每秒的频率下运行，使得手势追踪延迟在30毫秒以上。
技术实现思路
1、(一)解决的技术问题
2、针对现有技术的不足，本发明提供了一种双目相机高帧率手势追踪方法和系统，解决了手势追踪方法计算复杂度高，延迟高的问题。
3、(二)技术方案
4、为实现以上目的，本发明通过以下技术方案予以实现：
5、一种双目相机高帧率手势追踪方法，所述手势追踪方法包括步骤如下：
6、基于预设的双目相机，获取第一相机和第二相机的位姿数据；
7、通过第一相机和第二相机逐帧交替采样图像，获取待分析的双目相机图像帧序列；
8、将待分析的双目相机图像帧序列和双目相机位姿数据作为预先训练的双目异步神经网络的输入，输出每一帧手势3d关键点坐标，以作为手势追踪结果。
9、优选的，所述双目异步神经网络的训练包括步骤如下：
10、通过第一相机和第二相机以相同的频率同时采样图像，基于每一帧的图像和双目相机位姿数据，获取每一帧手势3d关键点坐标；
11、将所述第一相机和第二相机以相同的频率同时采样的图像逐帧交替舍弃第一相机图像、第二相机图像，获取多组双目相机图像帧序列；
12、将每一组双目相机图像帧序列和双目相机位姿数据作为一条训练样本，将对应的每一帧手势3d关键点坐标作为监督信号，构建训练数据库；
13、基于所述训练数据库进行网络训练，获取双目异步神经网络。
14、优选的，所述双目异步神经网络包括：图像编码网络、位姿投影网络、时间对齐网络、特征融合层、时序网络和解码网络；
15、所述图像编码网络采用卷积神经网络；
16、和/或所述时间对齐网络是一个多层感知机结构；
17、和/或所述特征融合层为卷积层；
18、和/或所述时序网络为rnn循环神经网络，rnn循环神经网络包括：带循环结构的cnn模块、lstm网络、gru网络、transformer网络的一种或多种；
19、和/或所述解码网络为注意力层和多层感知机层叠加。
20、优选的，将待分析的双目相机图像帧序列和双目相机位姿数据作为预先训练的双目异步神经网络的输入，输出每一帧手势3d关键点坐标，以作为手势追踪结果包括步骤如下：
21、将前一帧的第一相机图像或第二相机图像通过图像编码网络转换为特征图，特征图和对应的相机位姿数据通过位姿投影网络转换为3d姿态投影，该3d姿态投影通过时间对齐网络将上一帧图像处理出的位姿对齐到当前帧输入特征融合层；
22、将当前帧第二相机图像或第一相机图像经图像编码网络处理后和对应的相机位姿数据输入位姿投影网络，经位姿投影网络处理后输入特征融合层；
23、所述特征融合层将两个输入的3d姿态投影融合成一个统一的3d姿态投影输入时序网络；
24、所述时序网络保存每一帧推理后的特征信息，传给下一帧推理网络作为输入，保持前后帧数据的连续性；
25、所述解码网络对特征数据进行解码，输出每一帧手势3d关键点坐标。
26、优选的，所述双目相机包括：第一相机、第二相机和连接装置；
27、第一相机与第二相机通过连接装置固定连接；
28、第一相机和第二相机为型号相同的rgb相机或灰度相机。
29、一种双目相机高帧率手势追踪系统，所述手势追踪系统包括：位姿获取模块、图像帧序列获取模块和手势追踪模块；
30、所述位姿获取模块用于获取第一相机和第二相机的位姿数据；
31、所述图像帧序列获取模块用于通过第一相机和第二相机逐帧交替采样图像，获取待分析的双目相机图像帧序列；
32、所述手势追踪模块用于将待分析的双目相机图像帧序列和双目相机位姿数据作为预先训练的双目异步神经网络的输入，输出每一帧手势3d关键点坐标，以作为手势追踪结果。
33、优选的，所述双目异步神经网络的训练包括步骤如下：
34、通过第一相机和第二相机以相同的频率同时采样图像，基于每一帧的图像和双目相机位姿数据，获取每一帧手势3d关键点坐标；
35、将所述第一相机和第二相机以相同的频率同时采样的图像逐帧交替舍弃第一相机图像、第二相机图像，获取多组双目相机图像帧序列；
36、将每一组双目相机图像帧序列和双目相机位姿数据作为一条训练样本，将对应的每一帧手势3d关键点坐标作为监督信号，构建训练数据库；
37、基于所述训练数据库进行网络训练，获取双目异步神经网络。
38、优选的，所述双目异步神经网络包括：图像编码网络、位姿投影网络、时间对齐网络、特征融合层、时序网络和解码网络；
39、所述图像编码网络采用卷积神经网络；
40、和/或所述时间对齐网络是一个多层感知机结构；
41、和/或所述特征融合层为卷积层；
42、和/或所述时序网络为rnn循环神经网络，rnn循环神经网络包括：带循环结构的cnn模块、lstm网络、gru网络、transformer网络的一种或多种；
43、和/或所述解码网络为注意力层和多层感知机层叠加。
44、优选的，将待分析的双目相机图像帧序列和双目相机位姿数据作为预先训练的双目异步神经网络的输入，输出每一帧手势3d关键点坐标，以作为手势追踪结果包括步骤如下：
45、将前一帧的第一相机图像或第二相机图像通过图像编码网络转换为特征图，特征图和对应的相机位姿数据通过位姿投影网络转换为3d姿态投影，该3d姿态投影通过时间对齐网络将上一帧图像处理出的位姿对齐到当前帧输入特征融合层；
46、将当前帧第二相机图像或第一相机图像经图像编码网络处理后和对应的相机位姿数据输入位姿投影网络，经位姿投影网络处理后输入特征融合层；
47、所述特征融合层将两个输入的3d姿态投影融合成一个统一的3d姿态投影输入时序网络；
48、所述时序网络保存每一帧推理后的特征信息，传给下一帧推理网络作为输入，保持前后帧数据的连续性；
49、所述解码网络对特征数据进行解码，输出每一帧手势3d关键点坐标。
50、优选的，所述双目相机包括：第一相机、第二相机和连接装置；
51、第一相机与第二相机通过连接装置固定连接；
52、第一相机和第二相机为型号相同的rgb相机或灰度相机。
53、(三)有益效果
54、本发明提供了一种双目相机高帧率手势追踪方法和系统。与现有技术相比，具备以下有益效果：
55、本发明中，所述手势追踪方法包括步骤如下：基于预设的双目相机，获取第一相机和第二相机的位姿数据；通过第一相机和第二相机逐帧交替采样图像，获取待分析的双目相机图像帧序列；将待分析的双目相机图像帧序列和双目相机位姿数据作为预先训练的双目异步神经网络的输入，输出每一帧手势3d关键点坐标，以作为手势追踪结果；所述手势追踪方法在相邻两帧的处理中，会对某帧单个相机图像进行相同的处理，所以只需运行一遍，第二次复用第一遍的结果，大幅降低了计算复杂度、cpu占用率和功耗；缩短了处理时间，能够实现高帧率的推理速度，实现了快速高精度的手势追踪算法。
1.一种双目相机高帧率手势追踪方法，其特征在于，所述手势追踪方法包括步骤如下：
2.如权利要求1所述的双目相机高帧率手势追踪方法，其特征在于，所述双目异步神经网络的训练包括步骤如下：
3.如权利要求1所述的双目相机高帧率手势追踪方法，其特征在于，所述双目异步神经网络包括：图像编码网络、位姿投影网络、时间对齐网络、特征融合层、时序网络和解码网络；
4.如权利要求3所述的双目相机高帧率手势追踪方法，其特征在于，将待分析的双目相机图像帧序列和双目相机位姿数据作为预先训练的双目异步神经网络的输入，输出每一帧手势3d关键点坐标，以作为手势追踪结果包括步骤如下：
5.如权利要求1所述的双目相机高帧率手势追踪方法，其特征在于，所述双目相机包括：第一相机、第二相机和连接装置；
6.一种双目相机高帧率手势追踪系统，其特征在于，所述手势追踪系统包括：位姿获取模块、图像帧序列获取模块和手势追踪模块；
7.如权利要求6所述的双目相机高帧率手势追踪系统，其特征在于，所述双目异步神经网络的训练包括步骤如下：
8.如权利要求6所述的双目相机高帧率手势追踪系统，其特征在于，所述双目异步神经网络包括：图像编码网络、位姿投影网络、时间对齐网络、特征融合层、时序网络和解码网络；
9.如权利要求8所述的双目相机高帧率手势追踪系统，其特征在于，将待分析的双目相机图像帧序列和双目相机位姿数据作为预先训练的双目异步神经网络的输入，输出每一帧手势3d关键点坐标，以作为手势追踪结果包括步骤如下：
10.如权利要求6所述的双目相机高帧率手势追踪系统，其特征在于，所述双目相机包括：第一相机、第二相机和连接装置；
