本发明属于计算机视觉领域，尤其涉及一种多表征融合的3d人体姿态估计方法及系统。
背景技术：
1、3d人体姿态估计，旨在从图像或者视频预测人体关键点的3d坐标，是一种重要的计算机视觉任务，有较大的应用前景，如增强现实、肢体语言解读、人体交互等等，在今年获得了较多的学术界关注。总体来说，3d人体姿态估计有两条基本路线：一是直接利用神经网络从图像或视频预测3d人体关键点坐标、二是先利用2d人体姿态预测器预测2d坐标，再利用神经网络从2d坐标预测3d坐标。由于第二种方法有着更小的预测误差，目前学术界和工业界的研究偏向第二类方法。
2、尽管当前出现了众多的3d人体姿态估计方法，但他们都只关注特征提取模块，对特征提取模块做了复杂的网络设计，忽略了对于3d人体姿态本身结构的分析。
技术实现思路
1、本发明的目的在于解决现有技术中存在的问题，并提供一种多表征融合的3d人体姿态估计方法及系统。本发明的方法在预测头中不仅预测3d人体姿态的点坐标，同时也预测了3d人体姿态的边角度和边长，既预测了3d人体姿态图结构中的点，也预测了边，并融合两个3d人体姿态表征，得到最后的结果。
2、为了实现上述发明目的，本发明具体采用如下技术方案：
3、第一方面，本发明提供了一种多表征融合的3d人体姿态估计方法，包括以下步骤：
4、s1.获取带有人体对象的rgb图像，将rgb图像送入预训练的2d人体姿态预测网络中，得到人体关键点的二维坐标位置；
5、s2.将人体关键点的二维坐标位置输入到经过训练的3d人体姿态预测网络中，首先由升维网络对人体关键点的二维坐标位置进行处理，得到初始特征，将初始特征与可学习的空间位置嵌入向量相加，得到人体姿态输入序列，将人体姿态输入序列依次经过n个特征提取模块中，得到人体姿态特征，将人体姿态特征输入到多表征融合的预测头中，得到最终的3d人体姿态预测结果；
6、3d人体姿态预测网络的每个特征提取模块均使用两个并行的支路来提取特征，一条支路使用空间多头自注意力机制以及时间多头自注意力机制来提取特征，另一条支路使用空间图卷积以及时间图卷积来提取特征，最后使用适应性融合模块对两个并行的支路提取到的特征进行加权融合；
7、3d人体姿态预测网络的预测头包含三个并行的多层感知机模块，第一多层感知机模块用来将输入的人体姿态特征转化为第一3d人体姿态预测结果，第二多层感知机模块用来将输入的人体姿态特征转化为3d人体姿态边长，第三多层感知机模块用来将输入的人体姿态特征转化为3d人体姿态边角度，将3d人体姿态边长与3d人体姿态边角度对应相乘得到3d人体姿态边向量后，按照3d人体姿态边向量的索引依次将相邻的两个3d人体姿态边向量相连，得到第二3d人体姿态预测结果，将第一3d人体姿态预测结果和第二3d人体姿态预测结果加权平均后，得到最终的3d人体姿态预测结果。
8、在上述方案基础上，各步骤可以采用如下优选的具体方式实现。
9、作为优选，步骤s1中得到人体关键点的二维坐标位置具体过程为：将所述rgb图像送入骨干网络，以提取图像特征，然后将提取到的图像特征送入目标检测网络，得到人体目标检测框，再将人体目标检测框内的图像特征输入所述2d人体姿态预测网络，经过计算得到2d人体姿态为图像坐标系下的人体关键点的二维坐标位置。
10、作为优选，步骤s1中，所述2d人体姿态预测网络采用cpn模型。
11、作为优选，步骤s1中，人体关键点总共有17个，包括：臀部、右臀部、右膝盖、右脚踝、左臀部、左膝盖、左脚踝、脊柱、胸部、颈部、头部、左肩、左手肘、左手腕、右肩、右手肘和右手腕。
12、作为优选，步骤s2中，所述3d人体姿态预测网络在训练时的总损失包含3类损失，分别为mpjpe损失lm、3d人体姿态边角度损失ld以及3d人体姿态边长损失ll，所述总损失的函数形式为：
13、l＝lm+γ0ld+γ1ll
14、
15、其中，γ0和γ1均为用于调节损失比例的超参数；为第i′个人体关键点的三维人体姿态预测值，为第i′个人体关键点的真实三维人体姿态数据；i′表示人体关键点索引；为第i个边的三维人体姿态边角度预测值；为第i个边的真实三维人体姿态边角度；为第i个边的三维人体姿态边长度预测值；为第i个边的三维人体姿态边长度真实值。
16、作为优选，步骤s2中，所述3d人体姿态预测网络在训练时，采用adamw优化器对所述3d人体姿态预测网络参数进行优化。
17、作为优选，步骤s2中，所述升维网络由一层线性层实现。
18、作为优选，步骤s2中，使用适应性融合模块进行加权融合的计算过程如下：
19、
20、式中，fn表示第n个特征提取模块的输出；和分别为一个支路提取到的特征；ω1和ω2均表示每个支路的特征的融合权重。
21、作为优选，每个支路的特征的融合权重的计算过程如下：
22、
23、式中，w为适应性融合模块的参数矩阵。
24、第二方面，本发明提供了一种多表征融合的3d人体姿态估计系统，包括：
25、数据获取模块，用于获取带有人体对象的rgb图像，将rgb图像送入预训练的2d人体姿态预测网络中，得到人体关键点的二维坐标位置；
26、结果获取模块，用于将人体关键点的二维坐标位置输入到经过训练的3d人体姿态预测网络中，首先由升维网络对人体关键点的二维坐标位置进行处理，得到初始特征，将初始特征与可学习的空间位置嵌入向量相加，得到人体姿态输入序列，将人体姿态输入序列依次经过n个特征提取模块中，得到人体姿态特征，将人体姿态特征输入到多表征融合的预测头中，得到最终的3d人体姿态预测结果；
27、3d人体姿态预测网络的每个特征提取模块均使用两个并行的支路来提取特征，一条支路使用空间多头自注意力机制以及时间多头自注意力机制来提取特征，另一条支路使用空间图卷积以及时间图卷积来提取特征，最后使用适应性融合模块对两个并行的支路提取到的特征进行加权融合；
28、3d人体姿态预测网络的预测头包含三个并行的多层感知机模块，第一多层感知机模块用来将输入的人体姿态特征转化为第一3d人体姿态预测结果，第二多层感知机模块用来将输入的人体姿态特征转化为3d人体姿态边长，第三多层感知机模块用来将输入的人体姿态特征转化为3d人体姿态边角度，将3d人体姿态边长与3d人体姿态边角度对应相乘得到3d人体姿态边向量后，按照3d人体姿态边向量的索引依次将相邻的两个3d人体姿态边向量相连，得到第二3d人体姿态预测结果，将第一3d人体姿态预测结果和第二3d人体姿态预测结果加权平均后，得到最终的3d人体姿态预测结果。
29、本发明相对于现有技术而言，具有以下有益效果：
30、本发明提出了一种多表征融合的3d人体姿态估计方法及系统，使用多表征融合的方法，让3d人体姿态估计的预测过程更加合理和鲁棒。本发明的方法在预测过程中，不仅预测了3d人体姿态预测结果(人体关键点的坐标)，还预测了3d人体姿态边角度和3d人体姿态边长度，并同时对三个预测值进行监督，使3d人体姿态预测网络能够学习到3d人体姿态的不同表征，提高的预测的鲁棒性和准确性，在工业界具有良好的应用价值。
1.一种多表征融合的3d人体姿态估计方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种多表征融合的3d人体姿态估计方法，其特征在于，步骤s1中得到人体关键点的二维坐标位置具体过程为：将所述rgb图像送入骨干网络，以提取图像特征，然后将提取到的图像特征送入目标检测网络，得到人体目标检测框，再将人体目标检测框内的图像特征输入所述2d人体姿态预测网络，经过计算得到2d人体姿态为图像坐标系下的人体关键点的二维坐标位置。
3.如权利要求1所述的一种多表征融合的3d人体姿态估计方法，其特征在于，步骤s1中，所述2d人体姿态预测网络采用cpn模型。
4.如权利要求1所述的一种多表征融合的3d人体姿态估计方法，其特征在于，步骤s1中，人体关键点总共有17个，包括：臀部、右臀部、右膝盖、右脚踝、左臀部、左膝盖、左脚踝、脊柱、胸部、颈部、头部、左肩、左手肘、左手腕、右肩、右手肘和右手腕。
5.如权利要求4所述的一种多表征融合的3d人体姿态估计方法，其特征在于，步骤s2中，所述3d人体姿态预测网络在训练时的总损失包含3类损失，分别为mpjpe损失lm、3d人体姿态边角度损失ld以及3d人体姿态边长损失ll，所述总损失的函数形式为：
6.如权利要求1所述的一种多表征融合的3d人体姿态估计方法，其特征在于，步骤s2中，所述3d人体姿态预测网络在训练时，采用adamw优化器对所述3d人体姿态预测网络参数进行优化。
7.如权利要求1所述的一种多表征融合的3d人体姿态估计方法，其特征在于，步骤s2中，所述升维网络由一层线性层实现。
8.如权利要求1所述的一种多表征融合的3d人体姿态估计方法，其特征在于，步骤s2中，使用适应性融合模块进行加权融合的计算过程如下：
9.如权利要求8所述的一种多表征融合的3d人体姿态估计方法，其特征在于，每个支路的特征的融合权重的计算过程如下：
10.一种多表征融合的3d人体姿态估计系统，其特征在于，包括：
