用于虚拟表示的并发人类身体姿态估计的制作方法

专利2025-11-18  1



背景技术:

1、关于人类用户的“姿态”(例如,用户的身体部分中的一个或多个身体部分的位置)的信息可以被映射到渲染用于显示的虚拟铰接表示(virtual articulatedrepresentation)上。例如,当人类用户作为虚拟现实体验的一部分而参与到虚拟环境中时,他们在虚拟环境内的表示可以利用与用户的真实世界姿态相似出现的姿态进行渲染。用户的真实世界姿态可以通过先前经训练的模型(诸如神经网络)转换为虚拟铰接表示的姿态,所述先前经训练的模型能够被训练为输出针对最终渲染用于显示的相同虚拟铰接表示的姿态。

2、然而,在一些情况下,可能期望显示与针对其的模型具有标注了基础事实标签(ground truth label)的训练数据的表示不同的人类用户的表示。例如,不同的用户可以选取在虚拟环境中利用不同的虚拟表示来表示,这些虚拟表示具有与训练表示不同的比例和/或不同数量的关节(例如,用户可以在视频游戏中通过具有不同身体比例、骨骼和/或其他方面的不同卡通人物来表示)。

3、这种情况能够通过使用模型首先输出针对训练表示的姿态、然后将所述姿态转移到显示表示来处理。然而,这会导致对用户的真实世界姿态的不够准确的再现,和/或由于需要对显示表示执行额外的优化步骤,而增加了输出姿态所需的计算负担。


技术实现思路

1、提供本概要以便以简化的形式介绍一些概念,这些概念将在下文的详细说明中进一步描述。本概要并非旨在标识所要求主题的关键特征或必要特征,也并不旨在用于限制所要求保护的主题的范围。此外,所要求保护的主题并不限于解决在本公开的任何部分中所指出的任何或所有缺点的实施方案。

2、一种用于虚拟表示人类身体姿态的方法,包括:接收定位数据,所述定位数据至少部分基于来自一个或多个传感器的输入来详细描述针对人类用户的一个或多个身体部分的参数。维护一个或多个映射约束,所述一个或多个映射约束将模型铰接表示与目标铰接表示相关联。至少部分基于所述定位数据和所述一个或多个映射约束,同时估计所述模型铰接表示的模型姿态和所述目标铰接表示的目标姿态。先前经训练的姿态优化机器利用具有针对模型铰接表示的基础事实标签的训练定位数据进行训练。输出所述目标铰接表示,以便与目标姿态一起显示为人类用户的虚拟表示。



技术特征:

1.一种用于虚拟表示人类身体姿态的方法,所述方法包括:

2.根据权利要求1所述的方法,其中,所述训练定位数据不具有针对所述目标铰接表示的基础事实标签。

3.根据权利要求1所述的方法,其中,所述一个或多个映射约束包括关节映射约束,针对所述目标铰接表示的关节,所述关节映射约束指定所述模型铰接表示中的一个或多个关节的集合。

4.根据权利要求3所述的方法,其中,所述关节映射约束进一步针对所述模型铰接表示中的所述一个或多个关节中的每个关节来指定映射到所述目标铰接表示的关节的权重。

5.根据权利要求1所述的方法,其中,所述一个或多个映射约束包括根相对对应约束,所述根相对对应约束指定:所述模型铰接表示的模型关节相对于所述模型姿态中的所述模型铰接表示的根的旋转与所述目标铰接表示的一个或多个对应目标关节相对于所述目标姿态中的所述目标铰接表示的根的旋转至少具有阈值相似性。

6.根据权利要求1所述的方法,其中,所述一个或多个映射约束包括默认姿态变换约束,所述默认姿态变换约束指定要被应用于所述目标铰接表示的一个或多个关节的一个或多个旋转,以匹配所述模型铰接表示的默认姿态。

7.根据权利要求1所述的方法,其中,所述模型姿态和所述目标姿态是至少部分基于一个或多个先前模型姿态和在一个或多个先前时间帧上估计的先前目标姿态而进一步估计的。

8.根据权利要求7所述的方法,其中,所述一个或多个映射约束包括姿态连续性约束,所述姿态连续性约束指定针对所述模型铰接表示的一个或多个关节和所述目标铰接表示的一个或多个关节的帧到帧变化限制。

9.根据权利要求1所述的方法,其中,所述模型铰接表示包括与所述目标铰接表示不同数量的关节。

10.根据权利要求1所述的方法,其中,所述定位数据是稀疏定位数据,所述稀疏定位数据包括针对所述人类用户的n个关节的旋转参数;所述姿态优化机器先前被训练以接收针对n+m个关节的旋转参数作为输入,其中,m≥1,并且估计所述模型姿态包括:至少基于针对所述n个关节的所述旋转参数而不是针对所述m个关节的旋转参数,来估计针对所述模型铰接表示的n+m个模型关节的旋转参数。

11.根据权利要求1所述的方法,其中,所述人类用户的所述一个或多个身体部分包括所述人类用户的头部。

12.根据权利要求11所述的方法,其中,所述人类用户的所述一个或多个身体部分包括所述人类用户的一只或两只手。

13.根据权利要求1所述的方法,其中,所述一个或多个传感器包括相机,所述相机被配置为对所述人类用户的至少一个身体部分进行成像。

14.根据权利要求1所述的方法,其中,所述一个或多个传感器包括一个或多个位置传感器,所述一个或多个位置传感器被配置为由所述人类用户的至少一个身体部分持有或佩戴。

15.一种计算系统,包括:


技术总结
一种用于虚拟表示人类身体姿态的方法,包括:接收定位数据,所述定位数据至少部分基于来自一个或多个传感器的输入,详细说明人类用户的一个或多个身体部分的参数。维护一个或多个映射约束,所述一个或多个映射约束将模型铰接表示关联到目标铰接表示。至少部分基于所述定位数据和所述一个或多个映射约束,同时估计所述模型铰接表示的模型姿态和所述目标铰接表示的目标姿态。先前经训练的姿态优化机器是利用具有针对所述模型铰接表示的基础事实标签的训练定位数据来训练的。输出所述目标铰接表示,以与所述目标姿态作为所述人类用户的虚拟表示以供显示。

技术研发人员:T·J·卡什曼,E·W·伍德,F·博戈,S·加利奇,P·J·卡梅伦
受保护的技术使用者:微软技术许可有限责任公司
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-27982.html