本公开的实施例涉及计算机，具体涉及人形机器人抬脚移动训练方法、装置、电子设备和介质。
背景技术：
1、人形机器人是一种模仿人类结构，以完成与人类相似的运动行为的机器人。人形机器人具有复杂的腿部关节结构，可以获得更高的灵活度和环境适应性，实现在各种复杂环境下的平稳行走。随着计算机技术的迅速发展，基于人形机器人的抬脚移动训练越来越受到人们的重视。对于机器人足部离地移动的训练，通常采用的方式为：构建人形机器人的运动参考轨迹和步态库。然后，利用运动参考轨迹和步态库作为步态先验引导策略网络模仿学习相似步态，以完成人形机器人的抬脚移动训练。
2、然而，实践中发现，当采用上述方式对人形机器人的足部抬离移动进行训练时，经常会存在如下技术问题一：由于需要收集运动参考轨迹和步态库，增加了额外数据收集成本和存储计算资源的浪费，以及利用运动参考轨迹和步态库的策略模型是针对特定环境学习特定步态，对人形机器人的环境适应性较差，导致控制人形机器人的移动稳定性较差，人形机器人的损坏率较高。
3、该背景技术部分中所公开的以上信息仅用于增强对本公开构思的背景的理解，并因此，其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
2、本公开的一些实施例提出了人形机器人抬脚移动训练方法、装置、电子设备和介质，来解决以上背景技术部分提到的技术问题中的一项或多项。
3、第一方面，本公开的一些实施例提供了一种人形机器人抬脚移动训练方法，包括：获取人形机器人的当前观测样本信息，其中，上述人形机器人为具有木屐型脚掌的双足人形机器人，上述当前观测样本信息包括以下至少一项：人形机器人的关节位置、关节速度、关节角度、双足所受地面耦合压力信息；生成针对上述人形机器人的模拟高程地形信息；将上述当前观测样本信息输入至电机位置控制网络包括的动作网络，得到动作概率分布数值集；将上述当前观测样本信息输入至电机位置控制网络包括的策略网络，得到上述动作概率分布数值集对应的动作评估价值集；根据上述动作概率分布数值集和上述动作评估价值集，生成上述人形机器人的目标关节位置集；将上述目标关节位置集输入至关节响应控制器，以生成针对上述人形机器人的关节力矩集；根据上述关节力矩集，控制上述人形机器人在上述模拟高程地形信息对应的模拟高程地形上进行足部抬离移动训练；响应于确定上述动作概率分布数值集和上述动作评估价值集满足预设损失条件，结束对上述电机位置控制网络的训练。
4、第二方面，本公开的一些实施例提供了一种人形机器人抬脚移动训练装置，包括：获取单元，被配置成获取人形机器人的当前观测样本信息，其中，上述人形机器人为具有木屐型脚掌的双足人形机器人，上述当前观测样本信息包括以下至少一项：人形机器人的关节位置、关节速度、关节角度、双足所受地面耦合压力信息；第一生成单元，被配置成生成针对上述人形机器人的模拟高程地形信息；第一输入单元，被配置成将上述当前观测样本信息输入至电机位置控制网络包括的动作网络，得到动作概率分布数值集；第二输入单元，被配置成将上述当前观测样本信息输入至电机位置控制网络包括的策略网络，得到上述动作概率分布数值集对应的动作评估价值集；第二生成单元，被配置成根据上述动作概率分布数值集和上述动作评估价值集，生成上述人形机器人的目标关节位置集；第三输入单元，被配置成将上述目标关节位置集输入至关节响应控制器，以生成针对上述人形机器人的关节力矩集；控制单元，被配置成根据上述关节力矩集，控制上述人形机器人在上述模拟高程地形信息对应的模拟高程地形上进行足部抬离移动训练；结束单元，被配置成响应于确定上述动作概率分布数值集和上述动作评估价值集满足预设损失条件，结束对上述电机位置控制网络的训练。
5、第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
6、第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
7、本公开的上述各个实施例中具有如下有益效果：本公开的一些实施例的人形机器人抬脚移动训练方法通过电机位置控制网络和关节响应控制器，控制人形机器人在粗糙地面进行抬脚训练，可以提高人形机器人的移动稳定性、电机位置控制网络的性能和泛化能力。具体来说，造成相关的控制人形机器人的移动稳定性较差，人形机器人的损坏率较高的原因在于：由于需要收集运动参考轨迹和步态库，增加了额外数据收集成本和存储计算资源的浪费，以及利用运动参考轨迹和步态库的策略模型是针对特定环境学习特定步态，对人形机器人的环境适应性较差，导致控制人形机器人的移动稳定性较差，人形机器人的损坏率较高。基于此，本公开的一些实施例的人形机器人抬脚移动训练方法可以首先，获取人形机器人的当前观测样本信息，其中，上述人形机器人为具有木屐型脚掌的双足人形机器人，上述当前观测样本信息包括以下至少一项：人形机器人的关节位置、关节速度、关节角度、双足所受地面耦合压力信息。在这里，当前观测样本信息用于后续模型高程地形信息的生成和人形机器人的足部抬离地面的移动控制的训练。其次，生成针对上述人形机器人的模拟高程地形信息。在这里，模拟高程地形信息可以表征用于人形机器人移动的任意环境信息，可以提高人形机器人对各种环境的适应性。随后，将上述当前观测样本信息输入至电机位置控制网络包括的动作网络，得到动作概率分布数值集。在这里，通过电机位置控制网络包括的动作网络对人形机器人的动作进行策略选择，可以去除不必要的运动轨迹参考，提高人形机器人动作选择的决策能力。接着，将上述当前观测样本信息输入至电机位置控制网络包括的策略网络，得到上述动作概率分布数值集对应的动作评估价值集。在这里，电机位置控制网络包括的策略网络对人形机器人所选动作的累计回报进行评估，可以提高人形机器人的动作选择的准确性，实现人形机器人在行走过程中的双足的交替支撑和足端抬离地面的移动训练，提高人形机器人的稳步移动。随后，根据上述动作概率分布数值集和上述动作评估价值集，生成上述人形机器人的目标关节位置集。在这里，通过动作概率分布数值集和动作评估价值集，以确定动作的累计回报值最高的动作，可以提高电机位置控制网络的准确度和人形机器人执行动作的稳定性。然后，将上述目标关节位置集输入至关节响应控制器，以生成针对上述人形机器人的关节力矩集。在这里，通过关节响应控制器，可以对人形机器人进行精准跟踪、高精度定位和实现实时动态响应，提高人形机器人的控制稳定性。之后，根据上述关节力矩集，控制上述人形机器人在上述模拟高程地形信息对应的模拟高程地形上进行足部抬离移动训练。在这里，可以避免人形机器人通过滑动摩擦进行移动训练，实现机器人产生抬脚动作。最后，响应于确定上述动作概率分布数值集和上述动作评估价值集满足预设损失条件，结束对上述电机位置控制网络的训练。在这里，通过动作概率分布数值集和动作评价价值集对电机位置控制网络进行迭代循环训练，可以提高电机位置控制网络针对人形机器人的足部抬离训练场景下的精准性。由此可得，该人形机器人抬脚移动训练方法通过电机位置控制网络和关节响应控制器，控制人形机器人在粗糙地面进行抬脚移动训练，可以提高人形机器人的移动稳定性，电机位置控制网络的性能和泛化能力。
1.一种人形机器人抬脚移动训练方法，包括：
2.根据权利要求1所述的方法，其中，所述方法还包括：
3.根据权利要求1所述的方法，其中，所述动作网络包括：动作输入层、注意力机制层、第一动作隐藏层、第二动作隐藏层、第三动作隐藏层和动作输出层；以及
4.根据权利要求1所述的方法，其中，所述策略网络包括：价值输入层、长短期记忆神经网络、第一价值隐藏层、第二价值隐藏层、第三价值隐藏层和价值输出层；以及
5.根据权利要求1所述的方法，其中，所述人形机器人包括：大腿、小腿和足部，其中：
6.根据权利要求1所述的方法，其中，所述生成针对所述人形机器人的模拟高程地形信息，包括：
7.一种人形机器人抬脚移动训练装置，包括：
8.一种电子设备，包括：
9.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的方法。
