本发明涉及飞行器位姿及三维重建，特别涉及一种无先验模型信息的实时位姿估计和神经重建方法。
背景技术：
1、位姿估计和三维重建在空间碎片移除，编队飞行和在轨交会任务中至关重要。然而，已公开的相关方法通常假设已知的目标cad模型或简化线框模型并定义参考系作为先验，测试时，将该参考模型或图像与采集到的数据帧进行对齐求解位姿。然而，在实际太空场景中，预先获得每一个目标的模型先验是繁琐和不切实际的。因此，如何在没有物体先验信息的情况下，准确实时对目标进行位姿估计和三维重建是一个有待解决的问题。
2、背景技术部分中公开的上述信息仅仅用于增强对本发明背景的理解，因此可能包含不构成本领域普通技术人员公知的现有技术的信息。
技术实现思路
1、本发明提供一种无先验模型信息的实时位姿估计和神经重建方法，能够在无先验信息和显著领域差距的情况下实现对目标的实时位姿估计和三维重建。
2、一种无先验模型信息的实时位姿估计和神经重建方法包括：
3、步骤s1，采集飞行器数据流，包括来自相机和深度传感器的rgb图像数据和深度数据，其中，
4、步骤s1.1中，利用loftr算法得到飞行器数据流中图像的图像帧与上一帧间的匹配点对；
5、步骤s1.2中，利用迭代最近点算法求解所述帧的粗位姿参数；
6、步骤s1.3中，利用多个帧的粗位姿参数和匹配点对构建并优化位姿图，获得细位姿参数；
7、步骤s1.4中，获得细位姿参数的帧放入内存池中以进行通信；
8、步骤s2中，利用内存池中的帧数据进行在线神经隐式重建飞行器模型；
9、步骤s3，求解目标本体坐标系，其中，
10、步骤s3.1中，将多个内存池中的帧按照对应的位姿参数合并为完整的点云；
11、步骤s3.2中，利用神经网络求解目标本体坐标系；
12、步骤s4中，将步骤s1得到的细位姿参数和和步骤s2中重建飞行器模型的参考坐标系修正为目标本体坐标系。
13、所述的一种无先验模型信息的实时位姿估计和神经重建方法中，步骤s1中，步骤s1、s2和s3是并行运行的并使用cuda加速计算，其中，步骤s1处理数据流的每一帧，步骤s2每隔一段时间进行一次在线神经隐式重建飞行器模型，步骤s3求解目标本体坐标系全局只执行一次。
14、所述的一种无先验模型信息的实时位姿估计和神经重建方法中，步骤s1.2中，利用所述匹配点对降低迭代最近点算法的非线性，迭代最近点算法的公式如下，通过最大化当前点云{pt}和上一帧点云{ps}之间的对齐程度求解位姿，
15、
16、其中，为粗位姿参数，分别表示粗位姿参数中的旋转和平移部分，和表示待优化位姿参数的旋转和平移部分，和表示当前点云和上一帧点云的第个匹配点。
17、所述的一种无先验模型信息的实时位姿估计和神经重建方法中，步骤s1.3中，构建位姿图，其中位姿图的顶点由选定的个内存池中的帧的细位姿参数和当前帧的粗细位姿参数组成，，其中，位姿图的边通过顶点之间成对匹配的点对形成，，其中表示关键点之间的匹配关系，表示具有匹配关系的顶点对的索引，表示顶点对之间匹配关系的索引，所述位姿图以当前帧的粗位姿参数为初始值，通过最小化点对之间的欧氏距离和法线向量角度误差为目标函数，优化求解得出细位姿参数，其中点对之间的欧氏距离误差定义为下式：
18、，
19、其中，表示顶点集合中的第和第帧，表示huber鲁棒核函数，该损失衡量3d特征对应点和的距离，
20、法线向量角度误差定义为下式：，
21、其中，表示与点对应的单位法向量，表示计算两个向量之间的夹角，系数表示标量因子，设置为以保持与相同的数量级，该损失衡量对应点的法线向量角度误差。
22、所述的一种无先验模型信息的实时位姿估计和神经重建方法中，步骤s2中，几何函数接受点云的3d点坐标作为输入，并输出符号距离值，外观函数接受几何网络中间特征向量、点法线和射线方向作为输入，并输出颜色，最小化一元损失函数、和目标函数，一元损失函数测量当前帧点云与神经隐式形状之间的逐点距离:
23、，
24、表示在每个查询点处预测的欧氏距离与地面真实距离到物体表面之间的l1误差：
25、，
26、其中，表示地面真实的距离标签，表示在每个查询点处预测的rgb颜色与标记颜色之间的l2误差
27、。
28、所述的一种无先验模型信息的实时位姿估计和神经重建方法中，步骤s2中，执行神经隐式神经网络的在线训练，其使用内存池中最近的一部分进行训练，在学习几何函数和外观函数的同时还优化参考帧的位姿参数，优化后的位姿参数辅助后续的在线位姿图优化。
29、所述的一种无先验模型信息的实时位姿估计和神经重建方法中，步骤s3.2中，通过神经网络预测目标的本体参考坐标系，其中，采用分而治之的训练策略，合并后的飞行器点云先被分类，然后使用对应的专家回归模型预测其坐标系修正值，训练集来自于共200种历史发射的真实飞行器模型的点云数据，每种飞行器模型的点云使用随机旋转，随机点扰动和随机点裁剪增强至1000个，根据设计知识和物理意义定义了飞行器点云的分类标签。
30、所述的一种无先验模型信息的实时位姿估计和神经重建方法中，步骤s3.2中，所述神经网络包括编码器，分类解码器和回归解码器，其中，编码器首先使用mlp进行特征嵌入，然后利用pointnet++提出的最远点采样和分组策略提取局部特征，使用自注意力机制提取全局特征，将局部特征和全局特征融合后得到编码特征f，分类器将编码特征f最大池化后通过mlp解码为分类分数，回归器将特征f最大池化后，通过两个mlp分别回归x和y方向向量，然后通过正交化得到参考系修正值。
31、所述的一种无先验模型信息的实时位姿估计和神经重建方法中，步骤s4中，s1和s2步骤处于同一坐标系下，本体参考坐标系被表示为。
32、和现有技术相比，本发明具有以下优点：本发明在不使用目标先验模型的条件下输出了以目标本体坐标系为参考系的位姿参数和重建网格，能够在无先验信息和显著领域差距的情况下实现对目标的实时位姿估计和三维重建。
1.一种无先验模型信息的实时位姿估计和神经重建方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种无先验模型信息的实时位姿估计和神经重建方法，其特征在于，优选的，步骤s1中，步骤s1、s2和s3是并行运行的并使用cuda加速计算，其中，步骤s1处理数据流的每一帧，步骤s2每隔一段时间进行一次在线神经隐式重建飞行器模型，步骤s3求解目标本体坐标系全局只执行一次。
3.根据权利要求1所述的一种无先验模型信息的实时位姿估计和神经重建方法，其特征在于，步骤s1.2中，利用所述匹配点对降低迭代最近点算法的非线性，迭代最近点算法的公式如下，通过最大化当前点云{pt}和上一帧点云{ps}之间的对齐程度求解位姿，
4.根据权利要求1所述的一种无先验模型信息的实时位姿估计和神经重建方法，其特征在于，步骤s1.3中，构建位姿图，其中位姿图的顶点由选定的k个内存池中的帧的细位姿参数和当前帧的粗细位姿参数组成，，其中pool∈[1,k]，位姿图的边通过顶点之间成对匹配的点对形成，，其中表示关键点之间的匹配关系，表示具有匹配关系的顶点对的索引，表示顶点对之间匹配关系的索引，所述位姿图以当前帧的粗位姿参数为初始值，通过最小化点对之间的欧氏距离和法线向量角度误差为目标函数，优化求解得出细位姿参数，其中点对之间的欧氏距离误差定义为下式：
5.根据权利要求1所述的一种无先验模型信息的实时位姿估计和神经重建方法，其特征在于，步骤s2中，几何函数接受点云的3d点坐标作为输入，并输出符号距离值，外观函数接受几何网络中间特征向量、点法线和射线方向作为输入，并输出颜色，最小化一元损失函数、和目标函数，一元损失函数测量当前帧点云与神经隐式形状之间的逐点距离:
6.根据权利要求5所述的一种无先验模型信息的实时位姿估计和神经重建方法，其特征在于，步骤s2中，执行神经隐式神经网络的在线训练，其使用内存池中最近的一部分进行训练，在学习几何函数和外观函数的同时还优化参考帧的位姿参数，优化后的位姿参数辅助后续的在线位姿图优化。
7.根据权利要求1所述的一种无先验模型信息的实时位姿估计和神经重建方法，其特征在于，步骤s3.2中，通过神经网络预测目标的本体参考坐标系，其中，采用分而治之的训练策略，合并后的飞行器点云先被分类，然后使用对应的专家回归模型预测其坐标系修正值，训练集来自于共200种历史发射的真实飞行器模型的点云数据，每种飞行器模型的点云使用随机旋转，随机点扰动和随机点裁剪增强至1000个，根据设计知识和物理意义定义飞行器点云的分类标签。
8.根据权利要求1所述的一种无先验模型信息的实时位姿估计和神经重建方法，其特征在于，步骤s3.2中，所述神经网络包括编码器，分类解码器和回归解码器，其中，编码器首先使用mlp进行特征嵌入，然后利用pointnet++提出的最远点采样和分组策略提取局部特征，使用自注意力机制提取全局特征，将局部特征和全局特征融合后得到编码特征f，分类器将编码特征f最大池化后通过mlp解码为分类分数，回归器将特征f最大池化后，通过两个mlp分别回归x和y方向向量，然后通过正交化得到参考系修正值。
9.根据权利要求1所述的一种无先验模型信息的实时位姿估计和神经重建方法，其特征在于，步骤s4中，s1和s2步骤处于同一坐标系下，本体参考坐标系被表示为。
