本公开涉及扩展现实设备，具体涉及一种标定方法、标定系统、电子设备、计算机可读存储介质以及计算机程序产品。
背景技术：
1、随着科学技术的发展，对虚拟现实设备、增强现实设备、混合现实设备等扩展现实设备的性能提出了更高的要求。
2、以头戴式显示器（head-mounted display，hmd）为例，扩展现实设备需要实时响应用户的头部运动，尽管用户的头部运动可以通过多种传感器进行测量，但是受传输和计算等时间的限制，hmd并不能立即把相应画面显示给用户，这会产生画面延时。该延时会造成视觉运动感知与前庭运动感知的差异，不仅会降低扩展现实设备的临场感，还会加重大脑负担并引起眩晕与恶心。mtp（motion-to-photon）延时可包括从用户运动开始到相应画面显示到屏幕上所花的时间，其表征了用户在诸如hmd等扩展现实设备中看到的图像与用户头部运动之间的延迟时间，可量化表示视觉观测与用户头部运动的匹配程度。因而，对于用户而言，mtp延时越小，用户的沉浸感越好；mtp延时越大，用户的眩晕感越强。
3、考虑到人体头部运动多为连续的三维（三轴）复合运动，因而对于支持运动预测算法的扩展显示设备来说，分析连续的三维复合运动中的延迟变化是评价其运动预测算法的关键指标，而为了比较真实世界和虚拟世界的运动姿态变化，需要将这两种运动姿态变化统一在相同的坐标系下。
4、真实世界的运动变化以运动组件为参考坐标系，虚拟世界的运动变化以相机组件为参考坐标系，因此需要对相机组件和运动组件进行坐标系转换的标定，也就是手眼标定。
5、因而，如何将运动组件和视觉组件的运动信息统一在相同的坐标系下，为在连续的三维复合运动中测量扩展现实设备的延迟提供坐标系基准，成为扩展现实设备技术领域的研究热点之一。
技术实现思路
1、本公开实施例提出了一种标定方法、标定系统、电子设备、计算机可读存储介质以及计算机程序产品，为在连续的三维复合运动中测量扩展现实设备的延迟提供坐标系基准。
2、第一方面，本公开实施方式提出了一种标定系统，该系统包括：运动组件，与扩展现实设备固定连接，并带动扩展现实设备同步运动；相机组件，与扩展现实设备固定连接，并在同步运动的过程中，采集经由扩展现实设备显示的标板的多个图像；以及处理组件，基于多个图像以及运动组件的运动位姿序列，标定相机组件的外参。
3、在本公开的一些实施方式中，处理组件包括：第一转换单元，基于多个图像，提取标板的特征点的像素坐标；第二转换单元，根据预设的特征点之间的空间几何约束关系，将像素坐标转换为视觉位姿序列；以及标定单元，基于视觉位姿序列和运动位姿序列，标定相机组件的外参。
4、在本公开的一些实施方式中，标定单元包括：线性变换子单元，通过直接线性变换方法，基于视觉位姿序列和运动位姿序列，获取相机组件的外参的初始值；以及非线性变换子单元，通过非线性变换方法，基于最小化重投影误差对相机组件的外参的初始值进行优化，获取相机组件的外参。
5、在本公开的一些实施方式中，视觉位姿序列包括依照时间顺序排布的多个第一时间-位姿信息，第一时间-位姿信息包括第一时间信息以及与第一时间信息对应的第一姿态角，其中第一姿态角包括第一翻滚角、第一偏航角和第一俯仰角；以及运动位姿序列包括依照时间顺序排布的多个第二时间-位姿信息，第二时间-位姿信息包括第二时间信息以及与第二时间信息对应的第二姿态角，其中第二姿态角包括第二翻滚角、第二偏航角和第二俯仰角。
6、在本公开的一些实施方式中，标定系统还包括：时间组件，包括时钟源，其中时钟源用于在同步运动之前以及同步运动的过程中，对运动组件和相机组件进行时间同步。
7、在本公开的一些实施方式中，相机组件在同步运动的过程中，在扩展现实设备经过路点的时刻，采集经由扩展现实设备显示的标板的图像。
8、在本公开的一些实施方式中，相机组件在同步运动的过程中，连续采集经由扩展现实设备显示的标板的图像。
9、在本公开的一些实施方式中，处理组件还包括：时间修正单元，对视觉位姿序列进行时间修正。
10、在本公开的一些实施方式中，时间修正单元包括：角速度计算子单元，基于运动位姿序列确定第一角速度，并基于视觉位姿序列确定第二角速度；互相关子单元，基于互相关方法，对齐第一角速度和第二角速度，以确定视觉位姿序列的时间偏置；以及修正子单元，基于时间偏置，对视觉位姿序列进行时间修正。
11、在本公开的一些实施方式中，时间修正单元还包括：插值子单元，在确定第二角速度之前，对视觉位姿序列进行插值处理，使运动位姿序列和视觉位姿序列的采样频率相同。
12、在本公开的一些实施方式中，时间修正单元还包括：滤波子单元，在对视觉位姿序列进行插值处理之前，对视觉位姿序列进行滤波处理。
13、在本公开的一些实施方式中，处理组件还包括：图像处理单元，在基于多个图像，提取标板的特征点的像素坐标之前，对多个图像进行处理，处理包括降采样处理以及高斯模糊处理中的至少之一。
14、在本公开的一些实施方式中，标板为虚拟标板，其中虚拟标板包括视觉基准库中的视觉标记标定板。
15、在本公开的一些实施方式中，处理组件还包括：调整单元，调整相机组件与扩展现实设备之间的位置关系，以使标板中指定的多个特征点示出在多个图像中。
16、第二方面，本公开实施方式提出了一种标定方法，标定方法包括：获取运动组件的运动位姿序列，其中运动组件与扩展现实设备固定连接，并带动扩展现实设备同步运动；利用与扩展现实设备固定连接的相机组件，在同步运动的过程中，采集经由扩展现实设备显示的标板的多个图像；以及基于多个图像以及运动组件的运动位姿序列，标定相机组件的外参。
17、在本公开的一些实施方式中，基于多个图像以及运动组件的运动位姿序列，标定相机组件的外参包括：基于多个图像，提取标板的特征点的像素坐标；根据预设的特征点之间的空间几何约束关系，将像素坐标转换为视觉位姿序列；以及基于视觉位姿序列和运动位姿序列，标定相机组件的外参。
18、在本公开的一些实施方式中，基于视觉位姿序列和运动位姿序列，标定相机组件的外参包括：通过直接线性变换方法，基于视觉位姿序列和运动位姿序列，获取相机组件的外参的初始值；以及通过非线性变换方法，基于最小化重投影误差对相机组件的外参的初始值进行优化，获取相机组件的外参。
19、在本公开的一些实施方式中，视觉位姿序列包括依照时间顺序排布的多个第一时间-位姿信息，第一时间-位姿信息包括第一时间信息以及与第一时间信息对应的第一姿态角，其中第一姿态角包括第一翻滚角、第一偏航角和第一俯仰角；以及运动位姿序列包括依照时间顺序排布的多个第二时间-位姿信息，第二时间-位姿信息包括第二时间信息以及与第二时间信息对应的第二姿态角，其中第二姿态角包括第二翻滚角、第二偏航角和第二俯仰角。
20、在本公开的一些实施方式中，标定方法还包括：利用时钟源，在同步运动之前以及同步运动的过程中，对运动组件和相机组件进行时间同步。
21、在本公开的一些实施方式中，在同步运动的过程中，采集经由扩展现实设备显示的标板的多个图像包括：相机组件在同步运动的过程中，在扩展现实设备经过路点的时刻，采集经由扩展现实设备显示的标板的图像。
22、在本公开的一些实施方式中，在同步运动的过程中，采集经由扩展现实设备显示的标板的多个图像包括：相机组件在同步运动的过程中，连续采集经由扩展现实设备显示的标板的图像。
23、在本公开的一些实施方式中，标定方法还包括：对视觉位姿序列进行时间修正。
24、在本公开的一些实施方式中，对视觉位姿序列进行时间修正包括：
25、基于运动位姿序列确定第一角速度，并基于视觉位姿序列确定第二角速度；基于互相关方法，对齐第一角速度和第二角速度，以确定视觉位姿序列的时间偏置；以及基于时间偏置，对视觉位姿序列进行时间修正。
26、在本公开的一些实施方式中，对视觉位姿序列进行时间修正还包括：在确定第二角速度之前，对视觉位姿序列进行插值处理，使运动位姿序列和视觉位姿序列的采样频率相同。
27、在本公开的一些实施方式中，对视觉位姿序列进行时间修正还包括：在对视觉位姿序列进行插值处理之前，对视觉位姿序列进行滤波处理。
28、在本公开的一些实施方式中，标定方法还包括：在基于多个图像，提取标板的特征点的像素坐标之前，对多个图像进行处理，处理包括降采样处理以及高斯模糊处理中的至少之一。
29、在本公开的一些实施方式中，标板为虚拟标板，其中虚拟标板包括视觉基准库中的视觉标记标定板。
30、在本公开的一些实施方式中，标定方法还包括：在采集经由扩展现实设备显示的标板的多个图像之前，调整相机组件与扩展现实设备之间的位置关系，以使标板中指定的多个特征点示出在多个图像中。
31、第三方面，本公开实施例提供了一种电子设备，该电子设备包括：至少一个处理器；与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，该指令被至少一个处理器执行，以使至少一个处理器执行时能够实现如第二方面中任一实现方式描述的标定方法。
32、第四方面，本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行时能够实现如第二方面中任一实现方式描述的标定方法。
33、第五方面，本公开实施例提供了一种包括计算机程序的计算机程序产品，该计算机程序在被处理器执行时能够实现如第二方面中任一实现方式描述的标定方法。
34、应当理解，本部分所描述的内容并非旨在标识本公开的实施方式的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过下文中的描述而变得容易理解。
1.一种标定系统，其特征在于，包括：
2.根据权利要求1所述的系统，其中，所述处理组件包括：
3.根据权利要求2所述的系统，其中，所述标定单元包括：
4.根据权利要求2所述的系统，其中，所述视觉位姿序列包括依照时间顺序排布的多个第一时间-位姿信息，所述第一时间-位姿信息包括第一时间信息以及与所述第一时间信息对应的第一姿态角，其中所述第一姿态角包括第一翻滚角、第一偏航角和第一俯仰角；以及
5.根据权利要求1所述的系统，其中，所述系统还包括：
6.根据权利要求1所述的系统，其中，所述相机组件在所述同步运动的过程中，在所述扩展现实设备经过路点的时刻，采集经由所述扩展现实设备显示的标板的图像。
7.根据权利要求2所述的系统，其中，所述相机组件在所述同步运动的过程中，连续采集经由所述扩展现实设备显示的标板的图像。
8.根据权利要求7所述的系统，其中，所述处理组件还包括：
9.根据权利要求8所述的系统，其中，所述时间修正单元包括：
10.根据权利要求9所述的系统，其中，所述时间修正单元还包括：
11.根据权利要求9所述的系统，其中，所述时间修正单元还包括：
12.根据权利要求2所述的系统，其中，所述处理组件还包括：
13.根据权利要求1所述的系统，其中，所述标板为虚拟标板，其中所述虚拟标板包括视觉基准库中的视觉标记标定板。
14.根据权利要求1所述的系统，其中，所述处理组件还包括：
15.一种标定方法，其特征在于，包括：
16.根据权利要求15所述的标定方法，其中，基于所述多个图像以及所述运动组件的运动位姿序列，标定所述相机组件的外参包括：
17.根据权利要求16所述的标定方法，其中，基于所述视觉位姿序列和所述运动位姿序列，标定所述相机组件的外参包括：
18.根据权利要求16所述的标定方法，其中，所述视觉位姿序列包括依照时间顺序排布的多个第一时间-位姿信息，所述第一时间-位姿信息包括第一时间信息以及与所述第一时间信息对应的第一姿态角，其中所述第一姿态角包括第一翻滚角、第一偏航角和第一俯仰角；以及
19.根据权利要求15所述的标定方法，其中，所述标定方法还包括：
20.根据权利要求15所述的标定方法，其中，在所述同步运动的过程中，采集经由所述扩展现实设备显示的标板的多个图像包括：
21.根据权利要求16所述的标定方法，其中，在所述同步运动的过程中，采集经由所述扩展现实设备显示的标板的多个图像包括：
22.根据权利要求21所述的标定方法，其中，所述标定方法还包括：对所述视觉位姿序列进行时间修正。
23.根据权利要求22所述的标定方法，其中，对所述视觉位姿序列进行时间修正包括：
24.根据权利要求23所述的标定方法，其中，对所述视觉位姿序列进行时间修正还包括：
25.根据权利要求23所述的标定方法，其中，对所述视觉位姿序列进行时间修正还包括：
26.根据权利要求16所述的标定方法，其中，所述标定方法还包括：在基于所述多个图像，提取所述标板的特征点的像素坐标之前，对所述多个图像进行处理，所述处理包括降采样处理以及高斯模糊处理中的至少之一。
27.根据权利要求15所述的标定方法，其中，所述标板为虚拟标板，其中所述虚拟标板包括视觉基准库中的视觉标记标定板。
28.根据权利要求15所述的标定方法，其中，所述标定方法还包括：
29.一种电子设备，其特征在于，包括：
30.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机指令用于使所述计算机执行权利要求15-28中任一项所述的标定方法。
31.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现根据权利要求15-28中任一项所述的标定方法。
