本公开涉及一种用于获取深度信息的增强现实装置，更特别地，涉及一种基于重力方向来修改在深度图中的每个像素的深度值的增强现实装置及其操作方法。
背景技术：
1、增强现实是一种可将虚拟图像叠加在现实世界或现实世界对象的物理环境空间上并可将虚拟图像与现实世界对象一起显示的技术。使用增强现实技术的增强现实装置（例如，智能眼镜）在日常生活中得到了有效使用，例如，用于信息检索、方向引导和相机拍摄。作为ar装置的示例，智能眼镜可作为时尚单品佩戴，也可用于户外活动。
2、最近，为了给用户身临其境的感觉，已广泛使用了包括深度传感器的装置，该深度传感器获取指示包括在现实三维空间中的对象的空间感的深度信息。根据相关技术的使用现有深度传感器的深度信息获取技术的示例可包括例如结构光（sl）方法、立体视觉方法、飞行时间（tof）方法等。在深度信息获取技术中，立体视觉方法和tof方法是基于相机的深度估计方法，并且深度值的精度随着远离相机而降低。在具有相对高精度的关于距离的深度值的结构光方法或tof方法中，需要额外的硬件模块（诸如照明器），并且硬件模块会需要功耗和额外费用。
3、此外，由增强现实装置运行的增强现实应用大多需要始终恒定的深度信息，因此功耗增加。由于增强现实装置的特性（即增强现实装置是具有紧凑尺寸规格的便携式装置），发热量和功耗量在很大程度上影响了装置的可使用时间。
技术实现思路
1、提供了一种基于重力方向修改深度值的增强现实装置。
2、根据本公开的一方面，提供了一种增强现实装置，包括：相机；惯性测量单元（imu）传感器，被配置为测量重力方向；存储器，被配置为存储至少一个指令；以及至少一个处理器，被配置为运行至少一个指令，以：从使用相机获得的图像获得深度图，获得包括在深度图中的至少一个像素的法向量，基于由imu传感器测量的重力方向来修改至少一个像素的法向量的方向，基于修改后的法向量的方向来调整至少一个像素的深度值。
3、至少一个处理器还可被配置为：通过基于包括在深度图中的至少一个像素的法向量和至少一个像素的深度值将至少一个像素转换为三维（3d）坐标值，并获得在上方向、下方向、左方向、和/或右方向中的任何一个方向上与至少一个像素相邻的多个相邻像素的3d坐标值的向量叉积，来获得法向量。
4、相机可包括被配置为获得左眼图像的左眼镜头和被配置为获得右眼图像的右眼镜头，其中，至少一个处理器还可被配置为：将左眼图像和右眼图像作为输入应用于人工智能（ai）模型，并通过使用ai模型根据在左眼图像中的像素和右眼图像中的像素之间的强度值的相似度获得视差来获得深度图。
5、至少一个处理器还可被配置为：基于由修改后的法向量定义的平面上的像素的深度值以及与该像素相邻的多个相邻像素的深度值来获得由ai模型获得的深度图的损失，并通过执行可将获得的损失应用于ai模型的训练来调整至少一个像素的深度值。
6、至少一个处理器还可被配置为：定义平面以包括具有修改后的法向量的像素以及与该像素相邻的多个相邻像素，基于定义的平面与相机的射线向量相交的多个点来获得多个相邻像素的深度值，获得在像素的深度值与多个相邻像素的深度值中的每一个之间的差值，以及通过执行将权重应用于针对多个相邻像素中的每一个获得的差值的加权和来获得损失。
7、权重可包括基于在深度图中多个相邻像素中的每一个与相机之间的距离确定的第一权重，以及基于在深度图的像素与多个相邻像素中的每一个之间的强度值的差值确定的第二权重。
8、至少一个处理器还可被配置为：通过执行将左眼图像和右眼图像提供给训练的ai模型的推理来获得调整后的深度图。
9、相机可包括被配置为获得左眼图像的左眼镜头和被配置为获得右眼图像的右眼镜头，其中，至少一个处理器还可被配置为：根据重力方向或垂直于重力方向的方向修改在左眼图像和右眼图像中的法向量的方向，沿修改后的法向量的方向或垂直于修改后的法向量的方向的方向来执行平面假设，通过沿通过平面假设定义的平面执行平面扫描来获得至少一个像素的深度值，以及通过使用获得的深度值来修改至少一个像素的深度值。
10、相机可包括飞行时间（tof）相机，其中，至少一个处理器还可被配置为通过使用tof相机来获得深度图。
11、至少一个处理器还可被配置为：基于修改后的法向量定义至少一个像素中的每个像素的平面，基于根据rgb图像的颜色信息分割的区域来识别在深度图中定义的平面的平面区域，以及基于在识别的平面区域中的相邻像素的深度值来调整深度值。
12、根据本公开的一方面，提供了一种由增强现实装置调整深度值的方法，包括：从使用相机获得的图像获得深度图；获得包括在深度图中的至少一个像素的法向量；基于由传感器测量单元（imu）传感器测量的重力方向来修改至少一个像素的法向量的方向；以及基于修改后的法向量的方向来调整至少一个像素的深度值。
13、获得深度图可包括：将通过使用左眼镜头获得的左眼图像和通过使用右眼镜头获得的右眼图像提供给人工智能（ai）模型；以及通过使用ai模型根据在左眼图像的像素与右眼图像的像素之间的强度值的相似度获得视差来获得深度图。
14、调整至少一个像素中的每个像素的深度值可包括：基于由修改后的法向量定义的平面上的像素的深度值以及与该像素相邻的多个相邻像素的深度值来获得由ai模型获得的深度图的损失；以及通过执行将获得的损失应用于ai模型的训练来调整至少一个像素的深度值。
15、识别损失可包括：定义平面以包括具有修改后的法向量的像素以及与该像素相邻的多个相邻像素；基于定义的平面与相机的射线向量相交的多个点来获得多个相邻像素的深度值；获得在像素的深度值与多个相邻像素的深度值中的每一个之间的差值；通过执行将权重应用于针对多个相邻像素中的每一个获得的差值的加权和来获得损失。
16、权重可包括基于在深度图中的多个相邻像素中的每一个与相机之间的距离确定的第一权重，以及基于在深度图的像素与多个相邻像素中的每一个之间的强度值的差值确定的第二权重。
17、该方法还可包括通过执行将左眼图像和右眼图像提供给训练的ai模型的推理来获得调整后的深度图。
18、修改每个像素的法向量的方向可包括：根据重力方向或垂直于重力方向的方向修改通过使用左眼镜头获得的左眼图像和通过使用右眼镜头获得的右眼图像的法向量的方向，其中，调整至少一个像素的深度值可包括：沿修改后的法向量的方向和垂直于修改后的法向量的方向的方向来执行平面假设；通过沿通过平面假设定义的平面执行平面扫描来获得深度值；以及通过使用获得的深度值来调整至少一个像素的深度值。
19、获得深度图可包括通过使用飞行时间相机来获得深度图。
20、修改至少一个像素的深度值可包括：基于修改后的法向量定义至少一个像素中的每个像素的平面；基于根据rgb图像的颜色信息分割的区域来识别在深度图中定义的平面的平面区域；以及基于在识别的平面区域中的相邻像素的深度值来调整至少一个像素的深度值。
21、根据本公开的一方面，提供了一种非暂时性计算机可读的存储介质，包括由增强现实装置运行的指令，以执行包括以下步骤的方法：从由相机获得的图像获得深度图；获得包括在深度图中的至少一个像素的法向量；基于由惯性测量单元传感器测量的重力方向来修改至少一个像素的法向量的方向；以及基于修改的法向量的方向来调整至少一个像素的深度值。
1.一种增强现实装置，包括：
2.如权利要求1所述的增强现实装置，其中，所述相机包括被配置为获得左眼图像的左眼镜头和被配置为获得右眼图像的右眼镜头，并且
3.如权利要求2所述的增强现实装置，其中，所述至少一个处理器还被配置为运行所述至少一个指令以：
4.如权利要求3所述的增强现实装置，其中，所述至少一个处理器还被配置为运行所述至少一个指令以：
5.如权利要求4所述的增强现实装置，其中，所述权重包括基于在所述深度图中的所述多个相邻像素中的每一个与所述相机之间的距离确定的第一权重，以及基于在所述深度图的所述像素与所述多个相邻像素中的每一个之间的强度值的差值确定的第二权重。
6.如权利要求5所述的增强现实装置，其中，所述至少一个处理器还被配置为运行所述至少一个指令以通过执行将所述左眼图像和所述右眼图像提供给所述训练的ai模型的推理来获得调整后的深度图。
7.如权利要求1所述的增强现实装置，其中，所述相机包括飞行时间tof相机，并且
8.一种由增强现实装置执行的调整深度值的方法，所述方法包括：
9.如权利要求8所述的方法，其中，获得所述深度图包括：
10.如权利要求9所述的方法，其中，调整在所述深度图中的所述至少一个像素中的每个像素的所述深度值包括：
11.如权利要求10所述的方法，其中，识别所述损失包括：
12.如权利要求11所述的方法，其中，所述权重包括基于在所述深度图中的所述多个相邻像素中的每一个与所述相机之间的距离确定的第一权重，以及基于在所述深度图的所述像素与所述多个相邻像素中的每一个之间的强度值的差值确定的第二权重。
13.如权利要求12所述的方法，还包括通过执行将所述左眼图像和所述右眼图像提供给所述训练的ai模型的推理来获得调整后的深度图。
14.如权利要求8所述的方法，其中，获得所述深度图包括通过使用飞行时间相机来获得所述深度图，并且
15.一种非暂时性计算机可读的存储介质，包括由增强现实装置运行的指令，以执行包括以下步骤的方法：
