本技术涉及机器人,尤其涉及一种水下清洁机器人建图方法、装置及水下清洁机器人。
背景技术:
1、随着计算机技术的发展,机器人技术也随之快速发展,比如,用户使用扫地机器人来进行房屋地面的清洁,使用擦窗机器人来进行房屋窗户的清洁,使用水下清洁机器人来进行水池的清洁等。
2、相关技术中,水下清洁机器人的定位和建图能力在弱纹理的情况下,都很容易失效,即其无法满足弱纹理环境下的清洁需求,很难满足各种各样用户场景的需求。
技术实现思路
1、本技术实施例提供了一种水下清洁机器人建图方法、装置及水下清洁机器人,能够确保水下清洁机器人在水下大量弱纹理环境下的定位精度和建图能力。上述技术方案如下:
2、第一方面,本技术实施例提供了一种水下清洁机器人建图方法,上述方法包括:
3、对水下清洁机器人采集的环境图像进行特征提取,得到上述水下清洁机器人所在目标空间中的目标结构信息;
4、基于相邻两帧上述环境图像对应上述目标空间中的目标结构信息进行特征匹配,得到对应的目标特征匹配结果;
5、基于上述目标特征匹配结果以及上述水下清洁机器人对应的目标采集位置信息确定上述目标结构信息中的目标结构边界点在上述目标空间中的目标深度信息;上述目标采集位置信息基于上述水下清洁机器人的多种传感器各自获取的定位信息综合确定;上述目标结构边界点为相邻两帧上述环境图像各自对应的上述目标结构信息中相匹配的结构边界点;
6、基于上述目标结构信息以及上述目标结构边界点对应的目标深度信息,构建上述目标空间的目标环境地图。
7、第二方面,本技术实施例提供了一种水下清洁机器人建图装置,上述水下清洁机器人建图装置包括:
8、特征提取模块,用于对水下清洁机器人采集的环境图像进行特征提取,得到上述水下清洁机器人所在目标空间中的目标结构信息;
9、特征匹配模块,用于基于相邻两帧上述环境图像对应上述目标空间中的目标结构信息进行特征匹配,得到对应的目标特征匹配结果;
10、第一确定模块,用于基于上述目标特征匹配结果以及上述水下清洁机器人对应的目标采集位置信息确定上述目标结构信息中的目标结构边界点在上述目标空间中的目标深度信息;上述目标采集位置信息基于上述水下清洁机器人的多种传感器各自获取的定位信息综合确定;上述目标结构边界点为相邻两帧上述环境图像各自对应的上述目标结构信息中相匹配的结构边界点;
11、建图模块,用于基于上述目标结构信息以及上述目标结构边界点对应的目标深度信息,构建上述目标空间的目标环境地图。
12、在一种可能的实现方式中,上述特征提取模块包括:
13、提取单元,用于提取水下清洁机器人采集的环境图像中的结构边界信息;上述结构边界信息包括上述环境图像中存在的结构边界所对应的第一位置信息以及上述结构边界对应轮廓包含区域的第二位置信息;
14、第一确定单元,用于基于上述结构边界信息确定上述目标空间中的目标结构信息。
15、在一种可能的实现方式中,上述特征提取模块具体用于:
16、利用多任务模型,对水下清洁机器人采集的环境图像中的目标空间组成元素信息和目标空间辅助元素信息分别进行分割识别,得到上述水下清洁机器人所在目标空间中的目标结构信息。
17、在一种可能的实现方式中,上述特征匹配模块包括:
18、采集位置预测单元,用于基于相邻两帧上述环境图像中前一帧环境图像对应上述水下清洁机器人的前一帧采集位置信息预测相邻两帧上述环境图像中后一帧环境图像对应上述水下清洁机器人的预测采集位置信息;
19、结构信息预测单元,用于基于上述预测采集位置信息以及上述前一帧环境图像中的目标结构信息预测上述后一帧环境图像中的预测结构信息;
20、结构信息匹配单元,用于将上述后一帧环境图像中的目标结构信息与上述预测结构信息进行匹配,得到上述后一帧环境图像中目标结构信息对应的预测结构匹配范围;
21、第二确定单元,用于基于上述前一帧环境图像中各结构边界点的几何特征以及上述预测结构匹配范围内各结构边界点的几何特征,确定相邻两帧上述环境图像各自对应的上述目标结构信息中相匹配的目标结构边界点。
22、在一种可能的实现方式中,上述多种传感器包括第一传感器、第二传感器以及超声波传感器,上述第一传感器用于采集上述水下清洁机器人的环境图像,上述第二传感器用于采集上述水下清洁机器人的运动数据;上述第二传感器包括以下至少一种:惯性测量单元、编码器、流速计;上述超声波传感器用于采集上述水下清洁机器人的超声定位数据;
23、上述水下清洁机器人建图装置还包括:
24、获取模块,用于基于上述第一传感器获取相邻两帧环境图像,基于一种或多种上述第二传感器获取上述水下清洁机器人的实际运动数据,以及基于上述超声波传感器获取上述水下清洁机器人的超声定位数据;
25、第二确定模块,用于基于上述相邻两帧环境图像以及上述相邻两帧环境图像中前一帧环境图像对应的前一帧采集位置信息确定上述相邻两帧环境图像中后一帧环境图像对应的第一采集位置信息,基于上述实际运动数据确定上述后一帧环境图像对应的第二采集位置信息,以及基于上述超声定位数据确定上述后一帧环境图像对应的第三采集位置信息;
26、第三确定模块,用于基于上述第一采集位置信息、上述第二采集位置信息以及上述第三采集位置信息确定上述后一帧环境图像对应的目标采集位置信息。
27、在一种可能的实现方式中,上述水下清洁机器人建图装置还包括:
28、第四确定模块,用于基于上述后一帧环境图像对应的预测采集位置信息、上述第一采集位置信息、上述第二采集位置信息以及上述第三采集位置信息确定上述后一帧环境图像对应的位置损失;
29、第五确定模块,用于基于上述后一帧环境图像对应的预测结构信息以及目标结构信息确定上述后一帧环境图像对应的图像损失;
30、修正模块,用于基于上述后一帧环境图像对应的位置损失和图像损失对上述多个传感器的位置漂移进行修正。
31、在一种可能的实现方式中,上述水下清洁机器人建图装置还包括:
32、判断模块,用于基于上述后一帧环境图像判断上述超声定位数据是否满足非视距条件;上述非视距条件用于表征上述后一帧环境图像中存在遮挡且上述超声定位数据属于异常跳动的情况;
33、第六确定模块,用于若上述超声定位数据满足上述非视距条件,则基于上述第一采集位置信息和上述第二采集位置信息确定上述后一帧环境图像对应的目标采集位置信息;
34、上述第三确定模块具体用于若上述超声定位数据不满足上述非视距条件,则执行上述基于上述第一采集位置信息、上述第二采集位置信息以及上述第三采集位置信息确定上述后一帧环境图像对应的目标采集位置信息的步骤。
35、在一种可能的实现方式中,上述水下清洁机器人建图装置还包括:
36、统计模块,用于统计上述后一帧环境图像中满足预设约束条件的目标结构边界点数,以及上述后一帧环境图像对应目标结构信息中的结构边界点总数;上述预设约束条件为连续至少两帧环境图像中均存在相匹配的目标结构边界点;
37、第七确定模块,用于基于满足上述预设约束条件的目标结构边界点数与上述结构边界点总数之间的比例确定上述第一传感器对应的视觉约束权重;
38、第八确定模块,用于基于上述第二传感器以及上述超声波传感器各自对应的协方差矩阵分别确定上述第二传感器以及上述超声波传感器各自对应的权重;
39、第九确定模块,用于基于上述第一传感器对应的视觉约束权重、上述第二传感器以及上述超声波传感器各自对应的权重确定上述第一传感器、上述第二传感器以及上述超声波传感器之间对应的目标权重比例;
40、上述第三确定模块具体用于:
41、将上述第一采集位置信息、上述第二采集位置信息以及上述第三采集位置信息按照目标权重比例进行融合,得到上述后一帧环境图像对应的目标采集位置信息。
42、在一种可能的实现方式中,上述目标特征匹配结果包括相邻两帧上述环境图像中相匹配的目标结构边界点;
43、上述第一确定模块具体用于:
44、基于上述目标结构边界点在相邻两帧上述环境图像中的位置以及上述水下清洁机器人对应的目标采集位置信息估计上述目标结构边界点在上述目标空间中的目标深度信息。
45、在一种可能的实现方式中,上述水下清洁机器人建图装置还包括:
46、移动模块,用于按照目标建图路径进行移动;
47、图像采集模块,用于在移动过程中按照预设频率采集预设视觉范围内的环境图像;
48、上述建图模块具体用于:
49、在上述目标建图路径行驶完成后,基于上述目标建图路径上的多张环境图像各自对应的目标结构信息以及上述多张环境图像中上述目标结构边界点对应的目标深度信息,构建上述目标空间的目标环境地图。
50、在一种可能的实现方式中,上述目标结构信息包括上述目标空间中的目标空间组成元素信息和目标空间辅助元素信息;上述目标空间组成元素信息包括上述目标空间对应组成元素的结构边界信息,上述组成元素包括以下至少一种:底面、壁面、台阶平面、台阶立面;上述目标空间辅助元素信息包括上述目标空间对应辅助元素的结构边界信息,上述辅助元素包括以下至少一种辅助装置:壁灯、地灯、进水口、出水口。
51、第三方面,本技术实施例提供了一种水下清洁机器人,包括:处理器和存储器;其中,上述存储器存储有计算机程序,上述计算机程序适于由处理器加载并执行本技术实施例第一方面或第一方面的任意一种可能的实现方式提供的方法步骤。
52、第四方面,本技术实施例提供了一种计算机存储介质,上述计算机存储介质存储有多条指令,上述指令适于由处理器加载并执行本技术实施例第一方面或第一方面的任意一种可能的实现方式提供的方法步骤。
53、本技术实施例提供的技术方案,一方面,通过综合利用多种传感器获取水下清洁机器人对应的目标采集位置信息,确保在水下大量弱纹理的环境下,水下清洁机器人的定位精度;另一方面,通过基于相邻两帧环境图像对应目标空间中的目标结构信息进行特征匹配,并基于通过多种传感器获取得到的目标采集位置信息估计相邻两帧环境图像中相匹配的结构边界点在目标空间中的目标深度信息,以基于提取的目标结构信息及对应的目标深度信息构建目标空间的目标环境地图,从而综合利用多种传感器、特征提取与特征匹配以及深度估计等实现对泳池(目标空间)内部结构的感知与分析,提高水下清洁机器人的建图能力和稳定性。
54、上述说明仅是本技术技术方案的概述,为了能够更清楚了解本技术的技术手段而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
1.一种水下清洁机器人建图方法,其特征在于,所述方法包括:
2.如权利要求1所述的方法,其特征在于,所述对水下清洁机器人采集的环境图像进行特征提取,得到所述水下清洁机器人所在目标空间中的目标结构信息,包括:
3.如权利要求1所述的方法,其特征在于,所述对水下清洁机器人采集的环境图像进行特征提取,得到所述水下清洁机器人所在目标空间中的目标结构信息,包括:
4.如权利要求1所述的方法,其特征在于,所述基于相邻两帧所述环境图像对应所述目标空间中的目标结构信息进行特征匹配,得到对应的目标特征匹配结果,包括:
5.如权利要求1所述的方法,其特征在于,所述多种传感器包括第一传感器、第二传感器以及超声波传感器,所述第一传感器用于采集所述水下清洁机器人的环境图像,所述第二传感器用于采集所述水下清洁机器人的运动数据;所述第二传感器包括以下至少一种:惯性测量单元、编码器、流速计;所述超声波传感器用于采集所述水下清洁机器人的超声定位数据;
6.如权利要求5所述的方法,其特征在于,所述基于所述第一采集位置信息、所述第二采集位置信息以及所述第三采集位置信息确定所述后一帧环境图像对应的目标采集位置信息之后,所述方法还包括:
7.如权利要求5所述的方法,其特征在于,所述基于所述第一采集位置信息、所述第二采集位置信息以及所述第三采集位置信息确定所述后一帧环境图像对应的目标采集位置信息之前,所述方法还包括:
8.如权利要求5所述的方法,其特征在于,所述基于所述第一采集位置信息、所述第二采集位置信息以及所述第三采集位置信息确定所述后一帧环境图像对应的目标采集位置信息之前,所述方法还包括:
9.如权利要求1所述的方法,其特征在于,所述目标特征匹配结果包括相邻两帧所述环境图像中相匹配的目标结构边界点;
10.如权利要求1所述的方法,其特征在于,所述基于所述目标结构信息以及所述目标结构边界点对应的目标深度信息,构建所述目标空间的目标环境地图之前,所述方法还包括:
11.如权利要求1-10任一项所述的方法,其特征在于,所述目标结构信息包括所述目标空间中的目标空间组成元素信息和目标空间辅助元素信息;所述目标空间组成元素信息包括所述目标空间对应组成元素的结构边界信息,所述组成元素包括以下至少一种:底面、壁面、台阶平面、台阶立面;所述目标空间辅助元素信息包括所述目标空间对应辅助元素的结构边界信息,所述辅助元素包括以下至少一种辅助装置:壁灯、地灯、进水口、出水口。
12.一种水下清洁机器人建图装置,其特征在于,所述水下清洁机器人建图装置包括:
13.一种水下清洁机器人,其特征在于,所述水下清洁机器人包括机器人控制器,所述机器人控制器包括包括处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由处理器加载并执行如权利要求1-11任一项的方法步骤。
14.一种计算机存储介质,其特征在于,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1-11任一项的方法步骤。
