本发明涉及无人机,尤其涉及一种配网无人机自主巡检方法、装置、计算机设备及存储介质。
背景技术:
1、无人机航线规划在巡检电网中的关键作用不可低估。随着科技的发展,无人机在电力行业的应用越来越广泛,尤其在电网巡检领域发挥着重要作用,而无人机航线规划作为无人机巡检的前提和基础,对于提高巡检效率、降低成本、保障电网安全具有至关重要的意义。首先,科学合理的航线规划能够帮助无人机高效覆盖整个电网区域,确保全面的巡检覆盖范围。通过精准规划飞行路径,可以最大程度地优化飞行轨迹,减少重复巡检区域,提升巡检效率,节约时间成本;其次,精心设计的航线规划还能帮助无人机发现电网潜在问题和隐患;此外,通过全面覆盖目标区域,无人机可以及时发现电网设施的损坏、老化或其他异常情况,提前预警并采取必要的修复措施,确保电网设施的安全稳定。
2、目前主要通过激光雷达获取三维点云数据,并通过人工或者模板匹配进行线路规划。然而,这些方法存在一些限制和挑战:首先,人工制定航线需要耗费大量的人力资源和时间成本,对于复杂的航线规划,需要专业人员进行精确的计算和规划,这可能会增加项目的成本和延长实施周期。其次,人工航线规划容易受到主观因素的影响,可能出现规划不够科学合理或无法最优化利用资源的情况,这容易看导致航线效率低下,无法达到预期的效果。因此,在某些需要高效率、高准确性的航线规划场景下,传统人工方式可能面临一定的局限性,需要对现有技术进行改进。
3、以上信息作为背景信息给出只是为了辅助理解本公开,并没有确定或者承认任意上述内容是否可用作相对于本公开的现有技术。
技术实现思路
1、本发明提供一种配网无人机自主巡检方法、装置、计算机设备及存储介质,以解决现有技术中存在的问题。
2、为实现上述目的,本发明提供以下的技术方案:
3、一种配网无人机自主巡检方法,包括:
4、确定建模区域范围;
5、采集建模区域范围中的可见光图像和激光点云数据,经数据预处理后获得纯净激光点云数据和纯净可见光图像;
6、获取yolov5颈部融合增强模型,基于yolov5颈部融合增强模型,识别所述纯净可见光图像中的杆塔部件;
7、处理所述基于纯净可见光图像和纯净激光点云数据,获得初步杆塔部件定位结果;
8、基于深度学习的目标检测算法,根据所述初步杆塔部件定位结果,确定杆塔部件在三维空间坐标系中的空间坐标;
9、基于所述杆塔部件在三维空间坐标系中的空间坐标,生成航线序列。
10、可选地,所述处理所述基于纯净可见光图像和纯净激光点云数据,获得初步杆塔部件定位结果,包括:
11、通过多模态数据融合,在决策层面将识别得到的纯净可见光图像和纯净激光点云数据进行的融合,获得初步杆塔部件定位结果。
12、可选地,所述在决策层面将识别得到的纯净可见光图像和纯净激光点云数据进行的融合,包括:
13、分别对识别得到的纯净可见光图像和纯净激光点云数据进行独立的杆塔部件识别与分析,分别获得纯净可见光图像和纯净激光点云数据的识别结果;
14、对基于纯净可见光图像和纯净激光点云数据的识别结果分别进行可靠性和准确性的评估;
15、根据可靠性和准确性的评估结果,分别为可见光图像和激光点云数据的识别结果分配权重;
16、综合考虑纯净可见光图像和纯净激光点云数据的识别结果及权重,做出初步杆塔部件定位决策;
17、基于定位决策结果,获得初步杆塔部件定位结果。
18、可选地,所述的配网无人机自主巡检方法,还包括:利用相机采集可见光图像;
19、所述处理所述基于纯净可见光图像和纯净激光点云数据,获得初步杆塔部件定位结果,包括:
20、基于纯净可见光图像和纯净激光点云数据的映射关系进行杆塔部件定位,获得杆塔部件在三维空间坐标系中的空间坐标。
21、可选地,所述基于纯净可见光图像和纯净激光点云数据的映射关系进行杆塔部件定位,获得杆塔部件在三维空间坐标系中的空间坐标,包括:
22、解析所述纯净激光点云数据,获取当前位姿数据;
23、基于所述当前位姿数据,建立所述纯净激光点云数据与所述纯净可见光图像的映射,获取杆塔部件在世界坐标系下的位置。
24、可选地,所述基于所述当前位姿数据,建立所述纯净激光点云数据与所述纯净可见光图像的映射,包括:
25、通过外参矩阵计算,使纯净激光点云数据的坐标转换至相机坐标系,得到相机坐标系下的点云;
26、根据相机的内参矩阵将点云投影到二维图像平面,形成点云像素,每个像素包括自身的坐标信息和深度信息,所述深度信息代表所述点云像素对应的点云到相机的距离;
27、将点云像素的深度信息与所述坐标信息合并,得到包含深度信息的第一深度投影图像;
28、从所述第一深度投影图像中筛选出杆塔部件的第二深度投影图像,对所述第二深度投影图像进行聚类,根据深度值判断距离相机最近的点簇,将所述距离相机最近的点簇视为杆塔部件对应的点云。
29、可选地,所述对所述第二深度投影图像进行聚类,包括:
30、对各个尺度的杆塔部件的第二深度投影图像进行采集和融合,然后将融合后的特征分发到不同的层;
31、输出聚类结果,所述聚类结果输出为矩形框和旋转矩形框。
32、可选地,所述的配网无人机自主巡检方法,还包括:获取yolov5颈部融合增强模型;
33、所述获取yolov5颈部融合增强模型包括:
34、在yolov5模型的颈部添加信息聚集分发模块,所述信息聚集分发模块用于通过收集和分发机制进行全局融合多层次特征;
35、优化所述yolov5模型的颈部结构,调整训练策略,获得所述yolov5颈部融合增强模型。
36、可选地,所述基于所述杆塔部件在三维空间坐标系中的空间坐标,生成航线序列,包括:
37、构造航线基准点:通过确定杆塔的精确位置,依据航线安全飞行要求,在杆塔上方添加安全辅助点作为的航线起始点位,形成每基杆塔基准点;
38、构造安全边界:基于配网线路特定的电气安全要求,生成满足安全距离要求的航点位置;基于塔头的点云簇所计算得到的包围框为基础,以电力设备安全距离为半径向外偏移,以构造安全边界,保证航线的安全距离;
39、构造航点序列:首先,基于全貌计算方式,按映射出的杆塔点云计算obb最小包围框的长边,根据无人机指定焦距下fov视角计算出包裹住杆塔时的垂直高度,使无人机飞升至安全边界以外的位置作为无人机拍摄点位;然后,基于所述全貌计算方式依次获取绝缘子和隔离开关对应的无人机拍摄点位;最后,以各导线中大号的线路侧方向为前向,按从左到右的原则将所获得的各个无人机拍摄点位进行排序,生成最终的航线飞行序列。
40、另一方面,本发明还提供了一种配网无人机自主巡检装置,用于实现如上任一项所述的配网无人机自主巡检方法,包括:
41、数据采集处理模块,用于采集建模区域范围中的可见光图像和激光点云数据,经数据预处理后获得纯净激光点云数据和纯净可见光图像;
42、识别模块,用于获取yolov5颈部融合增强模型,基于yolov5颈部融合增强模型,识别所述纯净可见光图像中的杆塔部件;
43、定位模块,用于处理所述基于纯净可见光图像和纯净激光点云数据,获得初步杆塔部件定位结果;以及,基于深度学习的目标检测算法,根据所述初步杆塔部件定位结果,确定杆塔部件在三维空间坐标系中的空间坐标;
44、航线生成模块,用于基于杆塔部件在三维空间坐标系中的空间坐标,生成航线序列。
45、另一方面,本发明还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如上任一项所述的配网无人机自主巡检方法。
46、另一方面,本发明还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令由计算机处理器执行,以实现如上任一项所述的配网无人机自主巡检方法。
47、与现有技术相比,本发明具有以下有益效果:
48、本发明提供的一种配网无人机自主巡检方法、装置、计算机设备及存储介质,能够实现自动且精确的航线规划,大大提高了配网杆塔部件巡检的效率和精度,解决了人工规划航线效率低、耗时长的问题,使得无人机巡检任务得以更加智能化和自动化,减少了人力资源的浪费,提高了配网设施的安全性和可靠性。
49、本发明具有其它的特性和优点,这些特性和优点从并入本文中的附图和随后的具体实施方式中将是显而易见的,或者将在并入本文中的附图和随后的具体实施方式中进行详细陈述,这些附图和具体实施方式共同用于解释本发明的特定原理。
1.一种配网无人机自主巡检方法,其特征在于,包括:
2.根据权利要求1所述的配网无人机自主巡检方法,其特征在于,所述处理所述基于纯净可见光图像和纯净激光点云数据,获得初步杆塔部件定位结果,包括:
3.根据权利要求2所述的配网无人机自主巡检方法,其特征在于,
4.根据权利要求1所述的配网无人机自主巡检方法,其特征在于,还包括:利用相机采集可见光图像;
5.根据权利要求4所述的配网无人机自主巡检方法,其特征在于,所述基于纯净可见光图像和纯净激光点云数据的映射关系进行杆塔部件定位,获得杆塔部件在三维空间坐标系中的空间坐标,包括:
6.根据权利要求5所述的配网无人机自主巡检方法,其特征在于,所述基于所述当前位姿数据,建立所述纯净激光点云数据与所述纯净可见光图像的映射,包括:
7.根据权利要求6所述的配网无人机自主巡检方法,其特征在于,所述对所述第二深度投影图像进行聚类,包括:
8.根据权利要求1所述的配网无人机自主巡检方法,其特征在于,所述获取yolov5颈部融合增强模型包括:
9.根据权利要求1所述的配网无人机自主巡检方法,其特征在于,所述基于所述杆塔部件在三维空间坐标系中的空间坐标,生成航线序列,包括:
10.一种配网无人机自主巡检装置,其特征在于,用于实现如权利要求1-9中任一项所述的配网无人机自主巡检方法,包括:
11.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-9中任一项所述的配网无人机自主巡检方法。
12.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令由计算机处理器执行,以实现如权利要求1-9中任一项所述的配网无人机自主巡检方法。
