本发明涉及设备故障检测,具体而言,涉及一种基于可见光辅助对象识别的红外图像分割方法及系统。
背景技术:
1、随着红外成像技术在电力系统中的应用,红外图像的数量和复杂性不断增加,传统的人工分析方法效率低下,且容易出错。现有的自动检测方法大多依赖于简单的图像分割技术,适应性较差,不能充分利用红外图像的区域特性,并且现有红外图像分割方法在复杂环境中精度和适应性不足。单纯依赖红外图像进行分割,难以准确区分故障区域和其他高温区域,急需设计一种结合可见光图像辅助对象识别的红外图像分割技术,以提高分割精度和适应性。
技术实现思路
1、为了解决上述问题,本发明的目的是提供一种结合可见光图像辅助对象识别的红外图像分割技术,旨在通过结合可见光图像的对象识别结果和红外图像的故障特征,以提高红外图像分割的精度和适应性,并能够有效应用于电力系统的故障检测中,使得该技术具有广阔的应用前景和较强的创新性。
2、为了实现上述技术目的,本申请提供了一种基于可见光辅助对象识别的红外图像分割方法,包括以下步骤:
3、基于设备的红外图像和可见光图像,对可见光图像进行对象识别,获取识别对象的边界框和类别标签,生成识别结果,其中,对象表示故障特征;
4、将红外图像和可见光图像进行图像配准,将识别结果映射到红外图像中,并通过具有多尺度特征提取模块的深度学习模型进行图像分割。
5、优选地,在获取设备的红外图像和可见光图像的过程中,对采集的设备的初始红外图像和初始可见光图像,进行去噪、归一化和增强处理后,生成设备的红外图像和可见光图。
6、优选地,在进行对象识别的过程中,使用预训练的对象检测模型对可见光图像进行对象识别,识别出图像中的设备和其他重要对象;标注识别出的对象位置,生成对象的边界框和类别标签,其中,预训练的对象检测模型包括yolo、faster或r-cnn中的一种。
7、优选地,在将红外图像和可见光图像进行图像配准的过程中,通过特征点匹配技术sift进行图像配准,其中,sift表示为:
8、
9、其中,fv(pi)和fir(qi)分别表示可见光图像和红外图像中的特征点,n为特征点的数量。
10、优选地,在将识别结果映射到红外图像中的过程中,将对象在可见光图像中的位置为(xv,yv),映射到红外图像中的位置为(xir,yir):
11、(xir,yir)=h·(xv,yv);
12、其中,h为图像配准的变换矩阵。
13、优选地,在对红外图像进行图像分割的过程中,使用深度学习模型对红外图像进行分割,模型输入为红外图像iir和对象识别结果的融合特征f:
14、f=concat(iir,rv→ir);
15、其中,rv→ir为映射后的对象识别结果,concat表示特征拼接操作;
16、分割模型通过卷积操作提取特征,并生成分割结果s:
17、s=segnet(f)。
18、优选地,在通过深度学习模型对红外图像进行分割的过程中,使用多任务损失函数优化分割模型,包括像素级别的交叉熵损失lce和边界损失lb:
19、l=lce+λlb;
20、其中,lce为交叉熵损失,lb为边界损失,λ为权重参数。
21、优选地,在通过深度学习模型对红外图像进行分割的过程后,对分割结果,通过去除噪声和伪影进行后处理。
22、本发明公开了一种基于可见光辅助对象识别的红外图像分割系统,包括:
23、图像采集模块,用于采集设备的红外图像和可见光图像;
24、对象识别模块,用于基于设备的红外图像和可见光图像,对可见光图像进行对象识别,获取识别对象的边界框和类别标签,生成识别结果,其中,对象表示故障特征;
25、图像分割模块,用于将红外图像和可见光图像进行图像配准,将识别结果映射到红外图像中,并通过具有多尺度特征提取模块的深度学习模型进行图像分割。
26、优选地,图像采集模块,还用于采集设备的初始红外图像和初始可见光图像,进行去噪、归一化和增强处理后,生成设备的红外图像和可见光图。
27、本发明公开了以下技术效果:
28、(1)高适应性:结合可见光图像的对象识别结果,分割方法能够自适应地识别和分割不同设备,提高了适应性。
29、(2)高精度:针对性分割减少了误检率和漏检率,提高了分割的精度,特别是在复杂背景和多变环境下效果显著。
30、(3)高鲁棒性:多模态数据的融合和多尺度特征提取技术,提高了分割模型的鲁棒性,能够应对复杂背景和多变的环境条件。
31、(4)智能化:自动化程度高,减少了对人工参数调整的依赖,适用于大规模红外图像的自动处理。
1.一种基于可见光辅助对象识别的红外图像分割方法,其特征在于,包括以下步骤:
2.根据权利要求1所述一种基于可见光辅助对象识别的红外图像分割方法,其特征在于:
3.根据权利要求2所述一种基于可见光辅助对象识别的红外图像分割方法,其特征在于:
4.根据权利要求3所述一种基于可见光辅助对象识别的红外图像分割方法,其特征在于:
5.根据权利要求4所述一种基于可见光辅助对象识别的红外图像分割方法,其特征在于:
6.根据权利要求5所述一种基于可见光辅助对象识别的红外图像分割方法,其特征在于:
7.根据权利要求6所述一种基于可见光辅助对象识别的红外图像分割方法,其特征在于:
8.根据权利要求7所述一种基于可见光辅助对象识别的红外图像分割方法,其特征在于:
9.一种基于可见光辅助对象识别的红外图像分割系统,其特征在于,包括:
10.根据权利要求9所述一种基于可见光辅助对象识别的红外图像分割系统,其特征在于: