本技术涉及计算机视觉和深度学习在图像处理中的应用领域，具体是涉及一种输电线路无人机巡检图片缺陷识别方法及系统。
背景技术：
1、目前，在进行输电线路巡检时，常采用无人机捕获图像后，通过目标检测技术来识别和处理图像中的缺陷。当前常用的目标检测缺陷识别方法，主要通过各种目标检测网络进行识别，图片分辨率一般都比较小，用较小的输入尺寸即可获得较高的识别率；对于超大分辨率的图像（如医学影像、航空俯拍等）往往由于缺陷分散程度较高，采用切片的方法进行缺陷识别，但上述方法均无法满足大分辨率且缺陷分布比较集中的场景缺陷识别。
2、综上可知，传统的目标检测网络由于输入分辨率限制，对大目标部件缺陷的识别能力有限，同时难以准确识别小目标部件缺陷，例如缺销、缺螺母等小缺陷，在处理高分辨率且目标分布密集的图像时，面临着检出率低和误检率高的问题。因此，开发一种能够适用于高分辨率、目标密集的无人机巡检图片缺陷识别方法显得十分必要。
技术实现思路
1、为了解决对于分辨率大且缺陷分布集中输电线路的缺陷识别准确率较低的问题，本技术提供一种输电线路无人机巡检图片缺陷识别方法及系统。
2、第一方面，本技术提供一种输电线路无人机巡检图片缺陷识别方法，包括：
3、针对输电线无人机巡检图片进行图片分辨率放大处理；
4、将处理后的输电线无人机巡检图片输入大目标部件识别模型，识别大目标部件缺陷以及小目标部件缺陷所在大目标部件，获得识别到大目标部件缺陷对应的置信度；其中，针对输电线路中每种大目标部件缺陷设置置信度阈值，将识别到的每种大目标部件缺陷对应的置信度与对应置信度阈值进行比较，保留大于置信度阈值的识别到的每种大目标部件缺陷；所述大目标部件识别模型选用深度学习神经网络模型；所述大目标部件是指输电线路中实际部件尺寸大于预设部件尺寸的部件；
5、自分辨率放大处理后的输电线无人机巡检图片中切割出识别到的小目标部件缺陷所在大目标部件的图像，将切割出的图像输入小目标部件识别模型，识别小目标部件缺陷，获得小目标部件缺陷对应的置信度；其中，针对输电线路中每种小目标部件缺陷设置置信度阈值，将识别到的每种小目标部件缺陷对应的置信度与对应置信度阈值进行比较，保留大于置信度阈值的识别到的每种小目标部件缺陷，将保留的每种小目标部件缺陷映射至原未切割处理的输电线无人机巡检图片；所述小目标部件识别模型选用深度学习神经网络模型；所述小目标部件是指输电线路中实际部件尺寸不大于预设部件尺寸的部件；
6、针对识别出的大目标部件缺陷与小目标部件缺陷进行汇总，输出输电线路无人机巡检图片的缺陷识别结果。
7、通过采用上述方案，设计利用分辨率放大的图片完成大目标部件的缺陷识别，并采用分流递进的方式预先识别出若干小目标部件缺陷所在大目标部件，再分别对若干小目标部件缺陷所在大目标部件进行小目标部件的缺陷识别，既实现高分辨的大目标部件缺陷识别，又对目标密集的小目标部件分别进行缺陷识别；基于对于每个特定的类别设置置信度阈值，过滤掉置信度比较低的目标框，以降低每个类别目标部件缺陷的误检率，提高各类缺陷识别率。
8、优选的，获取识别到的小目标部件缺陷所在大目标部件对应的置信度，以及对识别到的小目标部件缺陷所在大目标部件预设的置信度阈值，并比较识别到的小目标部件缺陷所在大目标部件对应的置信度与识别到的小目标部件缺陷所在大目标部件预设的置信度阈值；
9、若识别到的小目标部件缺陷所在大目标部件对应的置信度大于识别到的小目标部件缺陷所在大目标部件预设的置信度阈值且两者的差值小于第一预设的置信度差值阈值，则在识别到的每种小目标部件缺陷设置的原置信度阈值的基础上增加预设的置信度阈值补偿值；
10、若识别到的小目标部件缺陷所在大目标部件对应的置信度大于识别到的小目标部件缺陷所在大目标部件预设的置信度阈值且两者的差值大于第二预设的置信度差值阈值，则在识别到的每种小目标部件缺陷设置的原置信度阈值的基础上减少预设的置信度阈值补偿值；所述第二预设的置信度差值阈值大于第一预设的置信度差值阈值。
11、通过采用上述方案，考虑到小目标部件缺陷所在大目标部件的识别置信度低会影响后续小目标部件的缺陷识别，根据大目标部件识别模型识别过程生成的置信度，小目标部件识别模型可动态调整其识别阈值；在小目标部件缺陷所在大部件目标识别的高置信度情况下，小目标部件缺陷识别的阈值可以适度降低，以增加敏感度，反之则提高阈值以减少误报。
12、优选的，所述大目标部件识别模型与小目标部件识别模型所选用的深度学习网络均为卷积神经网络，且大目标部件识别模型与小目标部件识别模型之间进行联合训练；所述联合训练设计有联合损失函数，联合损失函数根据大目标部件模型识别的损失函数与小目标部件模型识别的损失函数加权构建；
13、所述联合训练训练过程中，在每次训练迭代中，计算联合损失函数，于联合损失函数达到预设联合损失函数阈值且各模型的损失函数达到对应模型预设损失函数阈值时，停止迭代训练。
14、通过采用上述方案，采用联合训练的方式，不仅考虑每个模型自身的损失函数，还考虑协同损失函数，以衡量两个模型在协作识别大部件和小部件时的性能，实现更高效、准确的输电线路部件识别系统。
15、优选的，还包括：
16、获取与拍摄输入的输电线路无人机巡检图片同步的环境数据；
17、所述大目标部件识别模型与小目标部件识别模型所选用的卷积神经网络的输入均包括与拍摄输入的输电线路无人机巡检图片同步的环境数据，且将大目标部件识别模型中根据环境数据调整的特征权重以及学习频率一并共享至小目标部件识别模型。
18、通过采用上述方案，实现大目标部件和小目标部件模型之间信息交流，有助于提高识别模型的性能，特别是在处理复杂场景中的输电线路图片检测任务。
19、优选的，于针对识别出的大目标部件缺陷与小目标部件缺陷进行汇总后进行nms处理。
20、通过采用上述方案，针对特定的目标部件出现多个重叠的目标框，根据重叠度过滤掉置信度比较低的目标框，以降低每个类别的误检率。
21、优选的，对于同一目标部件识别出多种缺陷类型的情形，根据用户设置的部件缺陷类型优先级顺序，保留优先级顺序最高的部件缺陷类型。
22、通过采用上述方案，根据缺陷优先级进行过滤，只输出优先级高的缺陷，以进一步降低误检率。
23、优选的，所述大目标部件识别模型与小目标部件识别模型所选用的深度学习网络在训练前，需要对各自的训练数据进行平衡处理；所述平衡处理包括：
24、对于训练数据中一类目标部件缺陷数量大于第一预设目标部件缺陷数量的部分训练数据进行减量处理；对于训练数据中一类目标部件缺陷数量小于第二预设目标部件缺陷数量的部分训练数据进行增量处理；对于训练数据中目标部件类别数量小于预设目标部件类型数量的部分训练数据进行增量处理。
25、通过采用上述方案，为了避免由于训练数据中部分部件类别以及部分部件缺陷类别缺少导致部分部件以及部分部件缺陷识别率低，提升每个部件以及部件缺陷类别的识别率。
26、第二方面，本技术提供一种输电线路无人机巡检图片缺陷识别系统，包括：
27、输入图片分辨率放大处理模块，用于针对输电线无人机巡检图片进行图片分辨率放大处理；
28、输入图片大部件缺陷识别模块，用于将处理后的输电线无人机巡检图片输入大目标部件识别模型，识别大目标部件缺陷以及小目标部件缺陷所在大目标部件，获得识别到大目标部件缺陷对应的置信度；其中，针对输电线路中每种大目标部件缺陷设置置信度阈值，将识别到的每种大目标部件缺陷对应的置信度与对应置信度阈值进行比较，保留大于置信度阈值的识别到的每种大目标部件缺陷；所述大目标部件识别模型选用深度学习神经网络模型；所述大目标部件是指输电线路中实际部件尺寸大于预设部件尺寸的部件；
29、输入图片小部件缺陷识别模块，用于自分辨率放大处理后的输电线无人机巡检图片中切割出识别到的小目标部件缺陷所在大目标部件的图像，将切割出的图像输入小目标部件识别模型，识别小目标部件缺陷，获得小目标部件缺陷对应的置信度；其中，针对输电线路中每种小目标部件缺陷设置置信度阈值，将识别到的每种小目标部件缺陷对应的置信度与对应置信度阈值进行比较，保留大于置信度阈值的识别到的每种小目标部件缺陷，将保留的每种小目标部件缺陷映射至原未切割处理的输电线无人机巡检图片；所述小目标部件识别模型选用深度学习神经网络模型；所述小目标部件是指输电线路中实际部件尺寸不大于预设部件尺寸的部件；
30、输入图片缺陷汇总输出模块，用于针对识别出的大目标部件缺陷与小目标部件缺陷进行汇总，输出输电线路无人机巡检图片的缺陷识别结果。
31、通过采用上述方案，解决对于分辨率大且缺陷分布集中输电线路的缺陷识别准确率较低的问题，提高输电线路缺陷识别的准确率。
32、第三方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的方法。
33、第四方面，本技术提供一种计算机设备，所述计算机设备包括存储器、处理器及在所述存储器上存储并可运行的程序，所述程序被处理器执行时实现如上述方法的步骤。
34、综上，本技术具有以下有益效果为：
35、1、针对图片中大目标部件通过放大分辨率的方式用目标检测算法模型直接进行识别；对于小目标部件先检测出输电杆塔的主要部件，然后在检测出部件的基础上用目标检测算法模型检测部件上的小目标部件，通过这种分流递进的方式，在充分利用显存资源、识别速度较快的基础上，不但解决了图像分辨率大情况下大目标部件的识别并提高大目标部件缺陷识别率，而且能够对缺陷分布集中的小目标部件进行切割，分别进行小目标部件的缺陷识别，大幅度提高小目标部件缺陷的识别率；
36、2、于对输出的各个类别缺陷设置不同的置信度阈值，剔除低于置信度阈值的检测结果；并根据大目标部件类别缺陷的置信度动态的调整小目标部件类别缺陷的置信度阈值，降低大目标部件识别结果对于小目标部件识别结果的影响，降低各个特定类别缺陷的误检率。
37、3、对于大目标部件的识别模型与小目标部件识别模型进行联合训练与特征、模型参数交互，提升模型整体的识别率和模型性能。
1.一种输电线路无人机巡检图片缺陷识别方法，其特征在于，包括：
2.根据权利要求1所述的输电线路无人机巡检图片缺陷识别方法，其特征在于，识别到的每种小目标部件缺陷对应设置的置信度阈值为动态置信度阈值，具体动态置信度阈值根据识别到的每种小目标部件缺陷所在大目标部件对应的置信度确定，确定过程包括：
3.根据权利要求1所述的输电线路无人机巡检图片缺陷识别方法，其特征在于，所述大目标部件识别模型与小目标部件识别模型所选用的深度学习网络均为卷积神经网络，且大目标部件识别模型与小目标部件识别模型之间进行联合训练；所述联合训练设计有联合损失函数，联合损失函数根据大目标部件模型识别的损失函数与小目标部件模型识别的损失函数加权构建；
4.根据权利要求3所述的输电线路无人机巡检图片缺陷识别方法，其特征在于，还包括：
5.根据权利要求1所述的输电线路无人机巡检图片缺陷识别方法，其特征在于，于针对识别出的大目标部件缺陷与小目标部件缺陷进行汇总后进行nms处理。
6.根据权利要求1所述的输电线路无人机巡检图片缺陷识别方法，其特征在于，对于同一目标部件识别出多种缺陷类型的情形，根据用户设置的目标部件缺陷类型优先级顺序，保留优先级顺序最高的部件缺陷类型。
7.根据权利要求1所述的输电线路无人机巡检图片缺陷识别方法，其特征在于，所述大目标部件识别模型与小目标部件识别模型所选用的深度学习网络在训练前，需要对各自的训练数据进行平衡处理；所述平衡处理包括：
8.一种输电线路无人机巡检图片缺陷识别系统，其特征在于，包括：
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至7中任意一项所述的方法。
10.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器及在所述存储器上存储并可运行的程序，所述程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
