本发明涉及电力系统缺陷图像生成,尤其涉及一种面向全局特征感知的缺陷图像模型生成方法。
背景技术:
1、变电站在电网中承担着电压转换和电能分配的重要作用,它的安全可靠运行是电网安全稳定的基础,变电设备的正常运行对变电站安全生产有着重要意义。变电设备可被发现的外部缺陷包括金属锈蚀、设备渗漏油、悬挂物(异物等)等,及时的发现并排除这些影响变电设备正常运行的安全隐患对保障变电站的安全可靠运行有着重大意义。
2、在变电站缺陷检测场景下,变电设备缺陷图像不足严重影响了缺陷检测的性能,可以通过生成更多的样本作为数据增强来解决这一问题。采用传统的数据增强方法对缺陷样本进行扩充,如对缺陷样本进行旋转、平移和添加噪声等操作,可以有效扩充缺陷样本的数量,丰富缺陷样貌。但是采用传统的数据增强方法只能在一定程度上扩充缺陷样本的数据量,扩充后的缺陷样貌与原始的缺陷样貌依然比较相似,训练出来的模型容易出现过拟合等现象,对提升深度学习模型的性能帮助有限。近年来,在类不平衡图像的异常检测中,生成对抗模型(generative adversarial network,gan)逐步被应用在样本生成的领域中并取得不错的成果。但是,由于变电站设备背景复杂、缺陷类型特征丰富,传统gan生成的缺陷图像中背景和缺陷都较模糊,无法控制缺陷生成的大小和位置。
3、因此,亟需提供一种能够快速扩充缺陷样本的数量,丰富变电设备缺陷的样本的面向全局特征感知的缺陷图像模型生成方法。
技术实现思路
1、本发明所要解决的技术问题是提供一种面向全局特征感知的缺陷图像模型生成方法。
2、为解决上述问题,本发明所采取的技术方案是:
3、一种面向全局特征感知的缺陷图像模型生成方法,所述方法包括:
4、步骤一、确定缺陷生成需要的多个目标变电站设备;
5、步骤二、针对任意一个所述目标变电站设备,获取包含所述目标变电站设备的多个原始图像,所述原始图像包括所述目标变电设备的正常图像、以及带有缺陷的缺陷图像;
6、步骤三、对获取的所有原始图像进行图像增强与均衡性处理;
7、步骤四、基于所有处理后的图像构建变电站设备图像数据集;
8、步骤五、搭建基于改进全局特征感知模型的变电站自动巡检初始缺陷图像生成模型;
9、步骤六、利用步骤四得到的变电站设备图像数据集对步骤五得到的初始缺陷图像生成模型进行训练得到所述面向全局特征感知的缺陷图像模型。
10、作为发明的一种实施方式,步骤一中的目标变电站设备包括表计、变压器、绝缘子和套管。
11、作为发明的一种实施方式,步骤二中,所述目标图像的获取方式包括:搜集各变电站通过监控图像拍摄的设备图像、获取网络公开数据、以及实地拍摄的视频抽帧获取图像。
12、作为发明的一种实施方式,步骤三中,使用直方图均衡化的方法对原始图像中亮度较暗的区域进行增强。
13、作为发明的一种实施方式,步骤四包括:
14、步骤s401、设备种类确认:以相关技术规范为参考,根据缺陷生成需求,将目标确认为设备表计、变压器套管、设备本体、绝缘体四个类别;
15、步骤s402、图像数据集确认:对所有处理后的图像按照设备类别组成变电站设备图像数据集;
16、步骤s403、统一图像命名格式:对缺陷生成目标数据集进行命名标准统一处理。
17、作为发明的一种实施方式,所述步骤五包括:
18、步骤s501、环境部署:从github下载模型源码文件,配置anaconda虚拟环境,使用创建python=3.7的虚拟环境,查看cuda版本,并安装相应的pytorch环境;
19、步骤s502、配置超参数:设置学习率、批样本数量、训练轮数、训练和测试图像尺寸;
20、步骤s503、搭建基础模型:使用特征感知图像生成模型作为基础模型;
21、步骤s504、模型改进:对所述基础模型进行改进,得到改进全局特征感知模型;
22、步骤s505、利用变电站设备图像数据集对所述改进全局特征感知模型进行训练得到所述面向全局特征感知的缺陷图像模型。
23、作为发明的一种实施方式,所述步骤s503中,所述特征感知图像生成模型由生成器和判别器组成;
24、其中,所述生成器包括骨干模块和缺陷感知残差模块,所述骨干模块采用stylegan2的原始结构;所述缺陷感知残差模块从64×64分辨率开始处理特征,由tomask模块的掩码控制处理区域,两部分的权重均由相应的映射网络调节;所述判别器负责判断图像的真实性。
25、作为发明的一种实施方式,步骤s504包括:
26、(1)增加缺陷感知残差块
27、所述缺陷感知残差块与主干的合成块具有相似的结构,当附加第一个残差块的分辨率为64时,合成块s和残差块r均从分辨率为32的最后一个合成块中提取特征f32,分别输出对象特征图和缺陷残差特征图其中n为通道数;
28、额外的tomask模块与主干对应的torgb模块一样,通过生成掩膜来确定当前图像的缺陷区域。仅将缺陷像素(掩膜m上的非负值)对应的残差特征添加到目标特征图中,得到合成的特征图f64:
29、
30、其中(i,j)表示特征图或掩膜上的任意像素;
31、(2)增加一个匹配判别器dmatch
32、在原判别器d的基础上增加与原始判别器d具有几乎相同的架构的匹配判别器dmatch,在输入dmatch之前,先对图像和掩膜进行特征联合,通过输出分数判断这些缺陷图像是否与其相应的缺陷掩膜匹配;
33、dmatch通过r1正则化优化wasserstein对抗损失进行监督。
34、(3)引入注意力机制
35、所述注意力机制为输入x∈rh×w×c表示隐藏层中的图像特征,首先经过三个1×1卷积结构的分支f(x)、g(x)和h=(x),其中f(x)=wfx,g(x)=wgx,线性变换后的特征图的尺寸均不变,f(x)和g(x)进行了通道数压缩,h(x)的输出保持通道数不变;
36、然后对于h和w两个维度进行合并为n,即n=h×w,将张量f(x)的输出转置后和张量g(x)的输出矩阵相乘得到g(x)f(x)t,经过softmax归一化得到一个n×n的注意力映射矩阵β,表示模型j区域的图像内容关于i区域的相关性,即
37、
38、再将代表全局信息的注意力映射矩阵β和局部信息的输出h(x)进行矩阵相乘得到规模为[n,c]的自注意力特征o=(o1,o2,…on)∈rn×c,其中,
39、最后将自注意力特征经过一个1ⅹ1的卷积结构,并把输出o重新调整规模为[h,w,c]得到此时的自注意力特征映射;
40、(4)损失函数改进
41、采用下述公式得到损失函数:
42、l(g,d,dmatch)=lstylegan(g,d)+
43、lmatch(g,dmatch)+llms(g);
44、其中:lstylegan为stylegan2使用的原始损失函数;lmatch为dmatch的损失函数;lms为模式寻求损失,λ为0.1。
45、采用上述技术方案所产生的有益效果在于:
46、本发明提出的一种面向全局特征感知的缺陷图像模型生成方法,确定缺陷生成需要的多个目标变电站设备;针对任意一个所述目标变电站设备,获取包含所述目标变电站设备的多个原始图像,所述原始图像包括所述目标变电设备的正常图像、以及带有缺陷的缺陷图像;对获取的所有原始图像进行图像增强与均衡性处理;基于所有处理后的图像构建变电站设备图像数据集;搭建基于改进全局特征感知模型的变电站自动巡检初始缺陷图像生成模型;利用得到的变电站设备图像数据集对初始缺陷图像生成模型进行训练得到所述面向全局特征感知的缺陷图像模型,其能够实现在只有少量缺陷样本的情况下,生成较真实的缺陷样本,快速的扩充缺陷样本的数量的目的,极大地丰富了变电设备缺陷的样本。
1.一种面向全局特征感知的缺陷图像模型生成方法,其特征在于,所述方法包括:
2.根据权利要求1所述的一种面向全局特征感知的缺陷图像模型生成方法,其特征在于,步骤一中的目标变电站设备包括表计、变压器、绝缘子和套管。
3.根据权利要求1所述的一种面向全局特征感知的缺陷图像模型生成方法,其特征在于,步骤二中,所述目标图像的获取方式包括:搜集各变电站通过监控图像拍摄的设备图像、获取网络公开数据、以及实地拍摄的视频抽帧获取图像。
4.根据权利要求1所述的一种面向全局特征感知的缺陷图像模型生成方法,其特征在于,步骤三中,使用直方图均衡化的方法对原始图像中亮度较暗的区域进行增强。
5.根据权利要求1所述的一种面向全局特征感知的缺陷图像模型生成方法,其特征在于,步骤四包括:
6.根据权利要求1所述的一种面向全局特征感知的缺陷图像模型生成方法,其特征在于,所述步骤五包括:
7.根据权利要求6所述的一种面向全局特征感知的缺陷图像模型生成方法,其特征在于,所述步骤s503中,所述特征感知图像生成模型由生成器和判别器组成;
8.根据权利要求7所述的一种面向全局特征感知的缺陷图像模型生成方法,其特征在于,步骤s504包括:
