本发明涉及缺陷检测，尤其涉及基于多维特征融合的特征信息重构工业缺陷检测方法。
背景技术：
1、在工业检测中，缺陷检测是非常重要的一环。通过对产品进行缺陷检测，可以及时发现和修复问题，确保产品质量和安全。而传统的人工检测费时费力，还可能带来漏检误检的糟糕情况。所以，随着科技的发展，机器视觉被广泛引入到工业检测的缺陷检测领域，并且取得了优异的成效。
2、传统的工业缺陷检测技术基于纹理特征、形状特征和深度学习的方法进行检测。
3、基于纹理特征的缺陷检测方法可进一步分为两类：统计方法、信号处理方法。统计方法主要是将物体表面的灰度值分布视为随机分布，从统计学角度分析随机变量的分布，并通过直方图特征、灰度共生矩阵、局部二值模式、自相关函数、数学形态学等特征来描述灰度值的空间分布。信号处理方法主要将图像视为二维信号，从信号滤波器设计的角度对图像进行分析，因此又称频谱法。
4、基于形状特征的方法能够有效地利用图像中感兴趣的目标进行检索。其中，基于轮廓的方法是主要的方法类型。基于轮廓的方法通过描述物体的外边界特征获得图像的形状参数；具有代表性的方法是霍夫变换和傅立叶形状描述子。霍夫变换利用图像的全局特征将边缘像素连接起来形成区域的封闭边界，其理论基础是点对线的对偶性。主要用于检测瓶子表面缺陷；在roi提取阶段，采用快速霍夫变换检测光源边界线。
5、但是传统基于纹理特征、形状特征的检测方法往往基于简单的特征描述和分类方法、难以处理复杂的纹理和形状变化，并且传统的图像处理算法对于环境的明暗变化有比较敏感的反应，过亮或者过暗都会影响直方图的统计信息等等。
6、基于深度学习的方法还可分为基于重建和基于嵌入的工业缺陷检测方法两类。基于重建的工业缺陷检测技术基于自编码器ae在嵌入空间中对图像特征信息进行建模并从嵌入空间中进行重构。但是，由于这些异常信息不是在训练过程中进化出来的，所以不能重建。因此，检测图像与其重构图像的差值代表异常检测结果。基于嵌入的方法核心思想是利用预训练模型，保存目标特征信息，直接使用或间接使用。前者利用经过策略压缩的特征信息与样品特征信息比对定位异常，后者有将特征信息通过不同手段建立内存库，辅助异常定位。
7、基于重建的检测方法为了提高重建性能，在重建模块中使用了参数和计算量过大的神经网络模型，导致整个系统的参数量和计算量过大，无法满足实时性的要求。因为忽略了特征信息的利用，导致重建的性能效果无法达到最佳。基于嵌入的检测方法由于引入额外的计算模块以及嵌入模块的导致系统的泛化性能不高。
8、为了解决上述问题，本发明提出基于多维特征融合的特征信息重构工业缺陷检测方法。
技术实现思路
1、本发明的目的在于提出基于多维特征融合的特征信息重构工业缺陷检测方法以解决背景技术中所提出的问题：
2、传统缺陷检测方法对环境变化敏感、泛化能力差；无法满足实时性的要求；重建的性能效果不佳；系统的泛化性能不高。
3、为了实现上述目的，本发明采用了如下技术方案：
4、基于多维特征融合的特征信息重构工业缺陷检测方法，包括如下步骤：
5、s1：搭建裁剪型自编码器ae；
6、s2：引入教师网络指导裁剪型自编码器ae完成正常特征信息的重建目标；
7、s3：搭建嵌入模块，并定义一组内存，利用输入特征，对内存组进行相似度寻址，并以此得到重构特征；
8、s4：搭建mff模块完成encoder多尺度特征对decoder特性重建的指导；
9、s5：搭建轻量级分割网络完成缺陷的分割定位。
10、优选地，所述s1的裁剪型自编码器ae中，encoder和decoder都由未经过预训练的resnet18的前三个block组成，encoder表示为ek,k∈{1,λ,n}，decoder表示为dk,k∈{1,λ,n}；中间通过一个嵌入内存模块m进行链接；图像特征信息分别对应表示原始数据i到嵌入空间的投影；其中，ck、hk、wk分别表示第k层激活张量的通道数、高度和宽度。
11、优选地，所述s2的教师网络使用经过在imagenet数据集预训练后的resnet18模型，使用前三个block层的特征信息张量进行信息指导；利用余弦相似度作为kd损失；经过自编码器ae获得decoder的特征信息张量将正常图像in经过预训练的教师网络获得正常的特征信息张量k∈{1,λ,n}，以通道ck为轴计算和的矢量向余弦相似度损失，将所述相似度损失作为正常特征信息和异常特征信息的差异，通过降低所述相似度损失使自编码器ae具备异常图像的正常特征信息重建能力，相似度损失lrec(in,ica)计算如下：
12、
13、其中，dk(h,w)为矢量向余弦相似度损失；ica为异常图像。
14、优选地，所述s3中嵌入模块的输入为嵌入模块内部定义一组内存用于重构特征利用输入特征对内存组进行相似度寻址：
15、
16、其中，mi是内存组的子集；i为内存数量；w为输入特征与内存组特征的相似度集合；ωi代表输入特征与内存组特征的相似度；
17、相似度ωi通过余弦距离进行计算：
18、
19、
20、其中，是输入特征的一个子集；t0为向量的转置；
21、通过相似度的大小对内存组进行大小比例不同的特征重组，最终得到一个以查询特征为输入，重组特征为输出的一个处理过程，输出定义为
22、内存组m通过第一轮模型蒸馏训练方式得到；在所述第一轮模型蒸馏训练时，自编码器ae的模型输入正常样品图像in，数据经过encoder得到正常特征信息内存组内部经过模型参数的更新，将正常特征信息降维数据保存为内存数据；内存组经过相似度寻址，得到重构特征拟合和最后得到嵌入模块的内存组m。
23、优选地，所述s4中的mff模块输入为自编码器ae不同block的特征输出将e1,e2,e3进行池化处理，处理后完成特征维度的对齐，将拼接池化后的e1,e2,e3作为一个特征信息块；特征信息块内含有多个尺度的语义信息，通过1×1将block feature进行通道方向上的信息融合；对特征信息块进行通道调整，依次调整为对应的通道和特征尺寸，得到m3,m2,m1＝{pool(dk,k∈3,2,1)}；
24、所述mff模块还引入差异信息抑制功能；基于余弦公式衡量多尺度特征信息m3,m2,m1以及教师网络的特征信息张量之间的差异：
25、
26、利用激化函数relu(·)产生阈值，并且利用阈值抑制异常信息的传递：
27、
28、获得抑制异常信息的多尺度融合信息将直接作用于自编码器ae的decoder对应特征层中。
29、优选地，所述s5中的分割网络将异常图像作为输入的教师网络的特征信息{t1,t2,t3}，和将异常图像作为输入的ae自编码器的decoder的特征信息{sd1,sd2,sd3}，以所述特征信息之间的特征映射之差作为分割网络的输入；所述分割网络在分割之前还将待分割的数据信息进行降维处理；
30、所述分割网络中，通过ifc模块将高级语义特征的更深层信息逐步递进传递给浅层特征，所述ifc模块将来自分割网络encoder的输出作为ifc模块的输入，对各层输出进行卷积处理，再经过一个池化层；对不同尺度的特征块引入一个ca注意力处理块，特征块前后维度和通道经过ca注意力模块之后保持不变；经过ca block之后再次卷积调整通道数，此时得到经过下公式得到ifc模块的输出：
31、
32、再按照u-lite的基础结构，将经过处理的多尺寸特征信息与相对应的decoder特征信息块进行融合得到融合后的特征信息
33、
34、通过以上过程，ifc将最深层的特征信息逐层往上传递，每个浅层特征都包含自子层起更深层的特征信息，最后将相应的ifc输出多尺度特征信息传递到u-lite的decoder模块，最终完成分割功能，分割模块输出一个指定尺寸的分割值maskpre。
35、优选地，所述分割网络利用焦点损失和l1损失对分割训练进行优化；
36、将maskpre和anomalymaskgt进行线性采样到相同大小的尺寸，其中i，j代表图像的xy坐标：
37、
38、其中，γ是一个超参数；pij为线性采样结果；lfocal为焦点损失；ll1为l1损失；
39、通过上述焦点损失和l1损失两个损失函数完成分割网络的训练，分割网络模型最终输出一个展示检测样品像素点的分类的mask掩码。
40、与现有技术相比，本发明提供了基于多维特征融合的特征信息重构工业缺陷检测方法，具备以下有益效果：
41、本发明引入裁剪型自编码器ae完成缺陷样品的正常特征信息重建，裁剪掉了最深的卷积层大幅度减少了网络的参数量和计算量。且使用嵌入模块替代了剪辑的网络卷积层，防止系统性能的降低，增加了正常工业样品图像的特征信息，完成重建模块的重建功能。并且引入mff模块对ae重建模块中的encoder模块特征信息进行重利用；还在mff模块额外引入了信息矫正机制，防止在多维度特征信息重建中，异常信息的泄露导致重建性能下降的问题，利用教师网络的正常特征信息指导多维度特征信息的正确使用。
1.基于多维特征融合的特征信息重构工业缺陷检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于多维特征融合的特征信息重构工业缺陷检测方法，其特征在于，所述s1的裁剪型自编码器ae中，encoder和decoder都由未经过预训练的resnet18的前三个block组成，encoder表示为ek,k∈{1,λ,n}，decoder表示为dk,k∈{1,λ,n}；中间通过一个嵌入内存模块m进行链接；图像特征信息分别对应表示原始数据i到嵌入空间的投影；其中，ck、hk、wk分别表示第k层激活张量的通道数、高度和宽度。
3.根据权利要求1所述的基于多维特征融合的特征信息重构工业缺陷检测方法，其特征在于，所述s2的教师网络使用经过在imagenet数据集预训练后的resnet18模型，使用前三个block层的特征信息张量进行信息指导；利用余弦相似度作为kd损失；经过自编码器ae获得decoder的特征信息张量将正常图像in经过预训练的教师网络获得正常的特征信息张量以通道ck为轴计算和的矢量向余弦相似度损失，将所述相似度损失作为正常特征信息和异常特征信息的差异，通过降低所述相似度损失使自编码器ae具备异常图像的正常特征信息重建能力，相似度损失lrec(in,ica)计算如下：
4.根据权利要求1所述的基于多维特征融合的特征信息重构工业缺陷检测方法，其特征在于，所述s3中嵌入模块的输入为嵌入模块内部定义一组内存用于重构特征利用输入特征对内存组进行相似度寻址：
5.根据权利要求1所述的基于多维特征融合的特征信息重构工业缺陷检测方法，其特征在于，所述s4中的mff模块输入为自编码器ae不同block的特征输出将e1,e2,e3进行池化处理，处理后完成特征维度的对齐，将拼接池化后的e1,e2,e3作为一个特征信息块；特征信息块内含有多个尺度的语义信息，通过1×1将block feature进行通道方向上的信息融合；对特征信息块进行通道调整，依次调整为对应的通道和特征尺寸，得到m3,m2,m1＝{pool(dk,k∈3,2,1)}；
6.根据权利要求1所述的基于多维特征融合的特征信息重构工业缺陷检测方法，其特征在于，所述s5中的分割网络将异常图像作为输入的教师网络的特征信息{t1,t2,t3}，和将异常图像作为输入的ae自编码器的decoder的特征信息{sd1,sd2,sd3}，以所述特征信息之间的特征映射之差作为分割网络的输入；所述分割网络在分割之前还将待分割的数据信息进行降维处理；
7.根据权利要求6所述的基于多维特征融合的特征信息重构工业缺陷检测方法，其特征在于，所述分割网络利用焦点损失和l1损失对分割训练进行优化；
