本发明涉及图像处理，尤其涉及一种基于多教师知识蒸馏的轻量级rgb-d铁轨表面缺陷检测方法。
背景技术：
1、铁路运输作为现代交通网络的骨干，承载着大量的客货运输任务。其高效、经济的运输方式对经济发展起到了至关重要的作用。铁轨作为铁路系统的基础结构，其质量与状态直接关系到列车运行的安全性与可靠性。在铁路运营过程中，铁轨可能会因为多种因素出现疤痕、孔洞、划痕等缺陷，这些缺陷若不及时检测，可能会导致严重的事故，造成巨大的经济损失和人员伤亡。因此，铁轨表面缺陷的及时检测与维护是确保铁路运输安全的关键环节。
2、传统的铁轨表面缺陷检测方法主要依赖人工巡检或简单的自动化设备，这些方法往往效率低下，且容易受到人为因素和环境条件的影响。随着科技的进步，基于rgb-d(红绿蓝深度)技术的显著性目标检测方法开始应用于铁轨表面缺陷检测中。这些方法通过分析铁轨表面的rgb信息和深度信息，能够识别出潜在的缺陷区域。然而，传统的rgb-d显著性目标检测方法在特征提取上过度依赖人工设计的先验知识，这不仅增加了工作量，也限制了检测系统的泛化能力和鲁棒性。
3、近年来，随着卷积神经网络(cnn)的提出和深度学习技术的发展，基于深度学习的rgb-d显著性目标检测算法展现出了巨大的潜力。这些算法能够自动从大量数据中学习到铁轨表面缺陷的特征表示，无需人工干预，大大提高了检测的准确性和效率。然而，随着检测精度的提升，基于深度学习的模型往往需要更多的参数和更高的计算资源。由于实际的工程应用场景中，搭载算法的终端设备的资源以及算力有限，大量的性能优秀的模型由于模型参数量的限制无法实际应用在实际工程场景中。
4、为了解决这一问题，模型压缩技术应运而生。模型压缩旨在减少模型的参数量和计算复杂度，同时尽量保持模型的性能。常见的模型压缩的技术有：剪枝、量化和知识蒸馏，其中知识蒸馏是使用最广泛的模型压缩技术。知识蒸馏通过设计一个性能良好的教师网络和一个轻量的学生网络，将精度更高的教师网络中提取到的更加高级的特征，在训练迭代中，不断的传递给参数量较小的学生网络，使得学生网络能够不断学习教师网络中传递出来的知识，从而使得学生网络的性能得到进一步的提升，同时保持较小的计算复杂度。
5、大部分知识蒸馏的架构都设计一个教师网络对应着一个学生网络，并设计一系列的蒸馏损失进行约束，从而保证学生模型能够很好的接收来自教师网络中有价值的知识。但是一个教师的能力有一定的局限性，当学生模型参数量很小时，单个教师模型的单一知识结构可能对于学生模型性能的提升相当有限，导致有一部分知识在迁移过程中并不能很好的为学生模型所利用，这就需要探索更有效的知识蒸馏策略。
6、因此，提出一种基于多教师知识蒸馏的轻量级rgb-d铁轨表面缺陷检测方法，来解决现有技术存在的困难，是本领域技术人员亟需解决的问题。
技术实现思路
1、有鉴于此，本发明提供了一种基于多教师知识蒸馏的轻量级rgb-d铁轨表面缺陷检测方法，提高了铁轨表面缺陷图像的检测效率和准确度。
2、为了实现上述目的，本发明采用如下技术方案：
3、一种基于多教师知识蒸馏的轻量级rgb-d铁轨表面缺陷检测方法，包括训练阶段和测试阶段两个过程：
4、其中，训练阶段过程的具体步骤为：
5、s1-1、选取多幅原始的铁轨表面缺陷图像和每幅原始的铁轨表面缺陷图像对应的深度图及真实显著性铁轨表面缺陷图像，构成训练集；
6、s1-2、基于s1中获得的训练集，构建知识蒸馏卷积神经网络，包括双流教师卷积神经网络以及学生卷积神经网络，其中，双流教师卷积神经网络包括：第一教师卷积神经网络、第二教师卷积神经网络；
7、s1-3、将第一教师卷积神经网络和第二教师卷积神经网络进行训练，分别得到第一教师卷积神经网络和第二教师卷积神经网络的权重；
8、s1-4、将训练集中的每幅原始的铁轨表面缺陷图像和对应的深度图进行数据增强，作为原始输入图像，输入到知识蒸馏卷积神经网络中进行训练，得到对应的预测铁轨表面缺陷图像；
9、s1-5、计算预测图与对应的真实图像之间的损失函数值；
10、s1-6、重复执行s1-4和s1-5直到卷积神经网络收敛，在训练过程中使用平均绝对误差作为保存网络权重的标准，得到多教师的知识蒸馏框架；
11、测试阶段包括以下步骤：
12、s2-1：选取测试集中的第p组待检测的铁轨表面缺陷图像，并标记为ip，其中，1≤p≤p，p＝362；
13、s2-2：基于s1中训练结果构建多教师知识蒸馏框架，并将第p组待检测的铁轨表面缺陷图像的各种通道输入到多教师知识蒸馏框架，输出铁轨表面缺陷图像对应的显著性铁轨表面缺陷预测图，得到的预测图像记为sppre。
14、上述的方法，可选的，s1-2中知识蒸馏卷积神经网络包括：双流教师卷积神经网络以及单流学生卷积神经网络；
15、其中，第一教师卷积神经网络将rgb图像和深度图像作为输入，包括骨干网络、自适应通道配准模块和多级频域交织解码器；
16、第一教师卷积神经网络使用shunted-b作为骨干网络；
17、第二教师卷积神经网络将rgb图像和深度图像作为输入，包括骨干网络、自适应通道配准模块和多级频域交织解码器；
18、第二教师卷积神经网络使用shunted-s作为骨干网络；
19、单流学生卷积神经网络将rgb图像作为模型的输入，使用shunted-t作为骨干网络，由自适应通道配准模块和多级频域交织解码器两个部分组成。
20、上述的方法，可选的，第一教师卷积神经网络：
21、rgb图像依次经过第一教师卷积神经网络骨干第一层，第一教师卷积神经网络骨干第二层，第一教师卷积神经网络骨干第三层和第一教师卷积神经网络骨干第四层；
22、深度图像依次经过第一教师卷积神经网络骨干第五层，第一教师卷积神经网络骨干第六层，第一教师卷积神经网络骨干第七层和第一教师卷积神经网络骨干第八层；
23、垂直方向对应的由教师骨干网络输出的特征输入到第一教师自适应配准模块一、第一教师自适应通道配准模块二、第一教师自适应通道配准模块三和第一教师自适应通道配准模块四，并在第一教师自适应通道配准模块间逐层传递；
24、最后将得到的自适应通道配准特征传递到对应的第一教师多级频域交织解码器一、第一教师多级频域交织解码器二、第一教师多级频域交织解码器三和第一教师频域交织解码器四中，最后得到第一教师预测输出一、第一教师预测输出二、第一教师预测输出三和第一教师预测输出四。
25、上述的方法，可选的，第二教师卷积神经网络：
26、rgb图像依次经过第二教师卷积神经网络骨干第一层，第二教师卷积神经网络骨干第二层，第二教师卷积神经网络骨干第三层和第二教师卷积神经网络骨干第四层；
27、深度图像依次经过第二教师卷积神经网络骨干第五层，第二教师卷积神经网络骨干第六层，第二教师卷积神经网络骨干第七层和第二教师卷积神经网络骨干第八层；
28、垂直方向对应的由教师骨干网络输出的特征输入到第二教师自适应配准模块一、第二教师自适应通道配准模块二、第二教师自适应通道配准模块三和第二教师自适应通道配准模块四，并在第二教师自适应通道配准模块间逐层传递；
29、最后将得到的自适应通道配准特征传递到对应的第二教师多级频域交织解码器一、第二教师多级频域交织解码器二、第二教师多级频域交织解码器三和第一教师频域交织解码器四中，最后得到第二教师预测输出一、第二教师预测输出二、第二教师预测输出三和第二教师预测输出四。
30、上述的方法，可选的，单流学生网络：
31、rgb图像依次经过学生骨干网络第一层，学生骨干网络第二层，学生骨干网络第三层和学生骨干网络第四层；
32、垂直方向对应的由学生骨干网络输出的特征输入到学生自适应配准模块一、学生自适应通道配准模块二、学生自适应通道配准模块三和学生自适应通道配准模块四，并在学生自适应通道配准模块间逐层传递；
33、最后将得到的自适应通道配准特征传递到对应的学生多级频域交织解码器一、学生多级频域交织解码器二、学生多级频域交织解码器三和学生频域交织解码器四中，最后得到学生预测输出一、学生预测输出二、学生预测输出三和学生预测输出四。
34、上述的方法，可选的，s2-2中多教师知识蒸馏框架包括：
35、(1)将第一教师卷积神经网络的权重和第二教师卷积神经网络的权重冻结，设计超球面对比蒸馏损失，得到超球面映射特征以及频域注意力特征，其中，蒸馏损失包括：通过最终预测图的蒸馏损失和频域注意力蒸馏损失；
36、(2)将训练集中的每幅原始的铁轨表面缺陷图像和对应的深度图经明亮度、对比度、色彩调节和随机翻转、裁剪进行数据增强后作为原始输入图像，输入到卷积神经网络中进行训练，得到显著性预测铁轨表面缺陷图像，记为spre；
37、(3)计算预测图与对应的真实图像之间的损失函数值；
38、(4)重复执行(2)和(3)，直到卷积神经网络收敛，在训练过程中使用平均绝对误差作为保存网络权重的标准，将最小平均绝对误差值的网络权重保存下来，作为学生网络模型训练的输出，对应记为得到多教师知识蒸馏框架。
39、上述的方法，可选的，超球面映射特征：
40、首先，将第一教师自适应通道配准特征一至四分别进行第一教师超球面映射得到四个超球面映射特征记作同样，将第二教师自适应通道配准特征一至四分别进行第二教师超球面映射得到四个超球面映射特征记作最后，将学生自适应通道配准特征一至四分别进行学生超球面映射得到四个超球面映射特征记作
41、频域注意力特征：
42、首先，将第一教师多级频域交织特征一至四分别进行第一教师频域注意力得到四个频域注意力特征记作同样，将第二教师多级频域交织特征一至四分别进行第二教师频域注意力得到四个频域注意力特征记作最后，将学生多级频域交织特征一至四分别做学生频域注意力得到四个频域注意力特征记作
43、上述的方法，可选的，计算预测图与对应的真实图像之间的损失函数值：
44、采用二元交叉熵损失计算真实语义分割图像{itrue(i,j)}组成的集合与显著铁轨表面缺陷预测图构成的集合的损失，之间的损失函数值bceloss(itrue(i,j),spre)；采用图像目标检测任务的损失函数(iou)计算真实语义分割图像组成的集合{itrue(i,j)}与显著铁轨表面缺陷预测图构成的集合的损失，之间的损失函数值iou(itrue(i,j),spre)，利用这两个损失的加法和作为损失函数值；
45、其次，冻结第一教师卷积神经网络和第二教师卷积神经网络的梯度更新，利用对比损失对超球面映射特征进行约束进行知识迁移，记为：
46、
47、其中i＝1，2，3，4；
48、利用kl散度对频域注意力特征进行知识转移；
49、记为
50、其中i＝1，2，3，4；
51、最后，同样利用二进制交叉熵损失和交并比的结合方法对第一教师网络的预测图和第二教师网络的预测图同学生网络的预测图进行约束，从而进一步提升学生模型的性能，记为：
52、
53、上述的方法，可选的，s2-2中具体内容包括：
54、将第p组待检测的铁轨表面缺陷图像的各种通道输入到多教师知识蒸馏框架中，各种通道包括：r通道分量、g通道分量、b通道分量和深度图分量，输出铁轨表面缺陷图像对应的显著性铁轨表面缺陷预测图，得到的预测图像记为
55、经由上述的技术方案可知，与现有技术相比，本发明一种基于多教师知识蒸馏的轻量级rgb-d铁轨表面缺陷检测方法，具有以下有益效果：
56、通过对比超球面特征映射蒸馏和频域注意力蒸馏和对应预测图蒸馏的方式，将双流的多教师网络中的知识转移到较为轻量的单流学生网络中，在保证单流学生模型参数量保持较小程度的同时，尽可能的提升学生模型性能。数据预处理使用数据增强后的铁轨表面缺陷图像输入到卷积神经网络中进行训练，得到显著性铁轨表面缺陷预测图；在测试阶段，将待检测的铁轨表面缺陷图像输入到单流学生网络训练模型中，得到显著性铁轨表面缺陷预测图；优点是提高了铁轨表面缺陷图像的检测效率和准确度。
1.一种基于多教师知识蒸馏的轻量级rgb-d铁轨表面缺陷检测方法，其特征在于，包括训练阶段和测试阶段两个过程：
2.根据权利要求1所述的一种基于多教师知识蒸馏的轻量级rgb-d铁轨表面缺陷检测方法，其特征在于，
3.根据权利要求2所述的一种基于多教师知识蒸馏的轻量级rgb-d铁轨表面缺陷检测方法，其特征在于，
4.根据权利要求2所述的一种基于多教师知识蒸馏的轻量级rgb-d铁轨表面缺陷检测方法，其特征在于，
5.根据权利要求2所述的一种基于多教师知识蒸馏的轻量级rgb-d铁轨表面缺陷检测方法，其特征在于，
6.根据权利要求1所述的一种基于多教师知识蒸馏的轻量级rgb-d铁轨表面缺陷检测方法，其特征在于，
7.根据权利要求6所述的一种基于多教师知识蒸馏的轻量级rgb-d铁轨表面缺陷检测方法，其特征在于，
8.根据权利要求7所述的一种基于多教师知识蒸馏的轻量级rgb-d铁轨表面缺陷检测方法，其特征在于，
9.根据权利要求1所述的一种基于多教师知识蒸馏的轻量级rgb-d铁轨表面缺陷检测方法，其特征在于，
