本发明涉及电力视觉，具体涉及一种电力视觉知识蒸馏方法及系统。
背景技术：
1、随着电力行业的快速发展和智能化水平的不断提升，电力视觉技术在电力系统的监控、管理和运维中愈发重要。电力视觉技术主要利用图像处理和计算机视觉算法对电力设备、线路和环境进行实时监测和识别，以实现故障预警、状态评估和智能控制等功能。
2、然而，当前电力视觉技术的应用面临着挑战。首先，电力视觉系统通常需要处理大量的图像和视频数据，对计算资源的需求较大。其次，为了提高识别的准确性和稳定性，电力视觉系统通常采用复杂的深度学习模型，但这些模型往往参数众多、计算量大，难以在资源受限的环境中实时运行。
技术实现思路
1、发明目的：本发明的第一目的是提供一种资源消耗减少、效率高、适用场景广泛的电力视觉知识蒸馏方法，第二目的是提供一种与上述电力视觉知识蒸馏方法相对应的电力视觉知识蒸馏系统。
2、技术方案：一种电力视觉知识蒸馏方法，包括以下步骤：
3、(1)收集电力视觉图像数据，建立电力视觉数据集；
4、(2)构建第一模型，将电力视觉数据集输入第一模型进行训练，直到第一模型对电力视觉数据集的识别准确率大于设定值，得到教师模型；
5、(3)构建第二模型，将教师模型的检测框架与第二模型的骨干网络结合，构建学生模型；
6、(4)将电力视觉数据集同时输入教师模型与学生模型，得到输出结果，利用复合损失函数计算教师模型与学生模型输出结果间的差异度；
7、(5)使用反向传播算法和adam优化器根据差异度更新学生模型的参数；
8、(6)重复步骤(4)-(5)，通过若干轮迭代使得差异度小于设定值，输出学生模型。
9、具体的，电力视觉图像数据包括带有标签标注的电力设备、电网线路、变电站环境的图像数据。
10、优选的，步骤(1)还包括：对电力视觉图像数据进行预处理，包括清洗、标注、划分、增强操作。
11、优选的，本方法还包括以下步骤：
12、(7)对步骤(6)输出的学生模型进行性能评估，输出评估指标。
13、具体的，评估指标包括识别精度、计算速度、模型大小、资源消耗。
14、具体的，复合损失函数由软标签损失函数与硬标签损失函数加权计算得到。软标签损失函数为相对熵损失函数，计算公式如下：
15、
16、式中：lsoft为软标签损失函数，p为教师模型的概率分布，q为学生模型的概率分布，n为概率分布的类别数；
17、硬标签损失函数为交叉熵损失函数，计算公式如下：
18、
19、式中：lhard为硬标签损失函数，yi为硬标签的编码，qi为学生模型对于类别i的预测概率，n为概率分布的类别数；
20、复合损失函数计算公式如下：
21、l＝α·lsoft+(1-α)·lhard
22、式中：α为设定的权重系数。
23、具体的，步骤(5)包括：计算差异度对学生模型的参数的梯度，计算梯度的一阶矩估计及二阶矩估计，利用adam优化器自动调整学生模型的参数的学习率，利用反向传播算法沿着梯度反方向更新学生模型的参数，减小差异度。
24、具体的，第一模型包括yolov5模型、rcnn模型(reagion-based convolutionalneural networks，基于区域的卷积神经网络模型)；第二模型包括mobilenet模型、yolov4-tiny模型。
25、本发明还提供一种电力视觉知识蒸馏系统，包括：
26、数据集生成模块：用于收集电力视觉图像数据，建立电力视觉数据集；
27、教师模型训练模块：用于构建第一模型，将电力视觉数据集输入第一模型进行训练，直到第一模型对电力视觉数据集的识别准确率大于设定值，得到教师模型；
28、学生模型构建模块：用于构建第二模型，将教师模型的检测框架与第二模型的骨干网络结合，构建学生模型；
29、知识蒸馏模块：用于将电力视觉数据集同时输入教师模型与学生模型，得到输出结果，利用复合损失函数计算教师模型与学生模型输出结果间的差异度；
30、优化训练模块：用于使用反向传播算法和adam优化器根据差异度更新学生模型的参数；
31、参数迭代模块：用于重复运行知识蒸馏模块与优化训练模块，通过若干轮迭代使得差异度小于设定值，输出学生模型。
32、有益效果：与现有技术相比，本发明的显著效果是：
33、1、通过构建教师-学生模型进行知识蒸馏，将大型复杂电力视觉模型的知识有效迁移到小型轻量化模型中，在大大减少计算资源和存储空间的同时能保持较高的识别精度和计算性能。
34、2、电力系统的实际运行环境存在资源有限、地区偏远等问题，通过模型规模的压缩，提高了电力视觉系统在资源受限环境中的适用性和部署的灵活性。
35、3、通过模型的结构精简，减少了模型参数的数量和计算的复杂度，提升了处理速度和响应时间，满足了电力系统对于实时监控和快速决策的需求。
1.一种电力视觉知识蒸馏方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的电力视觉知识蒸馏方法，其特征在于：所述电力视觉图像数据包括带有标签标注的电力设备、电网线路、变电站环境的图像数据。
3.根据权利要求1所述的电力视觉知识蒸馏方法，其特征在于：所述步骤(1)还包括：对电力视觉图像数据进行预处理，包括清洗、标注、划分、增强操作。
4.根据权利要求1所述的电力视觉知识蒸馏方法，其特征在于：还包括以下步骤：
5.根据权利要求4所述的电力视觉知识蒸馏方法，其特征在于：所述评估指标包括识别精度、计算速度、模型大小、资源消耗。
6.根据权利要求1所述的电力视觉知识蒸馏方法，其特征在于：所述复合损失函数由软标签损失函数与硬标签损失函数加权计算得到。
7.根据权利要求6所述的电力视觉知识蒸馏方法，其特征在于：所述软标签损失函数为相对熵损失函数，计算公式如下：
8.根据权利要求1所述的电力视觉知识蒸馏方法，其特征在于：所述步骤(5)包括：计算差异度对学生模型的参数的梯度，计算梯度的一阶矩估计及二阶矩估计，利用adam优化器自动调整学生模型的参数的学习率，利用反向传播算法沿着梯度反方向更新学生模型的参数，减小差异度。
9.根据权利要求1所述的电力视觉知识蒸馏方法，其特征在于：所述第一模型包括yolov5模型、rcnn模型；第二模型包括mobilenet模型、yolov4-tiny模型。
10.一种电力视觉知识蒸馏系统，其特征在于，包括：
