本发明涉及异常识别，更具体地说，本发明涉及一种基于机器学习的变电设备异常识别系统及识别方法。
背景技术：
1、变电设备是电力系统中用于电压变换、电流变换、直流交流变换、以及保护、控制、调节、测量和补偿等功能的设备。
2、申请公开号cn110889441a的中国专利公开了一种基于距离和点密度的变电设备数据异常识别方法，先通过聚类分析，然后利用基于距离的异常点识别方法对分类后的数据进行识别，同时融合了基于密度的异常点识别方法，最后构建评价指标进行识别。
3、授权公告号cn104331521b的中国专利公开了基于图像处理的变电设备异常自动识别方法，将变电设备影像数据的像素点进行分类，形成二值图像；根据识别出的变电站设备二值图像信息，结合红外图像数据库信息判定故障类型。
4、申请公开号cn112418202a的中国专利公开了一种基于maskrcnn的变电设备异常识别定位方法及系统，此发明采用iforest算法对预处理后的运行数据进行异常值识别，并利用k-means聚类策略对异常值进行标记，结合maskrcnn目标识别网络模型进行初步识别，并通过添加lssvm定位模型，增强了设备异常位置的定位识别能力。
5、但是变电设备的监测和检查每一次未必都是必要的，上述专利均没有考虑到减少不必要的检查，平衡异常识别的频率和深度，优化资源使用，减少检测和人工成本的资源浪费。
6、鉴于此，本发明提出一种基于机器学习的变电设备异常识别系统及识别方法以解决上述问题。
技术实现思路
1、为了克服现有技术的上述缺陷，本发明的实施例提供一种基于机器学习的变电设备异常识别系统及识别方法。
2、为实现上述目的，本发明提供如下技术方案：
3、一种基于机器学习的变电设备识别方法，包括：
4、收集变压器绝缘参数；变压器绝缘参数包括：变压器油中气体含量与介质损耗因数；收集变压器电气参数、变压器温动数据、设备上次检修时间与设备历史检修频率；变压器温动数据式中：t为变压器温度，f为变压器振动频率，a为变压器振动加速度；
5、将变压器绝缘参数，变压器温动数据与变压器电气参数作为设备参数；基于设备参数训练输出设备健康得分的机器学习模型；
6、定义状态空间与动作空间；所述状态空间包括了设备状态与资源状态；设备状态包括设备健康得分、设备上次检修时间与设备历史故障率；资源状态包括：可用检测设备、人力资源与时间预算；所述动作空间包括：选择下一个要检测的设备；调用的检测人员人数以及对应的等级；决定要使用的空闲检测设备；决定检测程度；调整检测频率；
7、设置奖励函数与累积奖励，奖励函数r_t＝检测完成奖励+健康得分改善奖励+异常检测奖励+故障预防奖励-资源使用惩罚+时间管理奖励+检测频率调整奖励-误报惩罚+设备利用率奖励；时间步t是指在强化学习中，从初始状态开始经过的连续的步长数为t；累积奖励r_t＝r_t+γ*r_{t+1}+γ^2*r_{t+2}+...+γ^(t-t)*r_t；式中：r_t为当前时间步t开始到终止时间步t的所有即时奖励的折现和，r_{t+1}为时间步为t+1时的即时奖励值；r_{t+2}为时间步为t+2时的即时奖励值；
8、通过actor-critic算法训练强化学习模型，完成异常识别策略，将训练好的异常识别策略应用于实际的变电设备异常识别与检测中。
9、优选的，变压器绝缘参数由每次工作人员测量后同步更新上传给云端，当未更新变压器绝缘参数时，选取最近一次的测量结果作为变压器绝缘参数；
10、所述变压器电气参数包括变压器的电流与电压；
11、设备历史检修频率为从当前时间往前1000小时内的检修次数；设备上次检修时间为设备离当前时间最近的一次检修的具体时间，精确到分钟；
12、可用检测设备以列表形式表示，包括每种检测设备数量和空闲/占用的状态；检测设备为检查变压器使用的检测设备；人力资源包括按技能等级分类的检测人员空闲数量；技能等级分类包括初级检测工程师、中级检测工程师与高级检测工程师；
13、时间预算为当前工作日剩余的工作小时数。
14、优选的，所述机器学习模型的训练过程包括：
15、将一组设备参数转化为特征向量，将设备健康得分作为特征向量对应的标签，设备健康得分为0-100的正整数；将每组特征向量和与每组特征向量对应的标签构建为一个样本，收集多个样本构建为数据集；所述数据集分为训练集、验证集和测试集，其中训练集占数据集的70％，验证集占数据集的20％，测试集占数据集的10％；
16、将训练集作为机器学习模型的输入，所述机器学习模型以实时的设备健康得分作为输出；以实时的一组特征向量所对应的设备健康得分作为预测目标，以最小化机器学习模型损失函数值作为训练目标；当机器学习模型损失函数值小于等于预设的目标损失值时停止训练；
17、所述机器学习模型损失函数为均方误差；均方误差通过将损失函数最小化来训练模型；损失函数中mse为损失函数值，i为特征向量组号；u为特征向量组数；yi为第i组特征向量对应的标签，为第i组特征向量预测的设备健康得分；
18、所述机器学习模型为随机森林模型；
19、优选的，检测程度包括快速检查、常规检查与深度检查；快速检查为目视检查或使用简单工具进行快速测量；常规检查使用常规设备进行标准的检测流程，深度检查使用专业设备进行全面检查；检测频率调整范围为[-30％,+30％]，表示相对于当前设备历史检修频率的调整比例。
20、优选的，奖励函数的设计过程包括：
21、检测完成奖励；每完成一次设备检测，奖励+5分；
22、健康得分改善奖励，设备健康得分每提高1分，额外奖励+2分；
23、异常检测奖励；成功检测到异常情况，奖励+10分；
24、故障预防奖励：如果检测并解决了可能导致重大故障的问题，奖励+50分；
25、资源使用惩罚；使用快速检查，惩罚-1分；使用常规检查，惩罚-3分；使用深度检查，惩罚-5分；同时初级检测工程师惩罚系数为1；中级检测工程师惩罚系数为1.5；高级检测工程师惩罚系数为3；将使用的检查程度乘调用的工程师等级对应的惩罚系数作为资源使用惩罚，当调用工程师有多个时，每个工程师依次叠加资源使用惩罚；
26、时间管理奖励，如果在工作日结束前完成所有计划的检测，奖励+7分；
27、检测频率调整奖励，设置检测频率调整评价值e＝δh/δf；其中，δh为这一次设备健康得分与上次设备健康得分的变化，δf为这一次与上一次检测频率调整的差值，当e>e1，奖励+10分；当e2<e≤e1，奖励+5分；e1与e2为预设的检测频率调整评价阈值；
28、误报惩罚；报告不存在的问题，惩罚-15分，未能发现实际存在的问题，惩罚-30分；
29、设备利用率奖励；如果所有可用检测设备以及工程师的工作日平均非空闲率超过70％，奖励+5分；时间折扣因子γ设为0.98。
30、优选的，通过累积奖励对actor-critic网络模型进行训练，过程包括：
31、步骤一、初始化actor网络和critic网络的网络参数；参数包括但不限于actor网络的状态输入层的维度、隐藏层数量和大小、动作输出层的维度、critic网络的状态输入层的维度、隐藏层的数量和大小和奖励值函数输出层的维度、学习率、激活函数以及网络优化算法；在每个训练循环开始时，重置变压器到初始状态；
32、步骤二、使actor网络根据当前状态输出动作空间；
33、步骤三、执行动作空间，获得即时奖励，并更新状态空间；
34、步骤四、使用critic网络估算当前状态的状态值函数，并计算时间差分误差；时间差分误差反映了当前状态值函数估计的准确性；使用时间差分误差更新critic网络，用以最小化状态值函数的估计误差；
35、步骤五、使用策略梯度定理更新actor网络，以最大化期望的累积奖励。
36、重复步骤二到步骤五，直到满足终止条件则完成异常识别策略。
37、一种基于机器学习的变电设备异常识别系统，所述系统包括：
38、数据收集模块，收集变压器绝缘参数；变压器绝缘参数包括：变压器油中气体含量与介质损耗因数；收集变压器电气参数、变压器温动数据、设备上次检修时间与设备历史检修频率；变压器温动数据式中：t为变压器温度，f为变压器振动频率，a为变压器振动加速度；
39、模型训练模块，将变压器绝缘参数，变压器温动数据与变压器电气参数作为设备参数；基于设备参数训练输出设备健康得分的机器学习模型；
40、强化学习模块，定义状态空间与动作空间；所述状态空间包括了设备状态与资源状态；设备状态包括设备健康得分、设备上次检修时间与设备历史故障率；资源状态包括：可用检测设备、人力资源与时间预算；所述动作空间包括：选择下一个要检测的设备；调用的检测人员人数以及对应的等级；决定要使用的空闲检测设备；决定检测程度；调整检测频率；
41、强化学习奖励模块；设置奖励函数与累积奖励，奖励函数r_t＝检测完成奖励+健康得分改善奖励+异常检测奖励+故障预防奖励-资源使用惩罚+时间管理奖励+检测频率调整奖励-误报惩罚+设备利用率奖励；时间步t是指在强化学习中，从初始状态开始经过的连续的步长数为t；累积奖励r_t＝r_t+γ*r_{t+1}+γ^2*r_{t+2}+...+γ^(t-t)*r_t；式中：r_t为当前时间步t开始到终止时间步t的所有即时奖励的折现和，r_{t+1}为时间步为t+1时的即时奖励值；r_{t+2}为时间步为t+2时的即时奖励值；
42、强化学习训练模块，通过actor-critic算法训练强化学习模型，完成异常识别策略，将训练好的异常识别策略应用于实际的变电设备异常识别与检测中。
43、一种电子设备，包括：处理器和存储器，其中，所述存储器中存储有可供处理器调用的计算机程序；所述处理器通过调用所述存储器中存储的计算机程序，执行上述的一种基于机器学习的变电设备异常识别方法。
44、一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行上述的一种基于机器学习的变电设备异常识别方法。
45、本发明一种基于机器学习的变电设备异常识别系统及识别方法的技术效果和优点：通过收集变压器的绝缘参数、温动数据和电气参数，结合机器学习模型评估设备健康状况，利用actor-critic算法训练强化学习模型，该模型考虑设备状态、资源状态等因素，在一个包含设备选择、检测程度、人员调度和频率调整的动作空间中做出决策来平衡检测效果、资源利用和成本控制。实现了及时发现设备异常，预防可能的故障，减少不必要的检查，优化资源使用，平衡检查的频率和深度，既不过度检查也不疏忽大意，有效的配置资源，为社会节能减排贡献力量。
1.一种基于机器学习的变电设备识别方法，其特征在于，包括：
2.根据权利要求1所述的一种基于机器学习的变电设备异常识别方法，其特征在于，变压器绝缘参数由每次工作人员测量后同步更新上传给云端，当未更新变压器绝缘参数时，选取最近一次的测量结果作为变压器绝缘参数；
3.根据权利要求2所述的一种基于机器学习的变电设备异常识别方法，其特征在于，所述机器学习模型的训练过程包括：
4.根据权利要求3所述的一种基于机器学习的变电设备异常识别方法，其特征在于，检测程度包括快速检查、常规检查与深度检查；快速检查为目视检查或使用简单工具进行快速测量；常规检查使用常规设备进行标准的检测流程，深度检查使用专业设备进行全面检查；检测频率调整范围为[-30％,+30％]，表示相对于当前设备历史检修频率的调整比例。
5.根据权利要求4所述的一种基于机器学习的变电设备异常识别方法，其特征在于，奖励函数的设计过程包括：
6.根据权利要求5所述的一种基于机器学习的变电设备异常识别方法，其特征在于，通过累积奖励对actor-critic网络模型进行训练，过程包括：
7.一种基于机器学习的变电设备异常识别系统，其特征在于，所述系统包括：
8.一种电子设备，其特征在于，包括：处理器和存储器，其中，所述存储器中存储有可供处理器调用的计算机程序；
9.一种计算机可读存储介质，其特征在于：储存有指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1～6任意一项所述的一种基于机器学习的变电设备异常识别方法。
