本发明涉及电力系统控制，特别是指一种利用深度强化学习进行电力系统负荷频率控制的方法。
背景技术：
1、传统方法，如pi控制，基于固定的数学模型和参数进行设置，这些模型和参数是在特定条件下得出的，当电力系统结构（如新增发电机组、线路改造等）或负荷特性（如负荷波动、用户行为变化等）发生较大变化时，原有的模型和参数可能不再适用，导致控制效果下降。由于缺乏实时更新和自适应调整的能力，在面对电力系统动态变化时可能显得力不从心，需要人工干预来重新调整参数或模型，这增加了运维的复杂性和工作量。
2、在面对各种扰动（如负荷突变、线路故障等）和不确定性因素（如新能源发电的随机性、气象条件的变化等）时，可能缺乏足够的鲁棒性。这些扰动和不确定性因素可能导致电力系统频率偏离设定值，可能无法迅速、准确地做出响应，从而难以保持频率控制的稳定性和准确性。
3、由于缺乏系统性的优化方法和工具支持，优化过程可能耗时费力且效果不佳，无法满足电力系统日益提高的控制性能要求。此外，优化结果受到人工经验和技术水平的限制，难以实现真正的智能化和自动化控制。缺乏自我学习和智能化决策的能力，无法根据电力系统运行的历史数据和实时状态进行动态调整和优化控制策略。
技术实现思路
1、本发明要解决的技术问题是提供一种利用深度强化学习进行电力系统负荷频率控制的方法，能够更准确地根据电力系统实际运行状态进行频率控制。
2、为解决上述技术问题，本发明的技术方案如下：
3、第一方面，一种利用深度强化学习进行电力系统负荷频率控制的方法，所述方法包括：
4、构建电力系统模型，所述电力系统模型包括发电单元、输电网络、负荷单元以及频率控制装置；
5、获取电力系统历史运行数据，包括负荷需求记录、发电输出日志、频率波动情况，并对电力系统历史运行数据进行预处理，以得到处理后系统历史运行数据；
6、根据处理后系统历史运行数据，训练深度神经网络模型，提取系统历史运行数据的关键特征，并预测未来的负荷需求及频率变化趋势，得到预测结果；
7、根据预测结果，通过强化学习，不断迭代优化，确定负荷频率控制方案；
8、将经过训练的深度神经网络模型与强化学习进行融合，构建深度强化学习控制器，以实现自动、实时控制电力系统中的负荷频率。
9、进一步的，根据处理后系统历史运行数据，训练深度神经网络模型，提取系统历史运行数据的关键特征，并预测未来的负荷需求及频率变化趋势，得到预测结果，包括：
10、将处理后系统历史运行数据划分为训练集、验证集和测试集，并将门控循环单元时间序列预测模型作为深度神经网络模型；
11、定义深度神经网络模型的架构，包括输入层、隐藏层和输出层，并将平均绝对误差作为损失函数；
12、将训练集输入至深度神经网络模型中，对深度神经网络模型进行训练，在训练过程中，使用验证集数据对深度神经网络模型进行验证，得到验证结果；
13、根据验证结果，调整深度神经网络模型架构和参数；
14、使用经过验证的深度神经网络模型对测试集进行预测，得到未来的负荷需求及频率变化趋势预测结果。
15、进一步的，平均绝对误差的计算公式为：
16、；
17、其中，表示平均绝对误差；表示预测的时间步长总数；表示第个时间步长的实际负荷需求；表示第个时间步长的预测值；表示输入特征向量；表示模型参数集；表示环境变量；表示权重系数；表示全局调整系数；表示时间步长的索引值。
18、进一步的，将训练集输入至深度神经网络模型中，对深度神经网络模型进行训练，在训练过程中，使用验证集数据对深度神经网络模型进行验证，得到验证结果，包括：
19、将训练集输入至深度神经网络模型中进行训练，并在每个训练周期中，深度神经网络模型遍历训练集；
20、通过前向传播，深度神经网络模型计算预测值，并通过反向传播，更新深度神经网络模型参数；
21、当每个训练周期结束后，使用验证集对深度神经网络模型进行验证，通过对比验证集的预测结果与实际数据，得到验证结果。
22、进一步的，根据预测结果，通过强化学习，不断迭代优化，确定负荷频率控制方案，包括：
23、定义强化学习的状态空间、动作空间和奖励函数，并初始化价值网络参数；
24、从状态空间中获取当前电力系统的状态，根据当前状态，确定控制动作，并初始化价值网络；
25、通过深度神经网络模型预测确定的控制动作对未来负荷需求及频率变化趋势的影响，并计算执行动作后的奖励值；
26、使用计算的奖励值，更新强化学习的网络参数，并重复状态获取、动作执行与未来预测、奖励计算与参数更新，直到达到预设的迭代次数，提取控制方案，并将控制方案作为负荷频率控制方案。
27、进一步的，奖励函数的计算公式为：
28、；
29、其中，表示在状态下采取动作后转移到状态时获得的奖励；表示频率偏差的权重；表示执行动作后电力系统的频率；表示电力系统的设定频率；表示发电与负荷匹配度的权重；表示执行动作后的发电输出；表示执行动作后的负荷需求；表示稳定性指标的权重；表示电压稳定性在稳定性指标中的权重；表示执行动作后的电压值；表示电流稳定性在稳定性计算中的权重；表示执行动作后的电流值；表示总成本的权重；表示发电成本系数；表示设备维护成本。
30、进一步的，将经过训练的深度神经网络模型与强化学习进行融合，构建深度强化学习控制器，以自动、实时控制电力系统中的负荷频率，包括：
31、利用电力系统模型构建强化学习的环境，将深度强化学习控制器在强化学习的环境中进行试错学习，在试错过程中，深度强化学习控制器根据当前状态确定动作，并接受环境反馈的奖励和新的状态信息，得到试错学习结果；
32、根据试错学习结果，深度强化学习控制器不断更新控制方案，直至深度强化学习控制器学会如何根据当前状态和未来预测，确定最终动作，得到训练后深度强化学习控制器；
33、将训练后深度强化学习控制器融入电力系统中，以自动、实时控制电力系统中的负荷频率。
34、第二方面，一种利用深度强化学习进行电力系统负荷频率控制的系统，包括：
35、构建模块，用于构建电力系统模型，所述电力系统模型包括发电单元、输电网络、负荷单元以及频率控制装置；
36、获取模块，用于获取电力系统历史运行数据，包括负荷需求记录、发电输出日志、频率波动情况，并对电力系统历史运行数据进行预处理，以得到处理后系统历史运行数据；
37、预测模块，用于根据处理后系统历史运行数据，训练深度神经网络模型，提取系统历史运行数据的关键特征，并预测未来的负荷需求及频率变化趋势，得到预测结果；
38、处理模块，用于根据预测结果，通过强化学习，不断迭代优化，确定负荷频率控制方案；将经过训练的深度神经网络模型与强化学习进行融合，构建深度强化学习控制器，以实现自动、实时控制电力系统中的负荷频率。
39、第三方面，一种计算设备，包括：
40、一个或多个处理器；
41、存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所述的方法。
42、第四方面，一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，该程序被处理器执行时实现所述的方法。
43、本发明的上述方案至少包括以下有益效果：
44、通过构建电力系统模型并结合历史运行数据进行训练，深度神经网络模型能够准确提取系统历史运行的关键特征，从而更精确地预测未来的负荷需求和频率变化趋势。这种高精度的预测为负荷频率控制提供了可靠的基础，使得控制方案能够更准确地响应电力系统的实际需求，提升控制精度和稳定性。深度强化学习控制器不仅基于历史数据进行训练，还通过强化学习不断迭代优化控制策略。这种自我学习和优化的能力使得控制器能够自适应地调整参数，以应对电力系统结构或负荷特性的变化。深度强化学习控制器融合了深度神经网络和强化学习的优势，具备智能化决策的能力。它能够根据电力系统的实时状态和历史数据，自动调整控制策略，实现高效优化。相比传统方法，深度强化学习控制器无需依赖人工经验和试错法进行调整和优化，减少了运维的复杂性和工作量，同时提升了控制效果。
45、通过精确预测负荷需求和频率变化趋势，并结合深度强化学习的优化控制策略，能够更有效地分配电力资源，减少浪费。这种高效的资源分配和优化的控制策略有助于提升电力系统的整体运行效率，降低运营成本，同时也有助于提高电力供应的可靠性和质量。深度强化学习控制器的应用是电力系统智能化升级的重要一环。它不仅提升了负荷频率控制的性能，还为电力系统的其他控制任务提供了新的思路和方法。
1.一种利用深度强化学习进行电力系统负荷频率控制的方法，其特征在于，所述方法包括：
2.根据权利要求1所述的利用深度强化学习进行电力系统负荷频率控制的方法，其特征在于，根据处理后系统历史运行数据，训练深度神经网络模型，提取系统历史运行数据的关键特征，并预测未来的负荷需求及频率变化趋势，得到预测结果，包括：
3.根据权利要求2所述的利用深度强化学习进行电力系统负荷频率控制的方法，其特征在于，平均绝对误差的计算公式为：
4.根据权利要求3所述的利用深度强化学习进行电力系统负荷频率控制的方法，其特征在于，将训练集输入至深度神经网络模型中，对深度神经网络模型进行训练，在训练过程中，使用验证集数据对深度神经网络模型进行验证，得到验证结果，包括：
5.根据权利要求4所述的利用深度强化学习进行电力系统负荷频率控制的方法，其特征在于，根据预测结果，通过强化学习，不断迭代优化，确定负荷频率控制方案，包括：
6.根据权利要求5所述的利用深度强化学习进行电力系统负荷频率控制的方法，其特征在于，奖励函数的计算公式为：
7.根据权利要求6所述的利用深度强化学习进行电力系统负荷频率控制的方法，其特征在于，将经过训练的深度神经网络模型与强化学习进行融合，构建深度强化学习控制器，以自动、实时控制电力系统中的负荷频率，包括：
