数据存储方法及装置与流程

专利2025-12-31  8


本技术属于大数据存储,尤其涉及数据存储方法及装置。


背景技术:

1、随着太阳能光伏(photovoltaic,简称为pv)和风力发电等可再生能源装机容量的迅速增加,这些能源的间歇性和不可预测性给传统电网带来了挑战。为了更好地整合可再生能源,需要高效的储能系统来平滑出力波动、削峰填谷,从而提高电网的稳定性和可靠性。电力市场的开放和竞争加剧,电力公司需要更加灵活地管理能源资源。储能电站不仅可以帮助电力公司降低成本,还可以参与电力市场的调频服务、备用容量供应等,创造额外收入。信息技术的进步、智能电网技术的发展促进了电力系统的智能化。储能电站能量管理系统(energy storage system,简称为ems)作为储能电站的核心控制系统,能够实现对储能设备的智能调度和优化,提高能源利用效率。随着储能电站容量增大和设备量增多,产生的数据量也随之增加。ems需要处理大量的实时数据,通过数据分析和机器学习等技术优化储能系统的运行策略。

2、ems作为储能系统的控制核心,承载所有储能系统单元的充放电管理责任,适用于各种储能应用场景,例如电网侧、发电侧、用户侧等等。在电网侧大容量储能系统如500mw/1gwh中,储能电池数据尤为重要,电池数据的秒级存储能精细化再现电池的运行状态,为电站稳定安全运行提供数据基础。

3、在现有存储技术中,通常是以关系型数据库,如开源mysql数据库、国产数据库等来实现遥测、遥信、电度等历史数据的存储。随着储能电站容量的不断增大和设备量的显著增加,数据量也随之急剧增长,这对现有的数据存储技术提出了新的挑战。传统的存储方案往往难以满足日益增长的大数据处理存储需求,尤其是在对数据精细度越来越高的需求下,传统的通过定时任务写入关系型数据库的技术方案已经无法满足存储需求,为了有效应对这一瓶颈,需要采用更为先进的存储技术和架构。


技术实现思路

1、本技术实施例提供了数据存储方法及装置,可以解决现有技术中通过定时任务写入关系型数据库难以满足大数据量存储需求的技术问题。

2、第一方面,本技术实施例提供了一种数据存储方法,所述数据存储方法应用于数据存储管理系统中,所述数据存储管理系统包括数据采集服务器、数据处理服务器、数据存储服务集群、时序数据库,其中,所述数据存储服务集群包括一个或多个数据存储服务器,所述数据存储方法包括:

3、数据采集服务器将所接收的初始数据发送至数据处理服务器,其中所述初始数据由一个或多个储能设备发送至所述数据采集服务器;

4、数据处理服务器对所接收的所述初始数据进行数据提取处理获得必备数据,并将获得的所述必备数据发送给数据存储服务集群;

5、数据存储服务集群将所述必备数据存储至时序数据库。

6、在第一方面的一种可能的实现方式中,所述数据处理服务器对所接收的所述初始数据进行数据提取处理获得必备数据,包括:

7、数据处理服务器按照预定义的数据结构对所接收的所述初始数据进行数据提取处理,以获得所述必备数据。

8、在第一方面的一种可能的实现方式中,在所述将获得的必备数据发送给数据存储服务集群之后、所述数据存储服务集群将所述必备数据存储至时序数据库之前,该方法还包括:

9、数据存储服务集群将所述必备数据写入至一个或多个缓存文件;

10、数据存储服务集群从所述一个或多个缓存文件中读取所述必备数据。

11、在第一方面的一种可能的实现方式中,所述数据存储服务集群将所述必备数据写入至一个或多个缓存文件,包括:

12、数据存储服务集群确定待存入数据与当前缓存文件中已存储数据之和是否小于缓存文件的大小;

13、如小于,则写入所述当前缓存文件;

14、如大于,则写入下一个缓存文件。

15、在第一方面的一种可能的实现方式中,所述数据存储服务集群将所述必备数据写入至一个或多个缓存文件,还包括:

16、记录当前写入缓存文件的已写入序号;

17、所述数据存储服务集群从所述一个或多个缓存文件中读取所述必备数据之前,还包括:

18、确定待读取的当前缓存文件的序号是否小于或等于所述已写入序号,如小于或等于所述写入序号,则读取所述当前缓存文件。

19、在第一方面的一种可能的实现方式中,该方法还包括:

20、当收到数据查询请求时,根据存储数据的标识信息与数据存储服务器的对应关系,确定待查询数据所对应的数据存储服务器,其中,所述数据查询请求中包括所述待查询数据的标识信息。

21、第二方面,本技术实施例提供了一种数据存储方法,所述数据存储方法应用于数据存储管理系统中的数据处理服务器中,所述数据存储管理系统还包括数据采集服务器、数据存储服务集群、时序数据库,其中,所述数据存储服务集群包括一个或多个数据存储服务器,所述数据存储方法包括:

22、对所接收的初始数据进行数据提取处理获得必备数据,并将获得的所述必备数据发送给数据存储服务集群。

23、第三方面,本技术实施例提供了一种数据存储方法,所述数据存储方法应用于数据存储管理系统中的数据存储服务集群中,所述数据存储管理系统还包括数据采集服务器、数据处理服务器、时序数据库,其中,所述数据存储服务集群包括一个或多个数据存储服务器,所述数据存储方法包括:

24、将必备数据存储至时序数据库。

25、第四方面,本技术实施例提供了一种数据存储装置,所述数据存储装置被包含于数据存储管理系统中的数据处理服务器中,所述数据存储管理系统还包括数据采集服务器、数据存储服务集群、时序数据库,其中,所述数据存储服务集群包括一个或多个数据存储服务器,所述数据存储装置包括:

26、数据提取模块,用于对所接收的初始数据进行数据提取处理获得必备数据,并将获得的所述必备数据发送给数据存储服务集群。

27、第五方面,本技术实施例提供了一种数据存储装置,所述数据存储装置应用于数据存储管理系统中的数据存储服务集群中,所述数据存储管理系统还包括数据采集服务器、数据处理服务器、时序数据库,其中,所述数据存储服务集群包括一个或多个数据存储服务器,所述数据存储装置包括:

28、数据存储模块,用于将必备数据存储至时序数据库。

29、第六方面,本技术实施例提供了一种网络设备,包括:至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第二或第三方面的数据存储方法。

30、第七方面,本技术实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现如上述第二或第三方面的数据存储方法。

31、第八方面,本技术实施例提供了一种计算机程序产品,当计算机程序产品在移动终端上运行时,使得移动终端执行时实现可实现上述第二或第三方面的数据存储方法。

32、可以理解的是,上述第二方面至第八方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。

33、本技术实施例与现有技术相比存在的有益效果是:本技术中,数据存储管理系统包括数据采集服务器、数据处理服务器、数据存储服务集群、时序数据库。通过新型的存储架构方案,由数据采集服务器将所接收的初始数据发送至数据处理服务器,数据处理服务器对所接收的初始数据进行数据提取处理获得必备数据,并将获得的必备数据发送给数据存储服务集群,并由数据存储服务集群将必备数据存储至时序数据库。通过采用分布式存储技术,利用进程功能性不同、将进程分别部署在数据采集服务器、数据处理服务器、数据存储服务集群这三类功能节点服务器进行并行处理,显著提高了处理速度,并且平衡整个系统的负载,避免时序数据库单点过载,可以大幅减少时序数据库单节点的存储压力。通过数据处理服务器对所接收的初始数据进行数据提取处理,可以剔除无用的数据信息,从而缩小所获得的必备数据的数据量,从而满足必要的信息颗粒度要求、保留关键的必备数据并减少数据存储压力、提升数据存储的效率。数据存储服务集群可以提高处理速度和吞吐量,可以分担每个数据处理服务的处理压力、大大缩短了巨量数据集的处理时间,并且数据存储服务集群节点可方便扩展为多节点,提升了系统的健壮性、处理效率、查询效率以及可扩展性。本技术中的数据存储管理系统例如可以为储能电站能量管理系统(ems)、或应用于储能电站能量管理系统(ems)中,为了应对能源转型带来的挑战,本技术可以提高储能系统的效率和可靠性,功能更加完善、应用范围也更加广泛,为超大型储能电站全量数据存储提供有力的支撑。


技术特征:

1.一种数据存储方法,其特征在于,所述数据存储方法应用于数据存储管理系统中,所述数据存储管理系统包括数据采集服务器、数据处理服务器、数据存储服务集群、时序数据库,其中,所述数据存储服务集群包括一个或多个数据存储服务器,所述数据存储方法包括:

2.如权利要求1所述的数据存储方法,其特征在于,所述数据处理服务器对所接收的所述初始数据进行数据提取处理获得必备数据,包括:

3.如权利要求1所述的数据存储方法,其特征在于,在所述将获得的必备数据发送给数据存储服务集群之后、所述数据存储服务集群将所述必备数据存储至时序数据库之前,该方法还包括:

4.如权利要求3所述的数据存储方法,其特征在于,所述数据存储服务集群将所述必备数据写入至一个或多个缓存文件,包括:

5.如权利要求3或4所述的数据存储方法,其特征在于,所述数据存储服务集群将所述必备数据写入至一个或多个缓存文件,还包括:

6.如权利要求1所述的数据存储方法,其特征在于,该方法还包括:

7.一种数据存储方法,其特征在于,所述数据存储方法应用于数据存储管理系统中的数据处理服务器中,所述数据存储管理系统还包括数据采集服务器、数据存储服务集群、时序数据库,其中,所述数据存储服务集群包括一个或多个数据存储服务器,所述数据存储方法包括:

8.一种数据存储方法,其特征在于,所述数据存储方法应用于数据存储管理系统中的数据存储服务集群中,所述数据存储管理系统还包括数据采集服务器、数据处理服务器、时序数据库,其中,所述数据存储服务集群包括一个或多个数据存储服务器,所述数据存储方法包括:

9.一种数据存储装置,其特征在于,所述数据存储装置被包含于数据存储管理系统中的数据处理服务器中,所述数据存储管理系统还包括数据采集服务器、数据存储服务集群、时序数据库,其中,所述数据存储服务集群包括一个或多个数据存储服务器,所述数据存储装置包括:

10.一种数据存储装置,其特征在于,所述数据存储装置应用于数据存储管理系统中的数据存储服务集群中,所述数据存储管理系统还包括数据采集服务器、数据处理服务器、时序数据库,其中,所述数据存储服务集群包括一个或多个数据存储服务器,所述数据存储装置包括:


技术总结
本申请适用于大数据存储技术领域,提供了数据存储方法及装置。数据存储方法应用于数据存储管理系统中,数据存储管理系统包括数据采集服务器、数据处理服务器、数据存储服务集群、时序数据库。由数据采集服务器将所接收的初始数据发送至数据处理服务器,数据处理服务器对所接收的初始数据进行数据提取处理获得必备数据,并将获得的必备数据发送给数据存储服务集群,并由数据存储服务集群将必备数据存储至时序数据库。通过采用分布式存储技术,显著提高了处理速度,并且平衡整个系统的负载,避免时序数据库单点过载,可以大幅减少时序数据库单节点的存储压力。

技术研发人员:祖连兴,罗大思,游磊,李微佳,陈才,胡圣
受保护的技术使用者:长园深瑞能源技术有限公司
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-28786.html