一种自动化精确内存扩缩动态管理方法与流程

专利2026-02-10  15

本发明涉及数据库,特别是涉及一种自动化精确内存扩缩动态管理方法。


背景技术:

1、随着信息技术的飞速发展,数据已成为企业和组织的核心资产之一。面对海量数据的存储和管理需求,传统的数据存储方式逐渐显露出其局限性,尤其是在数据的处理效率、存储成本以及数据安全等方面。为了更有效地应对这些挑战,冷热数据存储方式应运而生,并逐渐成为数据存储领域的重要研究方向。通过将这两种数据分别存储在不同性能和成本的存储介质上,可以显著提高存储效率并降低存储成本,在冷热数据存储系统中,内存作为数据存储和访问的关键环节,其性能直接影响到整个系统的效率和稳定性。

2、现有技术根据不同业务的经验值设定一个冷热数据的界定阈值,系统实时监控所有数据的访问情况,记录访问次数和访问时间,根据预设的访问阈值,将数据分为热数据和冷数据,根据数据的冷热分类结果,动态调整数据在内存中的存储位置和分配的资源大小,这种方式的缺陷在于:

3、现有技术往往需要在数据访问模式发生显著变化后才能进行资源调整,无法实时响应数据冷热程度的变化,响应速度慢;

4、在判断数据的冷热程度时,现有技术往往依赖于简单的统计方法,但由于访问频率并不是唯一的判断标准,难以准确反映数据的实际使用情况,因此精度不高;

5、现有技术在内存扩缩上采用经验值或者1.75倍扩容,这是一个粗略的值,往往导致频繁操作,效率低下,或者资源浪费。


技术实现思路

1、为解决现有技术中存在的不足,本发明提供了一种自动化精确内存扩缩动态管理方法,该自动化精确内存扩缩动态管理方法通过引入预估扩缩阈值的概念,提前进行内存扩缩操作,解决响应速度慢的技术问题,通过数据血缘关系的集成,解决冷热数据判断精度不高的技术问题,通过提前计算扩缩值而非固定的扩缩值,提高扩缩预测的精准度,解决频繁重复操作和资源浪费技术问题。

2、为实现上述目的,本发明采用如下技术方案:

3、本发明提供了一种自动化精确内存扩缩动态管理方法,包括以下步骤:

4、针对单张数据库表在预设定时间范围内统计其数据访问记录;

5、集成所有数据库表的数据血缘关系,对访问数据同时进行当前数据表的访问记录和上一级数据表的访问记录;

6、分析访问记录,计算预估扩缩阈值和扩缩阈值,所述扩缩阈值大于预估扩缩阈值;

7、当访问记录数据达到预估扩缩阈值,计算得到扩缩值;

8、当访问记录数据达到扩缩阈值,按照扩缩值进行自动化扩缩。

9、本发明的自动化精确内存扩缩动态管理方法,首先集成了数据库表的数据血缘关系,对任意操作的数据向上进行拓展记录,这对冷热数据的判断精度更加有利,配以统计的预设定的时间范围内的访问记录,为精确计算预估扩缩阈值和扩缩阈值打下了基础,同时引入了预估扩缩阈值的概念,提高了扩缩的效率和准确度,通过基于实际情况精确计算的扩缩值进行精准的自动化扩缩,减少重复操作,也避免了资源的浪费。

10、本发明的自动化精确内存扩缩动态管理方法通过引入预估扩缩阈值的概念,提前进行内存扩缩操作,解决响应速度慢的技术问题,通过数据血缘关系的集成,解决冷热数据判断精度不高的技术问题,通过提前计算扩缩值而非固定的扩缩值,提高扩缩预测的精准度,解决频繁重复操作和资源浪费技术问题。

11、在进一步的技术方案中,所述预估扩缩阈值和扩缩阈值通过arima时间序列分析算法计算。

12、通过arima时间序列分析算法计算出的预估扩缩阈值和扩缩阈值,节点精确,系统运行效率高,响应速度快。

13、在进一步的技术方案中,所述扩缩值通过指数平滑算法计算。

14、使用指数平滑算法计算扩缩值,进一步的提高扩缩预测的精准度。

15、在进一步的技术方案中,对访问数据同时进行当前数据表的访问记录和上一级数据表的访问记录时,记录次数利用redis做缓存。

16、用redis做缓存能够减少数据库的占用。

17、在进一步的技术方案中,接收指定指令,调整扩缩阈值。

18、通过接受指令,即可通过人为修改调整扩缩阈值,允许手动调整,适用性更强。

19、有益效果在于:

20、1、本发明的自动化精确内存扩缩动态管理方法通过引入预估扩缩阈值的概念,提前进行内存扩缩操作,解决响应速度慢的技术问题,通过数据血缘关系的集成,解决冷热数据判断精度不高的技术问题,通过提前计算扩缩值而非固定的扩缩值,提高扩缩预测的精准度,解决频繁重复操作和资源浪费技术问题。

21、2、通过arima时间序列分析算法计算出的预估扩缩阈值和扩缩阈值,节点精确,系统运行效率高,响应速度快。

22、3、使用指数平滑算法计算扩缩值,进一步的提高扩缩预测的精准度。

23、4、用redis做缓存能够减少数据库的占用。

24、5、通过接受指令,即可通过人为修改调整扩缩阈值,允许手动调整,适用性更强。



技术特征:

1.一种自动化精确内存扩缩动态管理方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的自动化精确内存扩缩动态管理方法,其特征在于,所述预估扩缩阈值和扩缩阈值通过arima时间序列分析算法计算。

3.根据权利要求1所述的自动化精确内存扩缩动态管理方法,其特征在于,所述扩缩值通过指数平滑算法计算。

4.根据权利要求1所述的自动化精确内存扩缩动态管理方法,其特征在于,对访问数据同时进行当前数据表的访问记录和上一级数据表的访问记录时,记录次数利用redis做缓存。

5.根据权利要求1所述的自动化精确内存扩缩动态管理方法,其特征在于,接收指定指令,调整扩缩阈值。


技术总结
本发明公开了一种自动化精确内存扩缩动态管理方法,包括以下步骤:针对单张数据库表在预设定时间范围内统计其数据访问记录;集成所有数据库表的数据血缘关系,对访问数据同时进行当前数据表的访问记录和上一级数据表的访问记录;分析访问记录,计算预估扩缩阈值和扩缩阈值,所述扩缩阈值大于预估扩缩阈值;当访问记录数据达到预估扩缩阈值,计算得到扩缩值;当访问记录数据达到扩缩阈值,按照扩缩值进行扩缩,本发明的方法通过引入预估扩缩阈值的概念,提前进行内存扩缩操作,解决响应速度慢的问题,通过数据血缘关系的集成,解决冷热数据判断精度不高的问题,通过提前计算扩缩值,提高扩缩预测的精准度,解决频繁重复操作和资源浪费问题。

技术研发人员:楚镇豪,魏飞,周文明
受保护的技术使用者:四川开物信息技术有限公司
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-29608.html