缓存数据的调整方法和装置、存储介质及程序产品与流程

专利2025-10-07  6


本技术实施例涉及数据存储,具体而言,涉及一种缓存数据的调整方法和装置、存储介质及程序产品。


背景技术:

1、网络文件系统(network fi1e system,n fs)可以允许用户通过网络访问远程文件系统就像访问本地文件系统一样。在使用n fs的过程中,缓存技术起到了一定的作用。如对于客户端,可以利用客户端缓存数据以提高文件访问的性能和减少网络流量。通过在本地存储频繁访问的数据副本来加快数据访问速度。

2、在相关技术中,常使用缓存逐出算法,以在缓存达到容量上限时决定移除哪些数据。通常移除最长时间未被访问或移除访问次数最少的数据,无法对未来的访问模式进行预测,且在面对客户端变化,实际业务调整等情况下,无法根据访问模式的变化产生迅速的反应。换言之,相关技术中的缓存方法的缓存命中率(缓存命中次数和请求总次数的比)较低。

3、针对相关技术中,目前的n fs系统中的缓存方法缓存命中率较低的技术问题,尚未提出有效的解决方案。


技术实现思路

1、本技术实施例提供了一种缓存数据的调整方法和装置、存储介质及程序产品,以至少解决相关技术中,目前的n fs系统中的缓存方法缓存命中率较低的技术问题。

2、根据本技术的一个实施例,提供了一种缓存数据的调整方法,包括:获取目标客户端在第一时段内的第一访问数据集合,并确定第一访问数据集合中至少一个第一访问数据各自对应的数据特征,其中,数据特征用于指示第一访问数据的特性和访问模式;将第一访问数据集合和至少一个第一访问数据各自对应的数据特征输入数据预测模型,得到目标客户端对应的第二访问数据集合;获取第二访问数据集合,并将第二访问数据集合进行缓存处理。

3、在一个示例性实施例中,上述将第二访问数据集合进行缓存处理,包括:将第一访问数据集合和至少一个第一访问数据各自对应的数据特征输入数据预测模型得到第二访问数据集合,和第二访问数据集合中至少一个第二访问数据对应的缓存级别信息;在第二访问数据对应的缓存级别信息为第一缓存级别的情况下,将第二访问数据存储至高频缓存空间;在第二访问数据对应的缓存级别信息为第二缓存级别的情况下,将第二访问数据存储至低频缓存空间。

4、在一个示例性实施例中,上述数据预测模型的训练过程,包括:获取参考客户端在第二时段内的参考访问数据集合,并确定参考访问数据集合中参考访问数据各自对应的数据特征;获取数据预测模型的初始化参数;利用参考访问数据集合对数据预测模型进行训练以更新数据预测模型的参数,并在满足预设条件的情况下,得到训练完成的数据预测模型。

5、在一个示例性实施例中,上述获取参考客户端在第二时段内的参考访问数据集合,并确定参考访问数据集合中参考访问数据各自对应的数据特征,包括:对参考访问数据集合和多个参考访问数据各自对应的数据特征进行数据清洗并进行标准化处理得到待确定的参考访问数据集合;将待确定的参考访问数据集合中参考访问数据各自对应的数据特征中满足预设条件的数据特征去除,得到更新后的参考访问数据集合。

6、在一个示例性实施例中,上述利用参考访问数据集合对数据预测模型进行训练以更新数据预测模型的参数,并在满足预设条件的情况下,得到训练完成的数据预测模型,包括:将参考访问数据集合随机分为m个访问数据子集合;对m个访问数据子集合进行遍历,并在第i次遍历过程中执行以下操作:利用m个访问数据子集合中除第i个访问数据子集合外的所有访问数据子集合作为训练集训练数据预测模型,并将第i个访问数据子集合输入数据预测模型,得到数据预测模型的第i个评价函数结果,其中,m为大于0的整数,i为大于0且小于或等于m的整数;在m个评价函数结果满足预设条件的情况下,得到训练完成的数据预测模型。

7、在一个示例性实施例中,上述利用m个访问数据子集合中除第i个访问数据子集合外的所有访问数据子集合作为训练集训练数据预测模型,包括:对训练集进行t次随机采样,在每次随机采样过程,执行以下操作:在训练集中采集n次,得到包含n个样本的采样集,其中,t为大于0的整数,n与训练集包含的参考访问数据的数量相同;建立t个数据预测子模型,并将t个采样集与t个数据预测子模型一一对应;利用采样集对对应的数据预测子模型进行训练,对数据预测子模型的训练过程包括:在当前处于第1个节点层的情况下,根据特征数,随机从参考访问数据各自对应的数据特征中确定第1个特征集,其中,特征集中的数据特征的特征种类的数量与特征数相同;根据第1个特征集建立第2个节点层的待选节点,并利用第1个特征集对待选节点进行评价,得到第2个节点层的待选节点的评价结果;根据第2个节点层的待选节点的评价结果确定第2个节点层的节点;将采样集根据第2个节点层的节点拆分,得到与第2个节点层的节点对应的采样子集;在当前处于第p个节点层的情况下,根据特征数,随机从与第p个节点层的节点对应的采样子集中确定第q个特征集;根据第q个特征集建立第p+1个节点层的待选节点,并利用第q个特征集对第p+1个节点层的待选节点进行评价,得到第p+1个节点层的待选节点的评价结果;根据第p+1个节点层的待选节点的评价结果确定第p+1个节点层的节点;将与第p个节点层的节点对应的采样子集,根据第p+1个节点层的节点拆分,得到与第p+1个节点层的节点对应的采样子集,其中,p为大于1的整数,q为大于1的整数;在第p+1个节点层的节点对应的采样子集中包含的参考访问数据的数量小于或等于预设数据数量或p大于或等于预设层数的情况下,将当前p+1个节点层构成的模型确定为数据预测子模型;将t个数据预测子模型集成得到数据预测模型。

8、在一个示例性实施例中,在上述得到训练完成的数据预测模型之后,还包括:获取目标客户端在第三时段内的第三访问数据集合,并确定第三访问数据集合中多个第三访问数据各自对应的数据特征;利用第三访问数据集合和第三访问数据各自对应的数据特征对数据预测模型进行参数更新,得到更新后的数据预测模型。

9、根据本技术的另一个实施例,提供了一种缓存数据的调整装置,包括:数据获取模块,用于获取目标客户端在第一时段内的第一访问数据集合,并确定第一访问数据集合中至少一个第一访问数据各自对应的数据特征,其中,数据特征用于指示第一访问数据的特性和访问模式;数据预测模块,用于将第一访问数据集合和至少一个第一访问数据各自对应的数据特征输入数据预测模型,得到目标客户端对应的第二访问数据集合;数据缓存模块,用于获取第二访问数据集合,并将第二访问数据集合进行缓存处理。

10、根据本技术的又一个实施例,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

11、根据本技术的又一个实施例,还提供了一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

12、通过本技术,获取目标客户端在第一时段内的第一访问数据集合,并确定第一访问数据集合中至少一个第一访问数据各自对应的数据特征,其中,数据特征用于指示第一访问数据的特性和访问模式;将第一访问数据集合和至少一个第一访问数据各自对应的数据特征输入数据预测模型,得到目标客户端对应的第二访问数据集合;获取第二访问数据集合,并将第二访问数据集合进行缓存处理。在目标客户端对服务器进行数据访问的情况下,可以获取到目标客户端在第一时间段内从服务器中访问的数据,并在其中选择部分作为第一访问数据集合,在获取到第一访问数据集合后,可以确定其对应的数据特征,并通过访问数据和数据特征利用数据预测模型得到目标客户端未来可能访问的数据,将其作为第二访问数据集合,并从服务器中将第二访问数据集合缓存到客户端中。通过这种方式,可以实时根据客户端访问的数据确定出客户端可能访问的数据,提前准备并缓存,在使用时可以直接从缓存中读取,解决了相关技术中,目前的n fs系统中的缓存方法缓存命中率较低的技术问题。


技术特征:

1.一种缓存数据的调整方法,其特征在于,

2.根据权利要求1所述的方法,其特征在于,

3.根据权利要求2所述的方法,其特征在于,

4.根据权利要求3所述的方法,其特征在于,

5.根据权利要求3所述的方法,其特征在于,

6.根据权利要求5所述的方法,其特征在于,

7.根据权利要求3所述的方法,其特征在于,

8.一种缓存数据的调整装置,其特征在于,

9.一种计算机可读存储介质,其特征在于,

10.一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,


技术总结
本申请实施例提供了一种缓存数据的调整方法和装置、存储介质及程序产品,涉及数据存储技术领域,包括:获取目标客户端在第一时段内的第一访问数据集合,并确定第一访问数据集合中至少一个第一访问数据各自对应的数据特征,其中,数据特征用于指示第一访问数据的特性和访问模式;将第一访问数据集合和至少一个第一访问数据各自对应的数据特征输入数据预测模型,得到目标客户端对应的第二访问数据集合;获取第二访问数据集合,并将第二访问数据集合进行缓存处理。采用上述方案,解决了相关技术中,目前的NFS系统中的缓存方法缓存命中率较低的技术问题。

技术研发人员:吕梦柯,董梦超
受保护的技术使用者:济南浪潮数据技术有限公司
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-27182.html