本发明涉及数据处理，尤其涉及一种基于深度学习的数据压缩与分块存储处理方法。
背景技术：
1、随着信息技术的迅猛发展，数据的生成与存储量呈指数级增长，尤其是在大数据、物联网和云计算等领域，数据的种类和复杂性日益增加。如何有效地压缩、存储和管理这些海量数据，成为了当前研究的热点和难点之一。数据压缩主要依赖于固定算法，如huffman编码、lzw压缩等，深度学习技术的快速发展为数据压缩、分块等处理提供了新的思路，深度学习模型通过对大量数据的学习，自动提取特征，从而在数据压缩与存储过程中实现更高的效率和准确性。利用深度学习方法进行数据压缩，能够根据数据的特性动态调整压缩策略，提高压缩比和数据恢复质量。然而，现有的基于深度学习的数据压缩及分块存储处理方法无法根据数据特性进行动态调整压缩处理等，无法保证数据压缩的质量，并且没有针对性的数据分块存储管理，使得存储资源浪费以及调度效率较低。
技术实现思路
1、基于此，本发明提供一种基于深度学习的数据压缩与分块存储处理方法，以解决至少一个上述技术问题。
2、为实现上述目的，一种基于深度学习的数据压缩与分块存储处理方法，包括以下步骤：
3、步骤s1：获取待压缩集成数据；根据待压缩集成数据进行有效解析数据分析处理，生成有效待压缩集成解析数据；
4、步骤s2：构建异构数据特征分析树模型；根据异构数据特征分析树模型对有效待压缩集成数据进行特征子集提取处理，生成待压缩特征数据；基于待压缩特征数据设计递归稀疏系数评估目标函数；
5、步骤s3：基于递归压稀疏系数评估目标函数对有效待压缩集成数据进行自适应稀疏压缩处理，以得到压缩数据；
6、步骤s4：对压缩数据进行分块处理，生成分块压缩数据；根据分块压缩数据进行压缩数据块的数据访问模式提取，生成数据访问模式；基于数据访问模式对分块压缩数据进行压缩数据块存储优化处理，生成优化存储压缩数据块。
7、进一步的，步骤s1包括以下步骤：
8、步骤s11：获取待压缩集成数据；
9、步骤s12：对待压缩集成数据进行数据解析处理，生成待压缩集成解析数据；
10、步骤s13：对待压缩集成解析数据进行异构数据类型分析，生成解析异构数据类型；
11、步骤s14：基于解析异构数据类型对待压缩集成解析数据进行压缩需求异常检测反馈处理，以得到有效待压缩集成解析数据。
12、进一步的，步骤s14包括以下步骤：
13、步骤s141：根据解析异构数据类型进行解析异构数据压缩需求分析，以得到解析异构数据压缩需求决策；
14、步骤s142：通过解析异构数据压缩需求决策设计压缩需求异常检测引擎；
15、步骤s143：通过压缩需求异常检测引擎对待压缩集成解析数据进行压缩需求异常检测反馈处理，以得到有效待压缩集成解析数据。
16、进一步的，步骤s143包括以下步骤：
17、当压缩需求异常检测引擎识别到待压缩集成解析数据不符合解析异构数据压缩需求决策时，将对应的待压缩集成解析数据反馈至终端执行压缩异常反馈作业；或者，当集成数据异常检测引擎识别到待压缩集成解析数据符合解析异构数据压缩需求决策时，将待压缩集成解析数据标记为有效待压缩集成解析数据。
18、进一步的，步骤s2包括以下步骤：
19、步骤s21：根据解析异构数据类型进行异构数据特征分析规则分析，以设计异构数据特征分析规则决策；
20、步骤s22：通过异构数据特征分析规则决策对有效待压缩集成数据进行异构数据特征分析因子提取，生成异构数据特征分析因子；
21、步骤s23：基于预设的决策树模型以及异构数据特征分析因子建立异构数据与特征子集的映射关系，以构建异构数据特征分析树模型；
22、步骤s24：根据异构数据特征分析树模型对有效待压缩集成数据进行特征子集提取处理，生成待压缩特征数据；
23、步骤s25：根据待压缩特征数据进行特征子集信息量度量处理，生成特征子集信息量数据；
24、步骤s26：根据待压缩特征数据进行特征子集的互信息相关性分析，生成特征子集互信息相关性数据；
25、步骤s27：基于特征子集信息量数据以及特征子集互信息相关性数据设计递归稀疏系数评估目标函数。
26、进一步的，步骤s26包括以下步骤：
27、步骤s261：根据待压缩特征数据进行特征子集的联合概率分布以及边缘概率分布分析，分别生成特征子集联合概率分布数据以及特征子集边缘概率分布数据；
28、步骤s262：根据特征子集联合概率分布数据以及特征子集边缘概率分布数据进行特征子集互信息相关性分析，生成特征子集互信息相关性数据。
29、进一步的，步骤s27包括以下步骤：
30、步骤s271：根据特征子集信息量数据以及特征子集互信息相关性数据作为特征子集负相关稀疏评估数据，并将特征子集负相关稀疏评估数据传输至预设的深度学习算法进行特征子集稀疏系数评估学习处理，以构建稀疏系数评估目标函数；
31、步骤s272：根据稀疏系数评估目标函数进行目标函数递归优化处理，生成递归稀疏系数评估目标函数。
32、进一步的，步骤s3包括以下步骤：
33、步骤s31：基于递归压稀疏系数评估目标函数对有效待压缩集成数据对应的待压缩特征数据进行特征子集稀疏非零元素分析，生成特征子集稀疏非零元素数据；
34、步骤s32：根据特征子集稀疏非零元素数据进行压缩稀疏性评估处理，生成压缩稀疏性评估数据；
35、步骤s33：根据压缩稀疏性评估数据以及对应的节点位置设计压缩稀疏矩阵；
36、步骤s34：通过压缩稀疏矩阵对有效待压缩集成数据进行自适应稀疏压缩处理，以得到压缩数据。
37、进一步的，步骤s4包括以下步骤：
38、步骤s41：根据压缩数据的压缩稀疏矩阵进行存储需求分布特征分析，生成存储需求分布特征数据；
39、步骤s42：根据存储需求分布特征数据进行聚类分析，生成聚类存储需求分布特征数据；
40、步骤s43：根据聚类存储需求分布特征数据进行数据块配置需求分析，生成数据块配置需求数据；
41、步骤s44：根据数据块配置需求数据对压缩数据进行分块处理，生成分块压缩数据；
42、步骤s45：根据分块压缩数据进行压缩数据块的数据访问模式提取，生成数据访问模式；
43、步骤s46：基于数据访问模式对分块压缩数据进行压缩数据块存储优化处理，生成优化存储压缩数据块。
44、进一步的，步骤s46包括以下步骤：
45、步骤s461：根据数据访问模式进行访问模式时频特征分析，生成访问模式时频特征数据；
46、步骤s462：根据访问模式时频特征数据进行访问模式协同关联特征分析，生成访问模式协同关联特征数据；
47、步骤s463：根据访问模式协同关联特征数据对分块压缩数据进行协同关联存储处理处理，生成存储压缩数据块；
48、步骤s464：根据存储压缩数据块对应的访问模式时频特征数据进行存储队列调度资源分析处理，生成存储队列调度资源数据；
49、步骤s465：通过存储队列调度资源数据对存储压缩数据块进行存储队列优化处理，生成优化存储压缩数据块。
50、本发明有益效果在于，通过系统化获取和解析待压缩数据，确保数据的完整性和准确性，为后续处理提供了坚实的基础，显著减少数据准备时间，提高整体处理效率。对解析后的数据进行异构数据类型分析，能够识别和分类不同类型的数据，有助于更好地理解数据特性，从而在压缩时采用更合适的策略，提升压缩效果。通过设计的异常检测引擎，能够实时识别压缩过程中的问题并及时反馈，不仅提高了数据处理的可靠性，还为后续处理提供了改进依据，减少了潜在的风险，明确哪些数据符合压缩需求，从而确保只有经过验证的数据进行压缩，增强了数据处理的规范性和安全性，有效提升了整体数据质量。通过解析异构数据类型进行特征分析与提取，能够有效识别和利用数据中的关键信息，从而为后续压缩提供了更为准确的依据，提升了压缩效率，构建的异构数据特征分析树模型，能够动态映射数据与特征子集的关系，使得在压缩过程中可以更精准地针对数据特性进行处理。这种模型的应用，增强了对数据特征的理解与分析，促进了信息量的有效度量与互信息相关性分析，进一步优化了压缩效果。通过设计递归稀疏系数评估目标函数，能够持续优化压缩策略，使得压缩过程具有更高的自适应性和灵活性，深度学习技术的应用，不仅提高了数据压缩与存储的效率，还为处理复杂和异构数据提供了创新性的解决方案，增强了数据管理的智能化与自动化水平。采用递归压稀疏系数评估目标函数，对有效待压缩集成数据进行特征子集稀疏非零元素分析，实现了对数据稀疏性的深入挖掘与评估，不仅能够准确识别待压缩数据中的关键信息，还为压缩策略提供了科学依据，从而优化了压缩效率。通过设计压缩稀疏矩阵，能够将数据以更为灵活和高效的方式进行存储，显著降低存储需求，并提升数据读取与处理速度。此外，自适应稀疏压缩处理的应用，使得数据在保持重要特征的同时，最大程度地减少冗余信息，进一步提高了压缩比，在处理复杂数据时展现出较高的适应性和智能化，提升数据管理的效率和安全性。根据压缩数据的压缩稀疏矩阵进行存储需求分布特征分析，实现了对存储需求的精准评估。这种特征数据为后续的聚类分析奠定了基础，从而能够生成更加细化的聚类存储需求分布特征数据，提升了存储配置的智能化水平。进一步进行数据块配置需求分析后，针对不同存储需求，优化数据块的配置，确保存储资源的高效利用。在分块处理过程中，生成的分块压缩数据通过对数据访问模式的提取，能够明确用户在数据存储和访问中的行为特征。这种数据访问模式的分析，不仅为压缩数据块的存储优化提供了重要依据，还帮助识别出最佳的存储策略，提高了数据访问的效率。通过访问模式的时频特征分析与协同关联特征分析，能够更深入地理解数据访问行为，进而实施协同关联存储处理，提升了存储压缩数据块的性能。通过存储队列调度资源的分析与优化处理，确保了存储压缩数据块在实际使用中的高效调度与管理，在优化数据存储、提升访问效率及降低存储成本等方面均展现出优越的效果。因此，本发明的基于深度学习的数据压缩及分块存储处理方法能够通过深度学习算法对数据特性进行学习，以动态调整压缩处理等，保证数据压缩针对于冗余信息且保留了重要的特征信息，并且具有针对性的数据分块存储管理，使得存储资源高效利用以及调度效率较高。
1.一种基于深度学习的数据压缩与分块存储处理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于深度学习的数据压缩与分块存储处理方法，其特征在于，步骤s1包括以下步骤：
3.根据权利要求2所述的基于深度学习的数据压缩与分块存储处理方法，其特征在于，步骤s14包括以下步骤：
4.根据权利要求3所述的基于深度学习的数据压缩与分块存储处理方法，其特征在于，步骤s143包括以下步骤：
5.根据权利要求2所述的基于深度学习的数据压缩与分块存储处理方法，其特征在于，步骤s2包括以下步骤：
6.根据权利要求5所述的基于深度学习的数据压缩与分块存储处理方法，其特征在于，步骤s26包括以下步骤：
7.根据权利要求5所述的基于深度学习的数据压缩与分块存储处理方法，其特征在于，步骤s27包括以下步骤：
8.根据权利要求1所述的基于深度学习的数据压缩与分块存储处理方法，其特征在于，步骤s3包括以下步骤：
9.根据权利要求1所述的基于深度学习的数据压缩与分块存储处理方法，其特征在于，步骤s4包括以下步骤：
10.根据权利要求9所述的基于深度学习的数据压缩与分块存储处理方法，其特征在于，步骤s46包括以下步骤：
