本发明涉及数据备份，具体地说，涉及一种数据备份与快速恢复处理方法及系统。
背景技术：
1、数据备份是容灾的基础，是指为防止系统出现操作失误或系统故障导致数据丢失，而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程，常见的数据备份类型有，全量备份：全量备份是指备份整个数据集，包括所有数据文件和数据库，在恢复时，只需要最新的全量备份即可；增量备份：增量备份只备份自上次备份以来更改或新增的数据，恢复数据时，需要所有相关的增量备份文件和最近的全量备份；差异备份：差异备份会备份自上一次全量备份以来发生变化的所有数据，在恢复时只需要最近的全量备份和最近的差异备份。
2、目前，在对数据进行备份时，需要根据数据的更新频率、备份资源的空闲时间和业务周期等，去选择对应的备份类型，对于重要数据都会采用全量备份，确保能够对全部数据进行备份，但是，全量备份会占据大量的备份存储空间，若是一直采用全量备份会导致内存不足，进而导致备份失败，考虑到增量备份与差异备份以全量备份为基础，为了能够根据数据更新频率、备份资源空间和业务周期等实际情况对数据备份类型进行切换，进而能够更好地对数据进行备份以及对备份数据进行快速恢复，因此，我们提出一种数据备份与快速恢复处理方法及系统。
技术实现思路
1、本发明目的在于解决现有的数据备份方式无法有效平衡数据的更新频率、存储空间资源和业务周期等因素，导致在关键数据备份时可能存在内存不足或备份失败的问题。尤其是全量备份占用大量存储空间的情况下，为了在不同数据环境下灵活切换合适的备份类型，提升备份效率，并确保备份数据的快速恢复。
2、为实现上述目的，本发明提出了一种能根据实际情况动态选择备份策略的数据备份与快速恢复处理系统，具体包括数据采集模块、评估矩阵建立模块、预定义恢复模块和数据检验模块；
3、所述数据采集模块通过数据变化跟踪功能，识别出数据的变化情况，包括新增、修改和删除的数据内容，从而直接得到数据变化的频率，利用系统监控工具对备份数据存储设备的剩余存储空间进行检测，通过分析数据库日志，根据以往的业务周期，判断出备份数据的周期，所述数据采集模块把数据变化频率、剩余存储空间和业务周期信息传递至评估矩阵建立模块；
4、所述评估矩阵建立模块以数据变化频率、剩余存储空间和业务周期信息作为三个维度，建立备份策略评估矩阵，对于每个备份策略在各个维度下的评估结果，根据权重计算综合评估分数，比较不同备份策略的综合评估分数，分数最高的备份策略在当前评估环境下是最优选择，得到每个维度的不同组合所对应的备份策略，依据数据采集模块传递对应维度的信息选择对应的备份策略；
5、所述预定义恢复模块在数据进行备份时，对备份文件创建备份索引，并记录备份数据的校验和以及备份数据的冗余信息，在恢复数据时，利用备份索引快速定位到对应备份类型的存储位置，同时，采用并行恢复技术，利用多线程或多进程同时恢复不同部分的数据，提高恢复速度，显著缩短恢复时间，并把恢复数据传递至数据检验模块；
6、所述数据检验模块通过把恢复数据的校验和与备份数据的校验和进行对比，若二者相同，则恢复的数据是完整且正确的，若二者不同，则恢复的数据存在丢失或者篡改情况，此时，根据备份数据的冗余信息对其进行恢复，保证数据恢复的准确性。
7、作为本技术方案的进一步改进，所述评估矩阵建立模块包括矩阵建立单元和类型选择单元；
8、所述矩阵建立单元对数据变化频率、剩余存储空间和业务周期信息三个维度进行进一步细分，把每个维度细分为不同的类别，进而得到更加详细的评估结果，建立更加准确的备份策略评估矩阵；
9、所述类型选择单元根据数据采集模块传递的各个维度的检测信息，依据备份策略评估矩阵选择对应的备份类型，并开始对数据进行备份。
10、作为本技术方案的进一步改进，所述矩阵建立单元在建立备份策略评估矩阵时，根据企业的业务重点和资源状况，为每个评估维度分配权重，根据公式：得到对应备份类型的综合评估分数；
11、其中，s为综合评估分数，a为数据更新频率维度的评分，为数据更新频率维度的权重，b为剩余存储空间维度的评分，为剩余存储空间维度的权重，c为业务周期维度的评分，为业务周期维度的权重。
12、作为本技术方案的进一步改进，所述类型选择单元在数据备份类型切换时，对数据状态进行记录，确保切换点的数据完整且准确，同时，在切换时刻对数据库的日志文件和数据文件进行一致性检查，确保数据的一致性。
13、作为本技术方案的进一步改进，所述预定义恢复模块包括索引创建单元和并行恢复单元，所述索引创建单元在数据进行备份时，对其创建表级索引，该表级索引记录每个表的名称、表结构定义，包括列名、数据类型、主键和外键等以及在备份文件中的存储位置，方便恢复数据时，能够对其进行快速定位；
14、所述并行恢复单元将恢复任务分解为多个子任务，每个线程或进程负责一个子任务，一个线程可以负责恢复表结构，另一个线程负责恢复数据记录，多个线程同时运行，提高恢复效率。
15、作为本技术方案的进一步改进，所述索引创建单元在创建表级索引时，利用关系型数据库mysql中的自定义脚本结合数据库的信息模式information_schema，来创建备份索引，这些表提供了关于数据库结构和存储的详细信息，同时，对备份索引进行定期维护和更新。
16、作为本技术方案的进一步改进，所述并行恢复单元对数据进行多线程或多进程恢复时，利用锁机制确保在任何时刻只有一个线程能够访问和修改共享资源，通过进程间通信机制来协调和共享数据，保证数据的一致性。
17、作为本技术方案的进一步改进，所述数据检验模块包括比较校验和单元和冗余恢复单元，所述比较校验和单元通过md5算法计算备份数据的校验和，把恢复数据的校验和与备份数据的校验和进行对比，验证恢复数据的一致性；
18、所述冗余恢复单元通过对备份数据的冗余信息对丢失数据的二进制日志binarylog中的时间戳、事务 id 等信息进行定位，找到数据丢失之前的最后一个正确事务的位置。
19、作为本技术方案的进一步改进，所述冗余恢复单元通过使用关系型数据库mysql中的“mysqlbinlog”工具来读取二进制日志，并将其中的事务操作应用到数据库中，使数据库恢复到数据丢失前的状态。
20、本发明的目的之二在于，提供了数据备份与快速恢复处理方法，包括上述中任意一项所述的数据备份与快速恢复处理系统，包括以下步骤：
21、s1、通过数据采集模块对数据变化频率、剩余存储空间和业务周期信息进行采集；
22、s2、利用评估矩阵建立模块建立以数据变化频率、剩余存储空间和业务周期信息作为维度的备份策略评估矩阵，依据数据采集模块传递对应维度的信息选择对应的备份策略，并对数据进行备份；
23、s3、通过预定义恢复模块对备份数据建立备份索引，并记录备份数据的校验和以及备份数据的冗余信息，同时，采用并行恢复技术同时恢复不同部分的数据；
24、s4、利用数据检验模块对比恢复数据的校验和与备份数据的校验和，检验恢复数据的一致性。
25、与现有技术相比，本发明的有益效果：
26、1、该数据备份与快速恢复处理方法及系统，通过数据采集模块对数据变化频率、剩余存储空间和业务周期信息进行采集，利用评估矩阵建立模块建立以数据变化频率、剩余存储空间和业务周期信息作为维度的备份策略评估矩阵，根据权重计算综合评估分数，比较不同备份策略的综合评估分数，分数最高的备份策略在当前评估环境下是最优选择，得到每个维度的不同组合所对应的备份策略，依据数据采集模块传递对应维度的信息选择对应的备份策略，从而实现能够在不同的数据状况下，选择最合适的备份类型，提高备份效率；
27、2、在对备份数据进行恢复时，对备份文件创建备份索引，并记录备份数据的校验和以及备份数据的冗余信息，在恢复数据时，利用备份索引快速定位到对应备份类型的存储位置，同时，采用并行恢复技术，利用多线程或多进程同时恢复不同部分的数据，提高恢复速度，显著缩短恢复时间；
28、3、在备份数据恢复完成后，通过数据检验模块把恢复数据的校验和与备份数据的校验和进行对比，验证恢复数据的一致性，对于丢失或者篡改的备份数据段，根据备份数据的冗余信息对其进行恢复，保证数据恢复的准确性。
1.一种数据备份与快速恢复处理系统，其特征在于：包括数据采集模块（100）、评估矩阵建立模块（200）、预定义恢复模块（300）和数据检验模块（400）；
2.根据权利要求1所述的数据备份与快速恢复处理系统，其特征在于：所述评估矩阵建立模块（200）包括矩阵建立单元（210）和类型选择单元（220）；
3.根据权利要求2所述的数据备份与快速恢复处理系统，其特征在于：所述矩阵建立单元（210）在建立备份策略评估矩阵时，根据企业的业务重点和资源状况，为每个评估维度分配权重，根据公式：得到对应备份类型的综合评估分数；
4.根据权利要求2所述的数据备份与快速恢复处理系统，其特征在于：所述类型选择单元（220）在数据备份类型切换时，对数据状态进行记录，确保切换点的数据完整且准确，同时，在切换时刻对数据库的日志文件和数据文件进行一致性检查，确保数据的一致性。
5.根据权利要求1所述的数据备份与快速恢复处理系统，其特征在于：所述预定义恢复模块（300）包括索引创建单元（310）和并行恢复单元（320），所述索引创建单元（310）在数据进行备份时，对其创建表级索引，该表级索引记录每个表的名称、表结构定义，包括列名、数据类型、主键和外键，以及在备份文件中的存储位置，方便恢复数据时，能够对其进行快速定位；
6.根据权利要求5所述的数据备份与快速恢复处理系统，其特征在于：所述索引创建单元（310）在创建表级索引时，利用关系型数据库mysql中的自定义脚本结合数据库的信息模式information_schema，来创建备份索引，这些表提供了关于数据库结构和存储的详细信息，同时，对备份索引进行定期维护和更新。
7.根据权利要求5所述的数据备份与快速恢复处理系统，其特征在于：所述并行恢复单元（320）对数据进行多线程或多进程恢复时，利用锁机制确保在任何时刻只有一个线程能够访问和修改共享资源，通过进程间通信机制来协调和共享数据，保证数据的一致性。
8.根据权利要求1所述的数据备份与快速恢复处理系统，其特征在于：所述数据检验模块（400）包括比较校验和单元（410）和冗余恢复单元（420），所述比较校验和单元（410）通过md5算法计算备份数据的校验和，把恢复数据的校验和与备份数据的校验和进行对比，验证恢复数据的一致性；
9.根据权利要求1所述的数据备份与快速恢复处理系统，其特征在于：所述冗余恢复单元（420）通过使用关系型数据库mysql中的“mysqlbinlog”工具来读取二进制日志，并将其中的事务操作应用到数据库中，使数据库恢复到数据丢失前的状态。
10.用于实现数据备份与快速恢复处理方法，应用于权利要求1-9中任意一项所述的数据备份与快速恢复处理系统，其特征在于，包括以下步骤：
