本发明涉及分布式集群处理，尤其涉及数据归档处理，具体是指一种基于多个分布式集群组实现数据归档处理的方法及其系统。
背景技术：
1、海量关系型(sql)、非关系型(nosql)数据的生命周期管理涉及数据的创建、读取、更新和删除(crud)操作，以及数据的备份、恢复和迁移。这类数据生命周期管理是实现数字资产接入、应用、归档、下线、封存、调阅、再次上线应用的数字档案系统的基础。目前业内有多种海量数据生命周期管理，可以实现类似的迁移、归档、调阅、再次上线的功能，但是普遍存在如下问题：
2、-归档数据再次应用需要先启用归档设备，包括服务器连接磁盘、磁带等存储设备；读取存储设备数据并导入应用系统然后进行数据应用。这条处理线上，任何一个环节出现问题，如服务器和磁盘、磁带等存储设备接口不兼容、接口协议不兼容、服务器读取的数据格式和新的应用系统不兼容等都会导致归档数据应用失败；
3、-数据加载、应用过程较慢，需要先将数据进行整体导入然后进行应用；
4、-归档数据以外部数据方式导入应用系统，无法和现有平台数据形成无缝接入的一体化数据。
5、大数据时代的到来，各种类型数据的总量爆发式增长，多年前的归档数据偶发性调阅的需求也越来越强烈，业务需求集中体现在超大容量、多次偶发性调阅、调阅时间较短、追溯期限无上限等需求。传统数据的备份、恢复和迁移库已难以应对。传统数据库厂商，如oracle、ibm的基于传统数据库管理系统的大数据生命周期管理解决方案非常昂贵，无法灵活应对上述需求，难以广泛应用；新兴的分布式数据库解决方案，也由于只支持被动的数据导入导出，难以应对灵活的数据角色在线上线下随时切换。
技术实现思路
1、本发明的目的是克服了上述现有技术的缺点，提供了一种基于多个分布式集群组实现数据归档处理的方法及其系统。
2、为了实现上述目的，本发明的该基于多个分布式集群组实现数据归档处理的方法及其系统如下：
3、该基于多个分布式集群组实现数据归档处理的方法，其主要特点是，所述的方法包括以下步骤：
4、(1)配置热数据集群用于保存平台的热数据，配置归档/休眠集群用于保存归档数据；
5、(2)所述的热数据以及归档数据均进行全流程数据生命周期流动配置处理；
6、(3)配置总控制器接收系统所有读、写请求，待完成请求定位后将返回的数据返回至调用方；
7、(4)对所述的归档/休眠集群进行内部配置处理，以完成归档数据的保存、检索和调阅。
8、较佳地，所述的步骤(2)具体为：
9、对所述的热数据以及归档数据进行数据接入、数据处理、热数据集群存档、变冷后迁入归档/休眠集群、归档/休眠集群进入休眠状态、归档/休眠集群在需要时被唤醒后接入总控制器集群中提供数据服务以及待服务完成后继续进入休眠状态的全流程数据生命周期流动配置处理。
10、较佳地，所述的步骤(3)具体包括以下步骤：
11、(3.1)所述的总控制器接收读请求后，根据内部的总元数据集群，将相应的请求分别定位到热数据集群和归档/休眠集群上，再将返回的数据返回至调用方；
12、(3.2)所述的总控制器接收写请求后，将写请求转发至所述的热数据集群完成写服务，再将相应的写服务执行结果返回应用调用方；
13、(3.3)所述的总控制器根据数据生命周期流动配置进行数据自动迁移和元数据更新，保证数据读请求和写请求被定位到正确的集群上。
14、较佳地，所述的步骤(4)包括：
15、在所述的归档/休眠集群中配置一索引集群、元数据集群和多个数据节点组成的分布式数据存储集群，其中，所述的索引集群为快速唤醒集群，所述的元数据集群和分布式数据存储集群为慢集群，分别用于保存数据索引信息和数据本身；以及所述的归档/休眠集群内还配置有一子控制器。
16、较佳地，所述的步骤(4)包括进行以下处理：
17、所述的归档/休眠集群的每一条数据记录中均包含一个唯一的内部序列号(_id)，所述的索引集群完成查询条件到_id的映射，所述的元数据集群完成_id到数据的加载；
18、配置所述的子控制器，用于接收所有的读请求，并同步所述的索引集群和元数据集群完成归档数据加载的读请求后，将读请求的结果返回至请求调用方，待所述的总控制器接收读请求后，根据所述的索引集群查找所有符合查询条件的序列号(_id)并按照排序组合，再将其发送至所述的元数据集群进行数据加载后返回至调用方。
19、较佳地，所述的归档/休眠集群内部配置为分布式数据存储集群，用于将数据保存在多个数据节点上，以实现海量数据分离。
20、该实现上述所述的方法的基于多个分布式集群组实现数据归档处理的系统，其主要特点是，所述的系统包括：
21、热数据集群，用于保存平台的热数据；
22、归档/休眠集群，用于对归档数据进行保存、检索和调阅处理；以及
23、总控制器，与所述的热数据集群和归档/休眠集群相连接，用于接收系统内所述的读、写请求，并将相应的执行结果返回至调用方。
24、较佳地，所述的热数据集群具体为：
25、由mongodb、redis、scylladb、postgresql或者cockroachdb分布式集群实现；
26、由ssd磁盘和服务器组成，以完成针对热数据的频繁查询和新数据的实时插入。
27、较佳地，所述的归档/休眠集群包括：子控制器、索引集群、元数据集群、多个数据节点以及网络接口，其中，所述的子控制器用于接收所述的总控制器转发的所有的读写请求，并将结果返回至所述的总控制器，所述的索引集群将查询条件和结果排序转换为数据唯一序列号(_id)集合，所述的元数据集群用于创建和维护唯一序列号(_id)和数据节点之间的映射关系。
28、较佳地，所述的唯一序列号(_id)为由所述的元数据集群依据指定策略生成的唯一序列号，包含前缀和后缀，前缀为片键，是取值范围为数据节点序号1-n的均匀随机数，后缀为顺序增长的序号，为内部各个数据节点的唯一索引。
29、较佳地，所述的总控制器包括读请求处理模块、写请求处理模块、元数据库以及网络接口，其中，所述的读请求处理模块和写请求处理模块用于接收系统内所有的读写请求，并将结果返回至调用方；所述的元数据库用于维护总集群索引，并将不同时间范围内的数据的读、写请求转发到不同的集群上。
30、较佳地，所述的热数据集群和归档/休眠集群按照时间进行分片，并将分片信息保存在所述的元数据库中，所述的读请求处理模块通过查询所述的元数据库，用于将不同的请求单向转发至对应的集群。
31、较佳地，所述的网络接口均采用光模块接口，以应对大量数据写入和读出情况。
32、采用了本发明的该基于多个分布式集群组实现数据归档处理的方法及其系统，具有以下技术优势：
33、1.具有高可靠性的公安数据包括数据可归档备份，即、公安各类数据接入、应用、归档、下线、封存、调阅、再次上线应用的数字档案系统；
34、2.检索的时候，系统可以像检索传统档案室的文件明细一样，查询这部分数据(文件)是否在本档案室中；
35、3.调阅的时候，系统可以像调阅传统档案室的文件调阅一样，定位到某个文件柜，将这部分数据(文件)加载；
36、4.电子档案室和传统档案室一样，具有防火、防水、防震等国家标准安全防护预案；
37、5.当出现城市级地震、水灾，或者区域型火灾时，电子档案室可以实现历史数据上线。
1.一种基于多个分布式集群组实现数据归档处理的方法，其特征在于，所述的方法包括以下步骤：
2.根据权利要求1所述的基于多个分布式集群组实现数据归档处理的方法，其特征在于，所述的步骤(2)具体为：
3.根据权利要求1所述的基于多个分布式集群组实现数据归档处理的方法，其特征在于，所述的步骤(3)具体包括以下步骤：
4.根据权利要求1所述的基于多个分布式集群组实现数据归档处理的方法，其特征在于，所述的步骤(4)包括：
5.根据权利要求4所述的基于多个分布式集群组实现数据归档处理的方法，其特征在于，所述的步骤(4)包括进行以下处理：
6.根据权利要求4所述的基于多个分布式集群组实现数据归档处理的方法，其特征在于，所述的归档/休眠集群内部配置为分布式数据存储集群，用于将数据保存在多个数据节点上，以实现海量数据分离。
7.一种实现权利要求5所述的方法的基于多个分布式集群组实现数据归档处理的系统，其特征在于，所述的系统包括：
8.根据权利要求7所述的基于多个分布式集群组实现数据归档处理的系统，其特征在于，所述的热数据集群具体为：
9.根据权利要求7所述的基于多个分布式集群组实现数据归档处理的系统，其特征在于，所述的归档/休眠集群包括：子控制器、索引集群、元数据集群、多个数据节点以及网络接口，其中，所述的子控制器用于接收所述的总控制器转发的所有的读写请求，并将结果返回至所述的总控制器，所述的索引集群将查询条件和结果排序转换为数据唯一序列号(_id)集合，所述的元数据集群用于创建和维护唯一序列号(_id)和数据节点之间的映射关系。
10.根据权利要求9所述的基于多个分布式集群组实现数据归档处理的系统，其特征在于，所述的唯一序列号(_id)为由所述的元数据集群依据指定策略生成的唯一序列号，包含前缀和后缀，前缀为片键，是取值范围为数据节点序号1-n的均匀随机数，后缀为顺序增长的序号，为内部各个数据节点的唯一索引。
11.根据权利要求9所述的基于多个分布式集群组实现数据归档处理的系统，其特征在于，所述的总控制器包括读请求处理模块、写请求处理模块、元数据库以及网络接口，其中，所述的读请求处理模块和写请求处理模块用于接收系统内所有的读写请求，并将结果返回至调用方；所述的元数据库用于维护总集群索引，并将不同时间范围内的数据的读、写请求转发到不同的集群上。
12.根据权利要求11所述的基于多个分布式集群组实现数据归档处理的系统，其特征在于，所述的热数据集群和归档/休眠集群按照时间进行分片，并将分片信息保存在所述的元数据库中，所述的读请求处理模块通过查询所述的元数据库，用于将不同的请求单向转发至对应的集群。
13.根据权利要求11所述的基于多个分布式集群组实现数据归档处理的系统，其特征在于，所述的网络接口均采用光模块接口，以应对大量数据写入和读出情况。
