本技术涉及数据处理，尤其涉及多系统数据处理方法、装置、设备、介质及程序产品。
背景技术：
1、公司业务发展迅速，在发展过程中也诞生了大量的新应用系统，随之也产生了新旧系统之间数据交互和管理的问题。例如：对于数据存在不一致和难以管理的困扰，对于开发则有大量的冗余代码进行数据兼容和整合，并且数据查询的性能产生较大的挑战。应用系统数据错综复杂无法管理，严重影响了查询和处理效率，也造成了开发运维资源的浪费，无法满足日益增长的业务带来的压力。
2、而现有技术的实现方案十分繁杂臃肿，针对每个数据查询逻辑都需要冗余大量的程序代码做数据整合和逻辑处理，导致了开发工作量和效率有所限制，同时也导致了新旧系统之间数据整合而出现的查询性能低下的情况。同时，也带来了很高的服务器费用成本，造成了资源浪费。
3、因此，亟需一种多系统数据处理方法，以解决不断扩展的新业务产生的新系统数据与历史留存的旧系统数据之间数据格式多样、字段多变，数据兼容和整合过于复杂，导致影响查询和处理效率的问题。
技术实现思路
1、本技术的主要目的在于提供一种多系统数据处理方法、装置、设备、介质及程序产品，旨在解决不断扩展的新业务产生的新系统数据与历史留存的旧系统数据之间数据格式多样、字段多变，数据兼容和整合过于复杂，导致影响查询和处理效率的技术问题。
2、为实现上述目的，本技术提出一种多系统数据处理方法，所述方法包括：
3、获取映射前新系统数据和映射前旧系统数据；
4、将所述映射前新系统数据和所述映射前旧系统数据统一映射为指定字段名，得到映射后新系统数据和映射后旧系统数据；
5、对所述映射后新系统数据和所述映射后旧系统数据进行逻辑维护处理，得到目标系统数据；其中，所述逻辑维护处理至少包括数据过滤、数据清洗和数据整合；
6、对所述目标系统数据进行持久化处理，以使所述目标系统数据与数据库保持通讯连接，并将所述目标系统数据传输至所述数据库。
7、在一实施例中，所述将所述映射前新系统数据和所述映射前旧系统数据映射为指定字段名，得到映射后新系统数据和映射后旧系统数据的步骤之前，还包括：
8、引入映射器的依赖包；
9、定义所述映射器的映射规则，以使系统数据经映射后具有所述指定字段名；其中，所述映射规则中的清洗器属性表示所述映射规则的指定字段与所述清洗器的对应关系。
10、在一实施例中，所述对所述映射后新系统数据和所述映射后旧系统数据进行逻辑维护处理，得到目标系统数据的步骤包括：
11、对所述映射后新系统数据和所述映射后旧系统数据中的字段内容进行数据过滤处理，得到过滤后新系统数据和过滤后旧系统数据；
12、对所述过滤后新系统数据和所述过滤后旧系统数据进行数据清洗处理，得到清洗后新系统数据和清洗后旧系统数据；
13、将所述清洗后新系统数据和清洗后旧系统数据中的字段按实体定义进行分组整合，形成完整的实体数据，以得到所述目标系统数据。
14、在一实施例中，所述对所述映射后新系统数据和所述映射后旧系统数据中的字段内容进行数据过滤处理，得到过滤后新系统数据和过滤后旧系统数据的步骤包括：
15、对所述映射后新系统数据和所述映射后旧系统数据进行数据格式校验和转换，以使所述映射后新系统数据和所述映射后旧系统数据中不同的数据格式转换为相同的数据格式，得到格式化新系统数据和格式化旧系统数据；
16、对所述格式化新系统数据和所述格式化旧系统数据进行有效性校验并过滤，从而得到所述过滤后新系统数据和所述过滤后旧系统数据；其中，所述有效性校验的校验内容至少包括字段长度和字段内容范围。
17、在一实施例中，所述对所述过滤后新系统数据和所述过滤后旧系统数据进行数据清洗处理，得到清洗后新系统数据和清洗后旧系统数据的步骤包括：
18、基于查询第三方服务获取完整数据的方式，对所述过滤后新系统数据和所述过滤后旧系统数据中缺失的字段内容进行内容补充，得到补充后新系统数据和补充后旧系统数据；
19、基于字段规则，对所述补充后新系统数据和所述补充后旧系统数据进行逻辑清洗，得到所述清洗后新系统数据和所述清洗后旧系统数据；其中，所述字段规则包括昵称长度规则、字段截取规则和内容取舍规则。
20、在一实施例中，所述对所述目标系统数据进行持久化处理，以使所述目标系统数据传输至所述数据库的步骤包括：
21、利用持久器对所述目标系统数据进行实体封装，得到封装数据；其中，所述封装数据是能够与elasticsearch数据库通讯的结构化数据；
22、利用所述持久器与所述elasticsearch数据库建立通讯连接，并将所述封装数据传输至所述elasticsearch数据库中。
23、此外，为实现上述目的，本技术还提出一种多系统数据处理装置，所述多系统数据处理装置包括：
24、数据获取模块，用于获取映射前新系统数据和映射前旧系统数据；
25、映射器模块，用于将所述映射前新系统数据和所述映射前旧系统数据统一映射为指定字段名，得到映射后新系统数据和映射后旧系统数据；
26、清洗器模块，用于对所述映射后新系统数据和所述映射后旧系统数据进行逻辑维护处理，得到目标系统数据；其中，所述逻辑维护处理至少包括数据过滤、数据清洗和数据整合；
27、持久器模块，用于对所述目标系统数据进行持久化处理，以使所述目标系统数据与数据库保持通讯连接，并将所述目标系统数据传输至所述数据库。
28、此外，为实现上述目的，本技术还提出一种多系统数据处理设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的多系统数据处理方法的步骤。
29、此外，为实现上述目的，本技术还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的多系统数据处理方法的步骤。
30、此外，为实现上述目的，本技术还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的多系统数据处理方法的步骤。
31、本技术提出的一个或多个技术方案，至少具有以下技术效果：
32、本技术提供了一种多系统数据处理方法，本技术首先通过获取映射前新系统数据和映射前旧系统数据；将所述映射前新系统数据和所述映射前旧系统数据统一映射为指定字段名，得到映射后新系统数据和映射后旧系统数据；对所述映射后新系统数据和所述映射后旧系统数据进行逻辑维护处理，得到目标系统数据；其中，所述逻辑维护处理至少包括数据过滤、数据清洗和数据整合；对所述目标系统数据进行持久化处理，以使所述目标系统数据与数据库保持通讯连接，并将所述目标系统数据传输至所述数据库。
33、本技术的技术方案通过对新系统数据和旧系统数据进行统一映射，映射后新系统数据和映射后旧系统数据具有统一的指定字段名，为后续逻辑维护处理提供基础。映射后新系统数据和映射后旧系统数据经过逻辑维护处理后，得到的目标系统数据符合统一的数据结构逻辑；再将目标系统数据进行持久化处理，使得目标系统数据与数据库保持通讯连接，并将目标系统数据传输至数据库，为数据展示查询和处理提供完整的数据。经过上述处理后，最终使得原先的新系统数据和旧系统数据能够被兼容整合在一起，并消除了数据中存在的逻辑缺陷和数据结构缺陷，有效提高了数据的有效性以及对数据的查询效率和处理效率。
1.一种多系统数据处理方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述将所述映射前新系统数据和所述映射前旧系统数据映射为指定字段名，得到映射后新系统数据和映射后旧系统数据的步骤之前，还包括：
3.如权利要求1所述的方法，其特征在于，所述对所述映射后新系统数据和所述映射后旧系统数据进行逻辑维护处理，得到目标系统数据的步骤包括：
4.如权利要求3所述的方法，其特征在于，所述对所述映射后新系统数据和所述映射后旧系统数据中的字段内容进行数据过滤处理，得到过滤后新系统数据和过滤后旧系统数据的步骤包括：
5.如权利要求3所述的方法，其特征在于，所述对所述过滤后新系统数据和所述过滤后旧系统数据进行数据清洗处理，得到清洗后新系统数据和清洗后旧系统数据的步骤包括：
6.如权利要求1所述的方法，其特征在于，所述对所述目标系统数据进行持久化处理，以使所述目标系统数据传输至所述数据库的步骤包括：
7.一种多系统数据处理装置，其特征在于，所述装置包括：
8.一种多系统数据处理设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如权利要求1至6中任一项所述的多系统数据处理方法的步骤。
9.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的多系统数据处理方法的步骤。
10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的多系统数据处理方法的步骤。
