本申请实施例涉及计算机,尤其涉及一种数据对接方法、系统、设备及存储介质。
背景技术:
1、随着网络技术的不断发展,越来越多的企业采用多元化的信息系统来满足其不同的业务需求,然而这些信息系统通常是独立部署的,其各个系统的开发方式以及数据存储格式不同,导致数据之间以及各系统数据与数据仓库之间存在壁垒,难以实现各个平台数据在数据仓库中的存储,阻碍了数据的有效传递和共享。
2、相关技术中,大部分的信息系统之间对接数据时,都需要开发人员对系统接口进行适配开发,在数据对接过程中需要投入一定的人力成本,并且会影响数据对接的效率,不能够保证对接数据的有效性。
技术实现思路
1、本申请实施例提供一种数据对接方法、系统、设备及存储介质,解决了数据对接过程中对接效率低和人力成本高的问题,降低了数据对接成本,提高了数据对接效率。
2、在第一方面,本申请实施例提供了一种数据对接方法,包括:
3、接收配置参数和存储模型标识,所述配置参数包括请求地址和请求内容,将所述请求地址和所述请求内容组装生成数据接入请求,并发送所述数据接入请求至服务器,以使所述服务器调取并发送对应的系统数据;
4、接收所述服务器发送的所述系统数据,基于所述请求内容的类型对所述系统数据进行数据解析,得到结构化系统数据,并对所述结构化系统数据进行编码验证;
5、在编码验证通过的情况下,将所述存储模型标识与所述结构化系统数据进行绑定,并存储至消费队列中,基于所述存储模型标识将所述消费队列中的结构化系统数据写入数据仓库中。
6、可选的,所述配置参数还包括时间窗口,所述将所述请求地址和所述请求内容组装生成数据接入请求,包括:
7、根据所述时间窗口的数量对所述请求地址和所述请求内容进行循环组装,生成数据接入请求。
8、可选的,所述对所述结构化系统数据进行编码验证,包括:
9、将所述结构化系统数据的编码格式与数据仓库的编码格式进行对比,在编码格式相同的情况下,编码验证通过。
10、可选的,在所述得到结构化系统数据之后,还包括:
11、根据数据仓库存储模型提供的字段信息和建表索引创建数据存储表,将所述结构化系统数据存储至所述数据存储表,用于在接收到查询请求时,反馈查询结果。
12、可选的,在所述接收配置参数之后,还包括:
13、创建请求模板,根据所述配置参数对所述请求模板进行数据填充,并对填充后的请求模板进行权限验证;
14、相应的,所述将所述请求地址和所述请求内容组装生成数据接入请求,包括:
15、在权限验证通过的情况下,将所述请求地址和所述请求内容组装生成数据接入请求。
16、可选的,所述基于所述存储模型标识将所述消费队列中的结构化系统数据写入数据仓库中,包括:
17、将所述消费队列中的结构化系统数据按与之绑定的存储模型标识进行分类,基于分类结果组装多组结构化系统数据并分别进行字符转义处理;
18、将处理后的所述多组结构化系统数据分别写入数据仓库中。
19、可选的,所述方法还包括:
20、判断所述处理后的结构化系统数据是否写入成功;
21、在写入失败的情况下,将所述结构化系统数据逐条写入死信队列,并将所述死信队列中的结构化系统数据重新写入所述数据仓库中;
22、将重新写入失败的结构化系统数据写入异常队列中,并发送告警信息。
23、在第二方面,本申请实施例提供了一种数据对接系统,包括:
24、接收模块,用于接收配置参数和存储模型标识,所述配置参数包括请求地址和请求内容;
25、数据接入请求生成模块,用于将所述请求地址和所述请求内容组装生成数据接入请求,并发送所述数据接入请求至服务器,以使所述服务器调取并发送对应的系统数据;
26、数据解析模块,用于接收所述服务器发送的所述系统数据,基于所述请求内容的类型对所述系统数据进行数据解析,得到结构化系统数据;
27、编码验证模块,用于并对所述结构化系统数据进行编码验证;
28、存储模块,用于在编码验证通过的情况下,将所述存储模型标识与所述结构化系统数据进行绑定,并存储至消费队列中;
29、数据写入模块,用于基于所述存储模型标识将所述消费队列中的结构化系统数据写入数据仓库中。
30、在第三方面,本申请实施例提供了一种数据对接设备,所述设备包括:一个或多个处理器;存储装置,配置为存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现第一方面所述的数据对接方法。
31、在第四方面,本申请实施例提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的数据对接方法。
32、本申请实施例通过接收配置参数和存储模型标识,所述配置参数包括请求地址和请求内容,将所述请求地址和所述请求内容组装生成数据接入请求,并发送所述数据接入请求至服务器,以使所述服务器调取并发送对应的系统数据,接收所述服务器发送的所述系统数据,基于所述请求内容的类型对所述系统数据进行数据解析,得到结构化系统数据,并对所述结构化系统数据进行编码验证,在编码验证通过的情况下,将所述存储模型标识与所述结构化系统数据进行绑定,并存储至消费队列中,基于所述存储模型标识将所述消费队列中的结构化系统数据写入数据仓库中。能够通过配置参数自动发送数据接入请求,实现数据的自动接入,避免了开发人员对系统接口进行适配开发增加人力成本,提高了数据接入的效率。通过对接入的数据进行动态解析,得到结构化系统数据,满足系统的存储规范,通过编码一致性验证,便于数据的处理和分析,也能够提高结构化系统数据的传输效率。通过存储模型标识分类的方式将结构化系统数据存储在相应的分区中,能够使各个分区的负载均衡,且能够实现数据接入和数据消费的并行执行。
1.一种数据对接方法,其特征在于,包括:
2.根据权利要求1所述的数据对接方法,其特征在于,所述配置参数还包括时间窗口,所述将所述请求地址和所述请求内容组装生成数据接入请求,包括:
3.根据权利要求1所述的数据对接方法,其特征在于,所述对所述结构化系统数据进行编码验证,包括:
4.根据权利要求1所述的数据对接方法,其特征在于,在所述得到结构化系统数据之后,还包括:
5.根据权利要求1所述的数据对接方法,其特征在于,在所述接收配置参数之后,还包括:
6.根据权利要求1所述的数据对接方法,其特征在于,所述基于所述存储模型标识将所述消费队列中的结构化系统数据写入数据仓库中,包括:
7.根据权利要求6所述的数据对接方法,其特征在于,所述方法还包括:
8.一种数据对接系统,其特征在于,包括:
9.一种数据对接设备,所述设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一项所述的数据对接方法。
10.一种存储计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一项所述的数据对接方法。
