本发明涉及数据处理,具体涉及一种数据实时同步方法、装置、计算机设备以及非易失性计算机可读存储介质。
背景技术:
1、目前,在保险行业中,尤其是财产保险领域,月结流程的效率对于公司运营至关重要。月结不仅涉及财务数据的汇总和核对,还包括费用分摊等关键环节。在传统的月结流程中,存在一定的时效性问题,这直接影响到公司财务报告的准确性和及时性。
2、以平安产险的i17产品(i17,全称ifrs17,是《国际财务报告准则第17号—保险合同》,这是国际会计准则理事会(iasb)制定的针对保险合同会计计量的特定规则)为例,2023年的月结流程中,整个月结的时效为t+15,即完成月结需要在月末后的第15天,尽管通过多方努力,月结时效提升至t+7,但i17费用分摊的时效仍为t+5,后进一步提速至t+2;然而,在这一提效过程中,面临了诸多挑战:
3、首先,月底时,子账清单及合同组信息等相关数据量集中,且存在频繁的数据修改或者新增情况,这些数据同步至大数据平台通常采用t+1的方式,即数据在第二天才能同步到大数据平台,这导致在月结日(如1号)时,如果子账数据发生新增或修改的话,需要运维人员手动下发任务以同步数据到大数据平台,然后才能进行费用分摊;这一手动过程不仅增加了工作量,也大大降低了费用分摊的自动化程度和时效性,无法满足公司对i17产品月结时效的要求;
4、此外,由于数据同步的延迟,月结过程中的数据准确性和实时性受到影响,这可能导致公司财务报告的滞后和不准确,进而影响到公司的决策制定和风险管理。
5、综上所述,如何提供一种数据实时同步方法、装置、计算机设备以及非易失性计算机可读存储介质,可以实现数据仓库与源数据库之间的子账信息实时同步,是目前本领域技术人员亟待解决的问题。
技术实现思路
1、鉴于上述现有技术的不足之处,本发明的目的在于提供一种可用于金融科技或其他相关领域的数据实时同步方法、装置、计算机设备以及非易失性计算机可读存储介质,可以实现数据仓库与源数据库之间的子账信息实时同步。
2、为了达到上述目的,本发明采取了以下技术方案:
3、一种数据实时同步方法,其中,包括:
4、通过数据捕捉系统实时捕捉源数据库中的子账信息,并将其通过数据链路写入到消息队列系统中;
5、通过实时数据处理引擎消费所述消息队列系统中的所述子账信息,并将其写入到数据存储系统中;
6、将所述数据存储系统中存储的所述子账信息映射到数据仓库中,实现所述数据仓库与所述源数据库之间的数据实时同步。
7、在进一步的技术方案中,所述的数据实时同步方法,其中,所述将所述数据存储系统中存储的所述子账信息映射到数据仓库中,实现所述数据仓库与所述源数据库之间的数据实时同步之后,还包括:
8、基于所述数据仓库中的所述子账信息进行数据计算。
9、在进一步的技术方案中,所述的数据实时同步方法,其中,所述通过数据捕捉系统实时捕捉源数据库中的子账信息,并将其通过数据链路写入到消息队列系统中,其中,
10、所述子账信息包括子账清单的新增、修改或删除。
11、在进一步的技术方案中,所述的数据实时同步方法,其中,所述通过数据捕捉系统实时捕捉源数据库中的子账信息,并将其通过数据链路写入到消息队列系统中,其中,
12、所述数据捕捉系统为ogg系统;
13、所述源数据库为oracle数据库;
14、所述消息队列系统为kafka系统。
15、在进一步的技术方案中,所述的数据实时同步方法,其中,所述通过实时数据处理引擎消费所述消息队列系统中的所述子账信息,并将其写入到数据存储系统中,其中,
16、所述实时数据处理引擎为spark/flink引擎;
17、所述数据存储系统为hudi系统。
18、在进一步的技术方案中,所述的数据实时同步方法,其中,所述将所述数据存储系统中存储的所述子账信息映射到数据仓库中,实现所述数据仓库与所述源数据库之间的数据实时同步,其中,
19、所述数据仓库为hive。
20、在进一步的技术方案中,所述的数据实时同步方法,其中,所述基于所述数据仓库中的所述子账信息进行数据计算,具体包括:
21、在i17月结费用分摊时,基于所述数据仓库中的所述子账清单进行大数据计算。
22、一种数据实时同步装置,其中,包括:
23、捕捉模块,用于通过数据捕捉系统实时捕捉源数据库中的子账信息,并将其通过数据链路写入到消息队列系统中;
24、消费模块,用于通过实时数据处理引擎消费所述消息队列系统中的所述子账信息,并将其写入到数据存储系统中;
25、映射模块,用于将所述数据存储系统中存储的所述子账信息映射到数据仓库中,实现所述数据仓库与所述源数据库之间的数据实时同步。
26、一种计算机设备,其中,所述计算机设备包括至少一个处理器;以及,
27、与所述至少一个处理器通信连接的存储器;其中,
28、所述存储器上存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行时,可实现如上述任一项所述的数据实时同步方法。
29、一种非易失性计算机可读存储介质,其中,所述非易失性计算机可读存储介质存储有计算机程序,所述计算机程序被至少一个处理器执行时,可实现如上述任一项所述的数据实时同步方法。
30、相较于现有技术,本发明提供了一种数据实时同步方法、装置、计算机设备以及非易失性计算机可读存储介质,其中,所述方法包括:通过数据捕捉系统实时捕捉源数据库中的子账信息,并将其通过数据链路写入到消息队列系统中;通过实时数据处理引擎消费所述消息队列系统中的所述子账信息,并将其写入到数据存储系统中;将所述数据存储系统中存储的所述子账信息映射到数据仓库中,实现所述数据仓库与所述源数据库之间的数据实时同步。这样,通过本发明的方法可以实现数据仓库与源数据库之间的子账信息实时同步。
1.一种数据实时同步方法,其特征在于,包括:
2.根据权利要求1所述的数据实时同步方法,其特征在于,所述将所述数据存储系统中存储的所述子账信息映射到数据仓库中,实现所述数据仓库与所述源数据库之间的数据实时同步之后,还包括:
3.根据权利要求2所述的数据实时同步方法,其特征在于,所述通过数据捕捉系统实时捕捉源数据库中的子账信息,并将其通过数据链路写入到消息队列系统中,其中,
4.根据权利要求3所述的数据实时同步方法,其特征在于,所述通过数据捕捉系统实时捕捉源数据库中的子账信息,并将其通过数据链路写入到消息队列系统中,其中,
5.根据权利要求4所述的数据实时同步方法,其特征在于,所述通过实时数据处理引擎消费所述消息队列系统中的所述子账信息,并将其写入到数据存储系统中,其中,
6.根据权利要求5所述的数据实时同步方法,其特征在于,所述将所述数据存储系统中存储的所述子账信息映射到数据仓库中,实现所述数据仓库与所述源数据库之间的数据实时同步,其中,
7.根据权利要求6所述的数据实时同步方法,其特征在于,所述基于所述数据仓库中的所述子账信息进行数据计算,具体包括:
8.一种数据实时同步装置,其特征在于,包括:
9.一种计算机设备,其特征在于,所述计算机设备包括至少一个处理器;以及,
10.一种非易失性计算机可读存储介质,其特征在于,所述非易失性计算机可读存储介质存储有计算机程序,所述计算机程序被至少一个处理器执行时,可实现如权利要求1-7任一项所述的数据实时同步方法。