数据处理方法、装置、设备、存储介质及产品与流程

专利2025-06-19  12


本申请涉及计算机,尤其涉及数据处理方法、装置、设备、存储介质及产品。


背景技术:

1、在当今数据驱动的商业环境中,数据的爆炸式增长以及其复杂性日益显著,已经成为不可忽视的核心问题。由于数据格式多样,为了获得竞争优势,需要有效地整合和分析来自不同来源的数据,以便进行深入的数据挖掘和洞察发现。然而,数据的多样化和海量特性给传统的数据处理系统带来了显著的挑战,尤其是在需要进行快速迭代和实时响应的业务场景中。

2、现有的数据处理技术需要针对不同数据格式的数据开发大量的定制代码来满足数据处理业务需求。这不仅增加了开发的复杂性,也提高了维护成本,在数据源或处理需求发生变化时,需要对应调整,进而导致数据处理技术的效率低。

3、因此,如何提升数据处理技术的效率,是目前亟需解决的一个问题。

4、上述内容仅用于辅助理解本申请的技术方案,并不代表承认上述内容是现有技术。


技术实现思路

1、本申请的主要目的在于提供一种数据处理方法、装置、设备、存储介质及产品,旨在解决数据处理技术的效率低的技术问题。

2、为实现上述目的,本申请提出一种数据处理方法,所述的方法包括:

3、获取数据源数据;

4、判断所述数据源数据是否触发预设的数据处理规则;

5、若所述数据源数据触发所述数据处理规则,则获取所述数据处理规则相应的数据处理方案;

6、基于所述数据处理方案,对所述数据源数据进行数据处理,得到数据处理结果,其中,所述数据处理方案是对预设的封装功能语句进行开发得到的。

7、在一实施例中,所述判断所述数据源数据是否触发预设的数据处理规则的步骤包括:

8、获取数据源数据的第一类型;

9、获取预设的数据处理规则中数据的第二类型;

10、判断所述第一类型与所述第二类型是否一致;

11、若所述第一类型与所述第二类型一致,则触发所述数据处理规则。

12、在一实施例中,所述判断所述数据源数据是否触发预设的数据处理规则的步骤包括:

13、获取所述数据源数据对应的数据处理规则;

14、解析所述数据处理规则,确定目标时间条件;

15、获取当前时间标签;

16、判断所述当前时间标签是否满足所述目标时间条件;

17、若所述当前时间标签满足所述目标时间条件,则触发所述数据处理规则。

18、在一实施例中,所述基于所述数据处理方案,对所述数据源数据进行数据处理,得到数据处理结果的步骤包括:

19、获取第一用户权限;

20、解析所述数据处理规则,确定第一权限条件;

21、判断所述第一用户权限是否满足所述第一权限条件;

22、若所述第一用户权限满足所述第一权限条件,则对所述数据源数据进行数据处理,得到数据处理结果。

23、在一实施例中,所述基于所述数据处理方案,对所述数据源数据进行数据处理,得到数据处理结果的步骤包括:

24、解析所述数据处理方案,确定第一筛选规则;

25、通过预设的预测模型,对所述数据处理规则进行优先级预测,得到数据处理预测目标,其中,所述预测模型是数据处理规则训练样本和所述数据处理规则训练样本的数据处理预测目标,对预设的待训练模型进行迭代训练得到的;

26、根据所述数据管理预测目标,确定第二筛选规则;

27、根据所述第一筛选规则及所述第二筛选规则,对所述数据源数据进行数据筛选,得到目标数据源数据;

28、对所述目标数据源数据进行数据处理,得到数据处理结果。

29、在一实施例中,所述基于所述数据处理方案,对所述数据源数据进行数据处理,得到数据处理结果的步骤包括:

30、配置所述数据处理方案的独立线程池;

31、基于所述独立线程池,对所述数据源数据进行数据处理,得到数据处理结果,其中,所述独立线程池会根据实时数据量和用户增长量动态调整线程数量、隔离故障线程及重新分配任务到其他线程。

32、此外,为实现上述目的,本申请还提出一种数据处理装置,所述数据处理装置包括:获取模块,用于获取数据源数据;

33、判断模块,用于判断所述数据源数据是否触发预设的数据处理规则;

34、触发模块,用于若所述数据源数据触发所述数据处理规则,则获取所述数据处理规则相应的数据处理方案;

35、处理模块,用于基于所述数据处理方案,对所述数据源数据进行数据处理,得到数据处理结果,其中,所述数据处理方案是对预设的封装功能语句进行开发得到的。

36、此外,为实现上述目的,本申请还提出一种数据处理设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如上文所述的数据处理方法的步骤。

37、此外,为实现上述目的,本申请还提出一种存储介质,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上文所述的数据处理方法的步骤。

38、此外,为实现上述目的,本申请还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现如上文所述的数据处理方法的步骤。

39、本申请提出的一个或多个技术方案,至少具有以下技术效果:

40、与相关技术中,现有的数据处理技术部署时需要针对不同数据格式的数据开发大量的定制代码来满足数据处理业务需求相比,本申请通过获取数据源数据;判断所述数据源数据是否触发预设的数据处理规则;若所述数据源数据触发所述数据处理规则,则获取所述数据处理规则相应的数据处理方案;基于所述数据处理方案,对所述数据源数据进行数据处理,得到数据处理结果,其中,所述数据处理方案是对预设的封装功能语句进行开发得到的。可理解的是,本申请采用了对预设的封装功能语句进行开发,得到数据处理方案,当数据源数据触发相应规则时,通过将数据源数据输入规则对应的数据处理方案,实现高效的数据处理,进而实现数据处理技术的效率显著提高。



技术特征:

1.一种数据处理方法,其特征在于,所述的方法包括:

2.如权利要求1所述的方法,其特征在于,所述判断所述数据源数据是否触发预设的数据处理规则的步骤包括:

3.如权利要求1所述的方法,其特征在于,所述判断所述数据源数据是否触发预设的数据处理规则的步骤包括:

4.如权利要求1所述的方法,其特征在于,所述基于所述数据处理方案,对所述数据源数据进行数据处理,得到数据处理结果的步骤包括:

5.如权利要求1所述的方法,其特征在于,所述基于所述数据处理方案,对所述数据源数据进行数据处理,得到数据处理结果的步骤包括:

6.如权利要求1所述的方法,其特征在于,所述基于所述数据处理方案,对所述数据源数据进行数据处理,得到数据处理结果的步骤包括:

7.一种数据处理装置,其特征在于,所述装置包括:

8.一种数据处理设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如权利要求1至6中任一项所述的数据处理方法的步骤。

9.一种存储介质,其特征在于,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的数据处理方法的步骤。

10.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的数据处理方法的步骤。


技术总结
本申请公开了一种数据处理方法、装置、设备、存储介质及产品,涉及计算机技术领域,公开了数据处理方法,包括:获取数据源数据;判断所述数据源数据是否触发预设的数据处理规则;若所述数据源数据触发所述数据处理规则,则获取所述数据处理规则相应的数据处理方案;基于所述数据处理方案,对所述数据源数据进行数据处理,得到数据处理结果,其中,所述数据处理方案是对预设的封装功能语句进行开发得到的。本申请采用了对预设的封装功能语句进行开发,得到数据处理方案,当数据源数据触发相应规则时,通过将数据源数据输入规则对应的数据处理方案,实现高效的数据处理,进而实现数据处理技术的效率显著提高。

技术研发人员:张良,魏小军,袁乾耀,林小惠,蔡秋喜
受保护的技术使用者:招商银行股份有限公司
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-25521.html