本发明涉及大数据,尤其涉及一种数据监控方法和装置。
背景技术:
1、基于数据平台如物流风控平台的业务或使用场景,需要数据平台处理大量的数据为各种业务提供支持。由于数据处理过程中采用多种技术或工具进行数据处理,无法保证数据质量,因此,需要对数据质量进行监控。
2、相关技术中,对于实时场景,出现问题时是由下游系统逐级向上游系统反馈问题,缺乏相应的预警机制,且缺乏有效的数据质量问题定位机制,无法快速定位出错位置。
技术实现思路
1、有鉴于此,本发明实施例提供一种数据监控方法和装置,通过将算子指标数据导入图数据库中,实时进行预设条件的比对,达到预警效果,实现主动监控,同时实现了数据质量问题的快速定位,提升了数据质量排查效率。
2、为实现上述目的,根据本发明实施例的一个方面,提供了一种数据监控方法,包括:
3、接收算子指标数据,所述算子指标数据包括第一算子标识以及所述第一算子标识对应的第一指标数据;
4、根据所述第一算子标识对应的第一指标数据更新图数据库中以所述第一算子标识为顶点的第一边数据;
5、响应于监听到定时任务的触发,所述定时任务指示了第二算子标识,从所述图数据库中获取与所述第二算子标识对应的第二边数据;
6、在所述第二边数据不满足所述第二算子标识对应的预设条件的情况下,生成与所述第二算子标识对应的预警信息。
7、可选地,接收算子指标数据之前,包括:
8、定义算子指标模板,所述算子指标模板中包括指示算子标识的字段和指示指标数据的字段以及指示外部服务信息的字段,所述算子指标数据还包括所述算子标识对应的外部服务信息。
9、可选地,接收算子指标数据,包括:接收上报器定时上报的所述算子指标数据;
10、接收算子指标数据之前,还包括:
11、新增图数据库上报类,所述图数据库上报类中指示了所述上报器上报所述算子指标数据至所述图数据库的方法。
12、可选地,根据所述第一算子标识对应的第一指标数据更新图数据库中以所述第一算子标识为顶点的第一边数据之前,包括:
13、接收第三算子指标数据,所述第三算子指标数据包括第一算子标识以及所述第一算子标识对应的第三指标数据;
14、获取与所述第一算子标识对应的数据流转关系;
15、根据所述第一算子标识、所述第三指标数据以及所述数据流转关系构建所述第一算子标识对应的图结构。
16、可选地,根据所述第一算子标识、所述第三指标数据以及所述数据流转关系构建所述第一算子标识对应的图结构,包括:
17、从所述数据流转关系中获取所述第一算子标识下游的第三算子标识;
18、分别以所述第一算子标识和所述第三算子标识作为顶点,以所述第三指标数据作为由所述第一算子标识指向所述第三算子标识的边数据,构建所述图结构。
19、可选地,根据所述第一算子标识对应的第一指标数据更新图数据库中以所述第一算子标识为顶点的第一边数据,包括:
20、获取包含所述第一算子标识对应的顶点的图结构,从所述图结构中获取所述第一算子标识对应的第一边数据,根据所述第一指标数据更新所述第一边数据。
21、可选地,生成与所述第二算子标识对应的预警信息,包括:
22、根据所述第二算子标识、所述第二边数据和所述外部服务信息生成所述预警信息。
23、根据本发明实施例的再一个方面,提供了一种数据监控装置,包括:
24、接收模块,接收算子指标数据,所述算子指标数据包括第一算子标识以及所述第一算子标识对应的第一指标数据;
25、更新模块,根据所述第一算子标识对应的第一指标数据更新图数据库中以所述第一算子标识为顶点的第一边数据;
26、获取模块,响应于监听到定时任务的触发,所述定时任务指示了第二算子标识,从所述图数据库中获取与所述第二算子标识对应的第二边数据;
27、生成模块,在所述第二边数据不满足所述第二算子标识对应的预设条件的情况下,生成与所述第二算子标识对应的预警信息。
28、根据本发明实施例的另一个方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明提供的数据监控方法。
29、根据本发明实施例的还一个方面,提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现本发明提供的数据监控方法。
30、上述发明中的一个实施例具有如下优点或有益效果:本发明实施例提供的数据监控方法,在接收到算子指标数据后,根据该算子指标数据的第一算子标识对应的第一指标数据更新图数据库中以第一算子标识为顶点的第一边数据。在监听到定时任务的出发后,从图数据库中获取与定时任务所指示的第二算子标识对应的第二边数据,在第二边数据不满足第二算子标识对应的预设条件的情况下,生成第二算子标识对应的预警信息。该方法通过将算子指标数据写入图数据库,进行实时的预设条件的判断,达到对数据质量监控进行预警的效果,通过图数据库能够快速实现数据质量问题的定位;该方法通过流处理框架与图数据库的结合,实现对数据质量问题的灵活监控,能实现数据质量的主动监控,且提升了数据质量的排查效率。
31、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
1.一种数据监控方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,接收算子指标数据之前,包括:
3.根据权利要求1所述的方法,其特征在于,接收算子指标数据,包括:接收上报器定时上报的所述算子指标数据;
4.根据权利要求1所述的方法,其特征在于,根据所述第一算子标识对应的第一指标数据更新图数据库中以所述第一算子标识为顶点的第一边数据之前,包括:
5.根据权利要求4所述的方法,其特征在于,根据所述第一算子标识、所述第三指标数据以及所述数据流转关系构建所述第一算子标识对应的图结构,包括:
6.根据权利要求4所述的方法,其特征在于,根据所述第一算子标识对应的第一指标数据更新图数据库中以所述第一算子标识为顶点的第一边数据,包括:
7.根据权利要求2所述的方法,其特征在于,生成与所述第二算子标识对应的预警信息,包括:
8.一种数据监控装置,其特征在于,包括:
9.一种电子设备,其特征在于,包括:
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
