本发明涉及多媒体处理,特别是涉及一种故障分析模型训练方法、故障分析方法及装置。
背景技术:
1、用户在使用播放器播放视频的过程中,当遇到播放出错等故障时,通常会向播放器后台反馈遇到的故障,播放器后台在收到用户反馈的故障信息后,由专业的工作人员进行排查、分析、定位并解决用户在播放视频过程中所遇到的问题,最终用户成功播放视频。该故障处理的过程为:用户反馈播放故障问题->客服人员接收用户的反馈信息->业务线人员排查问题->专业人员分析、定位并解决问题->客服人员反馈用户解决问题的结果->用户正常播放视频。这种故障处理方法需要大量的人工审核操作,耗时大且效率低,还可能无法准确还原错误场景,进而导致生成解决问题的方案不够精确。
技术实现思路
1、本发明实施例的目的在于提供一种故障分析模型训练方法、故障分析方法及装置,以提高故障分析的效率和准确率。具体技术方案如下:
2、在本发明实施的第一方面,首先提供了一种故障分析模型训练方法,所述方法包括:
3、获取初始故障分析模型;
4、获取第一样本日志以及所述第一样本日志对应的第一标注故障分析结果;所述第一样本日志为播放视频出错对应的日志;所述第一标注故障分析结果至少包括以下一项:播放出错场景、出错原因、解决方案和出错场景类别;
5、将所述第一样本日志输入所述初始故障分析模型中,使所述初始故障分析模型基于第一故障分析指令输出第一故障分析结果;
6、计算所述第一故障分析结果与所述第一标注故障分析结果之间的第一损失,并根据所述第一损失调整所述初始故障分析模型的参数,得到预训练故障分析模型;
7、获取训练样本知识库;所述训练样本知识库包括第二样本日志和第二样本日志对应的第二标注故障分析结果;
8、利用所述第二样本日志和所述第二标注故障分析结果验证所述预训练故障分析模型的准确率;
9、在所述准确率不小于预设准确率的情况下,基于所述第二样本日志和所述第二标注故障分析结果调整所述第一故障分析指令以及所述预训练故障分析模型的参数,得到第二故障分析指令和故障分析模型。
10、可选地,所述方法还包括:
11、在所述准确率小于预设准确率的情况下,返回执行获取初始故障分析模型的步骤。
12、可选地,所述获取初始故障分析模型,包括:
13、获取第三样本日志以及所述第三样本日志对应的第三标注故障分析结果;
14、通过预设的应用程序编程接口api调用预设的多个大语言模型,将所述第三样本日志分别输入各大语言模型中,得到各大语言模型输出的第三故障分析结果;
15、基于各第三故障分析结果与所述第三标注故障分析结果之间的差异,从所述多个大语言模型中选择出初始故障分析模型。
16、可选地,所述获取训练样本知识库,包括:
17、获取预设历史时间段内用户播放视频出错时的样本反馈信息;
18、根据所述样本反馈信息的反馈内容,确定各样本反馈信息的类型;
19、获取各类型下各样本反馈信息对应的第二样本日志;
20、确定各所述第二样本日志对应的第二标注故障分析结果;
21、基于各所述第二样本日志和各所述第二标注故障分析结果,构建训练样本知识库。
22、可选地,所述方法还包括:
23、利用第四样本日志及所述第四样本日志对应的第四标注故障分析结果,更新所述训练样本知识库。
24、可选地,所述利用所述第二样本日志和所述第二标注故障分析结果验证所述预训练故障分析模型的准确率,包括:
25、将所述第二样本日志输入所述预训练故障分析模型中,使所述预训练故障分析模型基于所述第一故障分析指令输出第二故障分析结果;
26、确定所述第二故障分析结果与所述第二标注故障分析结果是否一致,得到判断结果;
27、基于所述判断结果,确定所述预训练故障分析模型的准确率。
28、可选地,所述基于所述第二样本日志和所述第二标注故障分析结果调整所述第一故障分析指令以及所述预训练故障分析模型的参数,得到第二故障分析指令和故障分析模型,包括:
29、获取多个第五样本日志以及多个第五样本日志对应的第五标注故障分析结果;
30、将多个所述第五样本日志输入所述预训练故障分析模型中,使所述预训练故障分析模型基于所述第一故障分析指令输出第五故障分析结果,并计算所述第五故障分析结果与所述第五标注故障分析结果之间的第二损失;
31、将所述第二样本日志和所述第二标注故障分析结果作为上下文,查询多个所述第五样本日志对应的第六故障分析结果,并计算所述第六故障分析结果与所述第五标注故障分析结果之间的第三损失;
32、将多个所述第五样本日志输入所述预训练故障分析模型中,使所述预训练故障分析模型基于接收到的用户交互信息输出第七故障分析结果,并获取针对所述第七故障分析结果的交互指令;
33、基于所述第二损失、所述第三损失以及所述交互指令,调整所述预训练故障分析模型的参数以及所述第一故障分析指令,得到第二故障分析指令和故障分析模型。
34、可选地,所述基于所述第二损失、所述第三损失以及所述交互指令,调整所述预训练故障分析模型的参数以及所述第一故障分析指令,得到第二故障分析指令和故障分析模型,包括:
35、在所述第二损失不满足预设条件、所述第三损失不满足预设条件以及所述交互指令不为停止交互中的任一项时,返回执行获取初始故障分析模型的步骤;
36、在所述第二损失和所述第三损失均满足预设条件,且所述交互指令为停止交互时,将当前第一故障分析指令确定为第二故障分析指令以及将预训练故障分析模型的当前参数确定为故障分析模型的参数。
37、可选地,所述第五标注故障分析结果至少包括以下一项:播放出错场景、出错原因、解决方案、出错场景类别以及故障分析统计信息;所述故障分析统计信息基于所述播放出错场景、所述出错原因或所述出错场景类别确定。
38、在本发明实施的第二方面,还提供了一种故障分析方法,所述方法包括:
39、获取待分析的目标反馈信息以及所述目标反馈信息对应的目标日志;
40、获取目标故障分析指令;所述目标故障分析指令为采用上述任一故障分析模型训练方法得到的;
41、将所述目标日志输入预先训练好的故障分析模型中,使所述预先训练好的故障分析模型基于所述目标故障分析指令输出目标故障分析结果;其中,所述目标故障分析结果至少包括以下一项:播放出错场景、出错原因、解决方案和出错场景类别;所述预先训练好的故障分析模型为采用上述任一故障分析模型训练方法得到的。
42、可选地,所述目标反馈信息包括:目标用户的网际协议地址ip地址、用户登录标识uid、设备标识id和反馈id中的至少一项以及反馈时间;所述获取所述目标反馈信息对应的目标日志,包括:
43、基于所述ip地址以及所述反馈时间,查询hive数据库,获取所述目标反馈信息对应的第一服务器日志和第一自动引用通知pingback日志;
44、基于所述ip地址、所述uid、所述设备id、所述反馈id以及所述反馈时间,查询compass日志,获取所述目标反馈信息对应的第一本地播放日志;
45、基于所述ip地址、所述uid、所述设备id、所述反馈id以及所述反馈时间,获取所述目标反馈信息对应的第一系统日志;
46、将所述第一本地播放日志与所述第一系统日志进行聚合处理,得到第一本地日志;
47、对所述第一服务器日志、所述第一pingback日志和所述第一本地日志进行格式化处理,得到目标日志。
48、可选地,所述将所述第一本地播放日志与所述第一系统日志进行聚合处理,得到第一本地日志,包括:
49、将所述第一本地播放日志与所述第一系统日志进行合并,得到待处理日志;
50、按照预设网络请求的格式对所述待处理日志进行处理,并筛选保留目标类型的日志,得到第一本地日志。
51、可选地,所述目标反馈信息包括:目标用户的网际协议地址ip地址、用户登录标识uid、设备标识id和反馈id中的至少一项以及反馈时间和反馈内容;所述目标反馈信息为多个,所述获取所述目标反馈信息对应的目标日志,包括:
52、基于各所述目标反馈信息的反馈内容,确定各所述目标反馈信息的类型;
53、基于所述ip地址以及所述反馈时间,查询hive数据库,获取各类型下各目标反馈信息对应的第二服务器日志和第二自动引用通知pingback日志;
54、基于所述ip地址、所述uid、所述设备id、所述反馈id以及所述反馈时间,查询compass日志,获取各类型下各目标反馈信息对应的第二本地播放日志;
55、基于所述ip地址、所述uid、所述设备id、所述反馈id以及所述反馈时间,获取各类型下各目标反馈信息对应的第二系统日志;
56、将各类型下各目标反馈信息对应的第二本地播放日志与第二系统日志进行聚合处理,得到第二本地日志;
57、按时序对各类型下各目标反馈信息的所述第二服务器日志、所述第二pingback日志和所述第二本地日志进行格式化处理,得到目标日志。
58、可选地,所述目标故障分析结果还包括故障分析统计信息,所述故障分析统计信息基于所述播放出错场景、所述出错原因或所述出错场景类别确定,包括以下至少一项:按照反馈内容统计的故障信息、按照出错原因统计的故障信息、按照所述目标反馈信息关联的服务器统计的故障信息。
59、可选地,所述方法还包括:
60、在所述故障分析统计信息中存在满足报警条件的故障信息时,触发报警。
61、在本发明实施的第三方面,还提供了一种故障分析模型训练装置,所述装置包括:
62、第一获取模块,用于获取初始故障分析模型;
63、第二获取模块,用于获取第一样本日志以及所述第一样本日志对应的第一标注故障分析结果;所述第一样本日志为播放视频出错对应的日志;所述第一标注故障分析结果至少包括以下一项:播放出错场景、出错原因、解决方案和出错场景类别;
64、分析预测模块,用于将所述第一样本日志输入所述初始故障分析模型中,使所述初始故障分析模型基于第一故障分析指令输出第一故障分析结果;
65、第一训练模块,用于计算所述第一故障分析结果与所述第一标注故障分析结果之间的第一损失,并根据所述第一损失调整所述初始故障分析模型的参数,得到预训练故障分析模型;
66、第三获取模块,用于获取训练样本知识库;所述训练样本知识库包括第二样本日志和第二样本日志对应的第二标注故障分析结果;
67、验证模块,用于利用所述第二样本日志和所述第二标注故障分析结果验证所述预训练故障分析模型的准确率;
68、第二训练模块,用于在所述准确率不小于预设准确率的情况下,基于所述第二样本日志和所述第二标注故障分析结果调整所述第一故障分析指令以及所述预训练故障分析模型的参数,得到第二故障分析指令和故障分析模型。
69、在本发明实施的第四方面,还提供了一种故障分析装置,所述装置包括:
70、第四获取模块,用于获取待分析的目标反馈信息以及所述目标反馈信息对应的目标日志;
71、第五获取模块,用于获取目标故障分析指令;所述目标故障分析指令为采用上述任一故障分析模型训练方法得到的;
72、故障分析模块,用于将所述目标日志输入预先训练好的故障分析模型中,使所述预先训练好的故障分析模型基于所述目标故障分析指令输出目标故障分析结果;其中,所述目标故障分析结果至少包括以下一项:播放出错场景、出错原因、解决方案和出错场景类别;所述预先训练好的故障分析模型为采用上述任一故障分析模型训练方法训练得到的。
73、在本发明实施的又一方面,还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
74、存储器,用于存放计算机程序;
75、处理器,用于执行存储器上所存放的程序时,实现上述任一所述的故障分析模型训练方法或故障分析方法。
76、在本发明实施的又一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一所述的故障分析模型训练方法或故障分析方法。
77、在本发明实施的又一方面,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的故障分析模型训练方法或故障分析方法。
78、本发明实施例提供的一种故障分析模型训练方法、故障分析方法及装置,通过第一样本日志、第一样本日志对应的第一标注故障分析结果以及第一故障分析指令,对初始故障分析模型进行微调训练得到预训练故障分析模型,再利用训练样本知识库包括的第二样本日志和第二样本日志对应的第二标注故障分析结果对预训练故障分析模型进行验证,并在预训练故障分析模型的准确率不小于预设准确率的情况下,基于第二样本日志和第二标注故障分析结果调整第一故障分析指令以及预训练故障分析模型的参数,得到第二故障分析指令和故障分析模型,使得得到的第二故障分析指令和故障分析模型能够更准确的进行故障分析,且不再依赖人工操作,提高了故障分析的效率。以及,标注故障分析结果至少包括以下一项:播放出错场景、出错原因、解决方案和出错场景类别,使得利用训练好的故障分析模型能够准确还原错误场景,以给出准确的解决方案。
1.一种故障分析模型训练方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
3.根据权利要求1或2所述的方法,其特征在于,所述获取初始故障分析模型,包括:
4.根据权利要求1所述的方法,其特征在于,所述获取训练样本知识库,包括:
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
6.根据权利要求1所述的方法,其特征在于,所述利用所述第二样本日志和所述第二标注故障分析结果验证所述预训练故障分析模型的准确率,包括:
7.根据权利要求1所述的方法,其特征在于,所述基于所述第二样本日志和所述第二标注故障分析结果调整所述第一故障分析指令以及所述预训练故障分析模型的参数,得到第二故障分析指令和故障分析模型,包括:
8.根据权利要求7所述的方法,其特征在于,所述基于所述第二损失、所述第三损失以及所述交互指令,调整所述预训练故障分析模型的参数以及所述第一故障分析指令,得到第二故障分析指令和故障分析模型,包括:
9.根据权利要求7所述的方法,其特征在于,所述第五标注故障分析结果至少包括以下一项:播放出错场景、出错原因、解决方案、出错场景类别以及故障分析统计信息;所述故障分析统计信息基于所述播放出错场景、所述出错原因或所述出错场景类别确定。
10.一种故障分析方法,其特征在于,所述方法包括:
11.根据权利要求10所述的方法,其特征在于,所述目标反馈信息包括:目标用户的网际协议地址ip地址、用户登录标识uid、设备标识id和反馈id中的至少一项以及反馈时间;所述获取所述目标反馈信息对应的目标日志,包括:
12.根据权利要求11所述的方法,其特征在于,所述将所述第一本地播放日志与所述第一系统日志进行聚合处理,得到第一本地日志,包括:
13.根据权利要求10所述的方法,其特征在于,所述目标反馈信息包括:目标用户的网际协议地址ip地址、用户登录标识uid、设备标识id和反馈id中的至少一项以及反馈时间和反馈内容;所述目标反馈信息为多个,所述获取所述目标反馈信息对应的目标日志,包括:
14.根据权利要求13所述的方法,其特征在于,所述目标故障分析结果还包括故障分析统计信息,所述故障分析统计信息基于所述播放出错场景、所述出错原因或所述出错场景类别确定,包括以下至少一项:按照反馈内容统计的故障信息、按照出错原因统计的故障信息、按照所述目标反馈信息关联的服务器统计的故障信息。
15.根据权利要求14所述的方法,其特征在于,所述方法还包括:
16.一种故障分析模型训练装置,其特征在于,所述装置包括:
17.一种故障分析装置,其特征在于,所述装置包括:
18.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
19.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-15任一所述的方法。