视频弹幕的审核方法、装置、电子设备及计算机存储介质与流程

专利2025-11-28  1


本技术涉及人工智能,特别涉及一种视频弹幕的审核方法、装置、电子设备及计算机存储介质。


背景技术:

1、在互联网行业,视频弹幕内容审核是不可或缺的一环。传统审核系统主要依托审核人员进行人审,这种方式虽然准确率高,但是执行效率低,且成本高昂。再就是结合机审辅助人工审核,比较有代表性的有敏感词过滤、bert等技术,能够对文本进行自动审核。其中,敏感词过滤方法精度较高,速度快,但是召回很低,难以覆盖全面;bert是一种预训练语言模型,也可用于文本分类,其准确率比人审低,且推理速度非常慢,无法应用于对实时要求高的审核场景。且上述方法,都只能审核弹幕内容,难以结合视频语境来审核。而事实上,同一条弹幕,在不同视频下面,可能审核结果并不一样。


技术实现思路

1、有鉴于此,本技术提供一种视频弹幕的审核方法、装置、电子设备及计算机存储介质,快速高效准确的对弹幕内容进行自动审核,大大减轻了审核的负担,节约审核成本,提升审核效率。

2、本技术第一方面提供了一种视频弹幕的审核方法,包括:

3、对目标视频进行抽帧,得到每一帧的弹幕内容和视频信息;

4、针对每一帧的弹幕内容和视频信息,将所述帧的弹幕内容和视频信息输入至语义审核模型,得到所述帧的弹幕内容的审核分数;其中,所述语义审核模型为根据第一训练样本集对文本分类模型进行训练得到;所述第一训练样本集包括至少一个第一训练样本;所述第一训练样本包括第一历史帧对应的弹幕内容和视频文本信息;

5、根据所述帧的弹幕内容的审核分数,确定所述帧的弹幕内容的审核结果;其中,若所述帧的弹幕内容的审核结果表明通过,则将所述帧的弹幕内容露出;若所述帧的弹幕内容的审核结果表明不通过,则将所述帧的弹幕内容拦截。

6、可选的,所述若所述帧的弹幕内容的审核结果表明通过,则将所述帧的弹幕内容露出之后,还包括:

7、将露出的弹幕内容作为待定弹幕内容;

8、每隔预设时间,针对每一个待定弹幕内容,将所述待定弹幕内容以及所述待定弹幕内容对应的视频信息输入至审核大模型中,输出得到所述待定弹幕内容的巡检审核结果;其中,所述审核大模型为根据第二训练样本集对预训练模型进行微调得到;所述第二训练样本集至少包括一个第二训练样本;所述第二训练样本包括训练任务指令、训练样本问题和训练样本回答;所述训练样本问题包括历史帧对应的弹幕内容和视频信息;

9、若所述待定弹幕内容的巡检审核结果表明通过,则对所述待定弹幕内容进行标记并存储至数据库中;

10、若所述待定弹幕内容的巡检审核结果表明不通过,则对所述待定弹幕内容进行召回。

11、可选的,所述审核大模型的构建方法,包括:

12、构建第二训练样本集;其中,所述第二训练样本集至少包括一个第二训练样本;所述第二训练样本包括训练任务指令、训练样本问题和训练样本回答;所述训练样本问题包括第二历史帧对应的弹幕内容和视频文本信息;

13、固定预训练模型的预训练权重;

14、将所有所述第二训练样本分别喂入至第一低秩矩阵和第二低秩矩阵进行训练,得到训练好的第一低秩矩阵和训练好的第二低秩矩阵;

15、根据所述训练好的第一低秩矩阵、所述训练好的第二低秩矩阵和所述预训练权重,确定目标权重;

16、将所述目标权重更新至审核大模型。

17、可选的,所述根据所述训练好的第一低秩矩阵、所述训练好的第二低秩矩阵和所述预训练权重,确定目标权重,包括:

18、将所述训练好的第一低秩矩阵和所述训练好的第二低秩矩阵按照矩阵乘法进行计算,得到训练好的低秩矩阵权重;

19、将所述训练好的低秩矩阵权重与所述预训练权重相加,得到目标权重。

20、可选的,所述语义审核模型的构建方法,包括:

21、构建第一训练样本集;其中,所述第一训练样本集包括至少一个第一训练样本;所述第一训练样本包括第一历史帧对应的弹幕内容和视频文本信息;

22、针对每一个第一训练样本,将所述第一训练样本输入至所述审核大模型中,输出得到所述第一训练样本的标签;

23、分别将所述第一历史帧对应的弹幕内容和视频文本内容进行向量化处理,得到第一向量和第二向量;

24、根据所述第一向量和所述第二向量生成所述第一训练样本的融合向量;

25、根据所有所述第一训练样本的融合向量和所述第一训练样本的标签对文本分类模型进行训练,得到语义审核模型。

26、可选的,所述根据所述第一向量和所述第二向量生成所述第一训练样本的融合向量,包括:

27、将所述第一向量输入至第一门控循环单元,输出得到第一目标向量,以及将所述第一向量输入至第一高速公路单元,输出得到第二目标向量;

28、将所述第二向量输入至第二门控循环单元,输出得到第三目标向量,以及将所述第二向量输入至第二高速公路单元,输出得到第四目标向量;

29、根据所述第二目标向量和所述第四目标向量进行软注意力处理,得到第一注意力向量和第二注意力向量;

30、将所述第一目标向量、所述第二目标向量和所述第一注意力向量进行拼接,得到第一拼接向量;

31、将所述第三目标向量、所述第四目标向量和所述第二注意力向量进行拼接,得到第二拼接向量;

32、将所述第一拼接向量输入至所述第一门控循环单元,得到第五目标向量,以及将所述第二拼接向量输入至所述第二门控循环单元,得到第六目标向量;

33、根据所述第五目标向量和所述第六目标向量进行函数运算,得到所述第一训练样本的融合向量。

34、可选的,所述根据所述第五目标向量和所述第六目标向量进行函数运算,得到所述第一训练样本的融合向量,包括:

35、将所述第五目标向量和所述第六目标向量的差作为第七目标向量;

36、将所述第五目标向量和所述第六目标向量的积作为第八目标向量;

37、将所述第五目标向量、所述第七目标向量和第八目标向量进行拼接得到所述第一训练样本的融合向量。

38、本技术第二方面提供了一种视频弹幕的审核装置,包括:

39、抽帧单元,用于对目标视频进行抽帧,得到每一帧的弹幕内容和视频信息;

40、第一输入单元,用于针对每一帧的弹幕内容和视频信息,将所述帧的弹幕内容和视频信息输入至语义审核模型,得到所述帧的弹幕内容的审核分数;其中,所述语义审核模型为根据第一训练样本集对文本分类模型进行训练得到;所述第一训练样本集包括至少一个第一训练样本;所述第一训练样本包括第一历史帧对应的弹幕内容和视频文本信息;

41、第一确定单元,用于根据所述帧的弹幕内容的审核分数,确定所述帧的弹幕内容的审核结果;其中,若所述帧的弹幕内容的审核结果表明通过,则将所述帧的弹幕内容露出;若所述帧的弹幕内容的审核结果表明不通过,则将所述帧的弹幕内容拦截。

42、可选的,所述视频弹幕的审核装置,还包括:

43、第二确定单元,用于将露出的弹幕内容作为待定弹幕内容;

44、第二输入单元,用于每隔预设时间,针对每一个待定弹幕内容,将所述待定弹幕内容以及所述待定弹幕内容对应的视频信息输入至审核大模型中,输出得到所述待定弹幕内容的巡检审核结果;其中,所述审核大模型为根据第二训练样本集对预训练模型进行微调得到;所述第二训练样本集至少包括一个第二训练样本;所述第二训练样本包括训练任务指令、训练样本问题和训练样本回答;所述训练样本问题包括历史帧对应的弹幕内容和视频信息;

45、存储单元,用于若所述待定弹幕内容的巡检审核结果表明通过,则对所述待定弹幕内容进行标记并存储至数据库中;

46、召回单元,用于若所述待定弹幕内容的巡检审核结果表明不通过,则对所述待定弹幕内容进行召回。

47、可选的,所述审核大模型的构建单元,包括:

48、第一构建单元,用于构建第二训练样本集;其中,所述第二训练样本集至少包括一个第二训练样本;所述第二训练样本包括训练任务指令、训练样本问题和训练样本回答;所述训练样本问题包括第二历史帧对应的弹幕内容和视频文本信息;

49、固定单元,用于固定预训练模型的预训练权重;

50、喂入单元,用于将所有所述第二训练样本分别喂入至第一低秩矩阵和第二低秩矩阵进行训练,得到训练好的第一低秩矩阵和训练好的第二低秩矩阵;

51、第三确定单元,用于根据所述训练好的第一低秩矩阵、所述训练好的第二低秩矩阵和所述预训练权重,确定目标权重;

52、更新单元,用于将所述目标权重更新至审核大模型。

53、可选的,所述第三确定单元,包括:

54、第一计算单元,用于将所述训练好的第一低秩矩阵和所述训练好的第二低秩矩阵按照矩阵乘法进行计算,得到训练好的低秩矩阵权重;

55、第二计算单元,用于将所述训练好的低秩矩阵权重与所述预训练权重相加,得到目标权重。

56、可选的,所述语义审核模型的构建单元,包括:

57、第二构建单元,用于构建第一训练样本集;其中,所述第一训练样本集包括至少一个第一训练样本;所述第一训练样本包括第一历史帧对应的弹幕内容和视频文本信息;

58、第三输入单元,用于针对每一个第一训练样本,将所述第一训练样本输入至所述审核大模型中,输出得到所述第一训练样本的标签;

59、向量化单元,用语言分别将所述第一历史帧对应的弹幕内容和视频文本内容进行向量化处理,得到第一向量和第二向量;

60、融合单元,用于根据所述第一向量和所述第二向量生成所述第一训练样本的融合向量;

61、训练单元,用于根据所有所述第一训练样本的融合向量和所述第一训练样本的标签对文本分类模型进行训练,得到语义审核模型。

62、可选的,所述融合单元,包括:

63、第四输入单元,用于将所述第一向量输入至第一门控循环单元,输出得到第一目标向量,以及将所述第一向量输入至第一高速公路单元,输出得到第二目标向量;

64、第五输入单元,用于将所述第二向量输入至第二门控循环单元,输出得到第三目标向量,以及将所述第二向量输入至第二高速公路单元,输出得到第四目标向量;

65、软注意力处理单元,用于根据所述第二目标向量和所述第四目标向量进行软注意力处理,得到第一注意力向量和第二注意力向量;

66、第一拼接单元,用于将所述第一目标向量、所述第二目标向量和所述第一注意力向量进行拼接,得到第一拼接向量;

67、第二拼接单元,用于将所述第三目标向量、所述第四目标向量和所述第二注意力向量进行拼接,得到第二拼接向量;

68、第六输入单元,用于将所述第一拼接向量输入至所述第一门控循环单元,得到第五目标向量,以及将所述第二拼接向量输入至所述第二门控循环单元,得到第六目标向量;

69、函数运算单元,用于根据所述第五目标向量和所述第六目标向量进行函数运算,得到所述第一训练样本的融合向量。

70、可选的,所述函数运算单元,包括:

71、第三计算单元,用于将所述第五目标向量和所述第六目标向量的差作为第七目标向量;

72、第四计算单元,用于将所述第五目标向量和所述第六目标向量的积作为第八目标向量;

73、第三拼接单元,用于将所述第五目标向量、所述第七目标向量和第八目标向量进行拼接得到所述第一训练样本的融合向量。

74、本技术第三方面提供了一种电子设备,包括:

75、一个或多个处理器;

76、存储装置,其上存储有一个或多个程序;

77、当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如第一方面任意一项所述的视频弹幕的审核方法。

78、本技术第四方面提供了一种计算机存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如第一方面任意一项所述的视频弹幕的审核方法。

79、由以上方案可知,本技术提供一种视频弹幕的审核方法、装置、电子设备及计算机存储介质,通过对目标视频进行抽帧,得到每一帧的弹幕内容和视频信息后,针对每一帧的弹幕内容和视频信息,将帧的弹幕内容和视频信息输入至语义审核模型,得到帧的弹幕内容的审核分数,从而根据帧的弹幕内容的审核分数,确定帧的弹幕内容的审核结果;其中,若帧的弹幕内容的审核结果表明通过,则将帧的弹幕内容露出;若帧的弹幕内容的审核结果表明不通过,则将帧的弹幕内容拦截。达到快速高效准确的对弹幕内容进行自动审核的目的,大大减轻了审核的负担,节约审核成本,提升审核效率。


技术特征:

1.一种视频弹幕的审核方法,其特征在于,包括:

2.根据权利要求1所述的视频弹幕的审核方法,其特征在于,所述若所述帧的弹幕内容的审核结果表明通过,则将所述帧的弹幕内容露出之后,还包括:

3.根据权利要求2所述的视频弹幕的审核方法,其特征在于,所述审核大模型的构建方法,包括:

4.根据权利要求3所述的视频弹幕的审核方法,其特征在于,所述根据所述训练好的第一低秩矩阵、所述训练好的第二低秩矩阵和所述预训练权重,确定目标权重,包括:

5.根据权利要求3所述的视频弹幕的审核方法,其特征在于,所述语义审核模型的构建方法,包括:

6.根据权利要求5所述的视频弹幕的审核方法,其特征在于,所述根据所述第一向量和所述第二向量生成所述第一训练样本的融合向量,包括:

7.根据权利要求6所述的视频弹幕的审核方法,其特征在于,所述根据所述第五目标向量和所述第六目标向量进行函数运算,得到所述第一训练样本的融合向量,包括:

8.一种视频弹幕的审核装置,其特征在于,包括:

9.一种电子设备,其特征在于,包括:

10.一种计算机存储介质,其特征在于,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至7中任一所述的视频弹幕的审核方法。


技术总结
本申请提供一种视频弹幕的审核方法、装置、电子设备及计算机存储介质,通过对目标视频进行抽帧,得到每一帧的弹幕内容和视频信息后,针对每一帧的弹幕内容和视频信息,将该帧的弹幕内容和视频信息输入至语义审核模型,得到该帧的弹幕内容的审核分数,从而根据该帧的弹幕内容的审核分数,确定该帧的弹幕内容的审核结果;其中,若该帧的弹幕内容的审核结果表明通过,则将该帧的弹幕内容露出;若该帧的弹幕内容的审核结果表明不通过,则将该帧的弹幕内容拦截。达到快速高效准确的对弹幕内容进行自动审核的目的,大大减轻了审核的负担,节约审核成本,提升审核效率。

技术研发人员:骆迅,文浩宇,祁晗,杨杰
受保护的技术使用者:湖南快乐阳光互动娱乐传媒有限公司
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-28154.html