视频画质增强方法、装置、电子设备和存储介质与流程

专利2025-06-06  31


本发明涉及图像处理,具体而言,涉及一种视频画质增强方法、装置、电子设备和存储介质。


背景技术:

1、随着直播行业的迅猛发展,观众对直播画质的要求也在不断提高。尽管直播技术和设备的分辨率在不断提升,但是在直播中播放的许多经典热门图像或视频却是在多年前制作的,这些图像或视频的画质相对较低,利用去噪、去模糊、锐化、超分辨率等画质增强技术对画质进行增强后,画质仍然难以满足观众对超高清画质的追求。


技术实现思路

1、有鉴于此,本发明的目的在于提供一种视频画质增强方法、装置、电子设备和存储介质,能够增强直播视频的画质以及显著节省带宽成本。

2、为了实现上述目的,本发明实施例采用的技术方案如下:

3、第一方面,本发明提供一种视频画质增强方法,所述方法包括:

4、对直播视频进行解码,得到多个原始视频帧;

5、将所述原始视频帧输入预先训练的画质增强模型,得到增强视频帧;所述画质增强模型是利用高清视频对应的低清图像集和增强版高清图像集进行训练得到的;所述增强版高清图像集是对所述高清视频中的视频帧迭代增强画质得到的;

6、对所述增强视频帧进行编码,得到增强视频。

7、在可选的实施方式中,所述画质增强模型通过以下方式训练得到:

8、根据所述低清图像集确定低清训练图像;所述低清训练图像为所述低清图像集中的低清图像,或者对所述低清图像集中的低清图像进行下采样得到的图像;

9、将所述低清训练图像输入初始图像超分辨率网络,得到对应的增强训练图像;所述初始图像超分辨率网络通过对开源的图像超分辨率网络的基础残差块数量和通道数量进行裁剪后得到;

10、基于所述增强训练图像和所述增强版高清图像集中对应的图像的损失信息,迭代更新所述初始图像超分辨率网络的参数,得到所述画质增强模型。

11、在可选的实施方式中,所述增强版高清图像集通过以下方式得到:

12、获取多个高清视频和待训练图像超分辨率网络;所述待训练图像超分辨率网络包括全局残差连接;

13、根据各高清视频,得到多个高清视频帧、所述低清图像集和高清图像集;所述低清图像集包括不同码率的低清图像;

14、将所述待训练图像超分辨率网络作为目标网络,将所述高清图像集作为目标图像集;

15、根据随机获取的所述低清图像和所述目标网络,得到训练残差;

16、根据所述训练残差、预设残差系数和对应的所述低清图像,得到目标增强图像;

17、根据所述目标增强图像和所述目标图像集中对应的图像之间的损失信息迭代更新所述目标网络的参数,得到训练后网络;

18、根据所述训练后网络和各所述高清视频帧得到新的高清图像集;

19、在所述训练后网络的画质增强效果符合预设条件的情况下,将所述新的高清图像集作为增强版高清图像集;

20、在所述训练后网络的画质增强效果不符合预设条件的情况下,将所述训练后网络作为所述目标网络,将所述新的高清图像集作为所述目标图像集,对所述训练后网络进行迭代训练。

21、在可选的实施方式中,所述根据各高清视频,得到多个高清视频帧、所述低清图像集和高清图像集,包括:

22、按照不同训练码率对各所述高清视频进行编码,得到各所述高清视频的多个低清视频;

23、按照预设抽帧间隔对各所述高清视频和所述高清视频对应的多个低清视频进行抽帧,分别得到所述高清视频对应的多个高清视频帧和每个低清视频对应的多个低清图像;

24、根据全部所述低清图像得到所述低清图像集;

25、对各所述高清视频帧进行锐化处理,得到每个所述高清视频帧对应的锐化图像,并根据全部所述锐化图像得到所述高清图像集。

26、在可选的实施方式中,所述根据随机获取的所述低清图像和所述目标网络,得到训练残差,包括:

27、对随机获取的所述低清图像添加随机噪声和/或进行随机模糊处理,得到退化图像;

28、将所述退化图像输入所述目标网络,得到训练残差。

29、在可选的实施方式中,所述根据所述训练残差、预设残差系数和对应的所述低清图像,得到目标增强图像,包括:

30、将所述训练残差与所述预设残差系数相乘,得到残差向量;

31、将所述残差向量和所述低清图像的特征向量求和,得到目标增强向量,并根据所述目标增强向量生成所述目标增强图像。

32、在可选的实施方式中,所述根据所述训练后网络和各所述高清视频帧得到新的高清图像集,包括:

33、将各所述高清视频帧输入所述训练后网络,得到所述高清视频帧对应的目标残差;

34、根据各所述目标残差、所述预设残差系数和对应的高清视频帧,得到高清图像;

35、根据全部所述高清图像得到新的高清图像集。

36、第二方面,本发明提供一种视频画质增强装置,所述装置包括:

37、解码模块,用于对直播视频进行解码,得到多个原始视频帧;

38、增强模块,用于将所述原始视频帧输入预先训练的画质增强模型,得到增强视频帧;所述画质增强模型是利用高清视频对应的低清图像集和增强版高清图像集进行训练得到的;所述增强版高清图像集是对所述高清视频中的视频帧迭代增强画质得到的;

39、编码模块,用于对所述增强视频帧进行编码,得到增强视频。

40、第三方面,本发明提供一种电子设备,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器可执行所述机器可执行指令以实现前述实施方式任一所述的视频画质增强方法。

41、第四方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如前述实施方式中任一项所述的视频画质增强方法。

42、相比于现有技术,本发明实施例提供的视频画质增强方法、装置、电子设备和存储介质,对高清视频执行多次叠加画质增强效果的训练,最终得到画质提升的增强版高清图像集,并利用增强版高清图像集训练画质增强模型,有效提升画质增强模型的画质增强能力。通过画质增强模型对直播视频中的原始视频帧增强画质,得到画质显著提升的增强视频帧,由于增强视频帧的画质得到显著提升,在降低直播码率的情况下,也能保证直播画面的清晰度。由于降低码率可以有效减少码率冗余,显著节省带宽成本,从而降低观众观看超高清直播时的网络带宽需求,使得观众能够更加流畅地观看超高清直播,显著提升用户体验。

43、为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。



技术特征:

1.一种视频画质增强方法,其特征在于,所述方法包括:

2.根据权利要求1所述的视频画质增强方法,其特征在于,所述画质增强模型通过以下方式训练得到:

3.根据权利要求1-2中任一项所述的视频画质增强方法,其特征在于,所述增强版高清图像集通过以下方式得到:

4.根据权利要求3所述的视频画质增强方法,其特征在于,所述根据各高清视频,得到多个高清视频帧、所述低清图像集和高清图像集,包括:

5.根据权利要求3所述的视频画质增强方法,其特征在于,所述根据随机获取的所述低清图像和所述目标网络,得到训练残差,包括:

6.根据权利要求3所述的视频画质增强方法,其特征在于,所述根据所述训练残差、预设残差系数和对应的所述低清图像,得到目标增强图像,包括:

7.根据权利要求3所述的视频画质增强方法,其特征在于,所述根据所述训练后网络和各所述高清视频帧得到新的高清图像集,包括:

8.一种视频画质增强装置,其特征在于,所述装置包括:

9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器可执行所述机器可执行指令以实现权利要求1-7任一所述的视频画质增强方法。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的视频画质增强方法。


技术总结
本发明实施例提出一种视频画质增强方法、装置、电子设备和存储介质,涉及图像处理技术领域。该方法对高清视频执行多次叠加画质增强效果的训练,最终得到画质提升的增强版高清图像集,并利用增强版高清图像集训练画质增强模型,有效提升画质增强模型的画质增强能力。通过画质增强模型对直播视频中的原始视频帧增强画质,得到画质显著提升的增强视频帧,由于增强视频帧的画质得到显著提升,在降低直播码率的情况下,也能保证直播画面的清晰度。由于降低码率可以有效减少码率冗余,显著节省带宽成本,从而降低观众观看超高清直播时的网络带宽需求,使得观众能够更加流畅地观看超高清直播。

技术研发人员:杨婕婷
受保护的技术使用者:广州虎牙科技有限公司
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-25070.html