用于视频处理的方法、装置和介质与流程

专利2026-08-31  15


本公开的实施例总体涉及视频编解码技术,并且更具体地,涉及使用机器学习模型的失真确定。


背景技术:

1、如今,数字视频功能正应用于人们生活的各个方面中。针对视频编码/解码,已经提出了多种类型的视频压缩技术,诸如mpeg-2、mpeg-4、itu-th.263、itu-th.264/mpeg-4第10部分高级视频编解码(avc)、itu-th.265高效视频编解码(hevc)标准、多功能视频编解码(vvc)标准。然而,传统视频编解码技术的编解码效率通常非常低,这是不希望的。


技术实现思路

1、本公开的实施例提供了一种用于视频处理的方案。

2、在第一方面,提出了一种用于视频处理的方法。该方法包括:针对视频的当前视频块与视频的比特流之间的转换,基于一组失真度量确定当前视频块的失真值,一组失真度量包括至少一项:根据第一机器学习模型被确定的第一失真度量,根据第二机器学习模型被确定的第二失真度量,或者在不使用第一机器学习模型和第二机器学习模型的情况下被确定的第三失真度量;以及基于失真值执行转换。

3、根据本公开的第一方面的方法基于一组失真度量确定当前视频块的失真值。被确定的失真值可被应用于率失真优化(rdo)过程中,并且因此可以改进rdo过程。由此,编解码有效性和编解码效率能够得到提升。

4、在第二方面,提出了另一种用于视频处理的方法。该方法包括:针对视频的当前视频块与视频的编解码效果之间的转换,确定是否在针对当前视频块的编解码工具的率失真优化(rdo)过程中应用机器学习模型;基于该确定对当前视频块执行rdo过程;以及基于rdo过程执行转换。

5、根据本公开的第二方面的方法确定是否在针对当前视频块的编解码工具的rdo过程中应用机器学习模型。以此方式,编解码有效性和编解码效率能够得到提升。

6、在第三方面中,提出了一种用于处理视频数据的装置。用于处理视频数据的装置包括处理器和其上具有指令的非暂态存储器,其中指令在由处理器执行时使处理器执行根据本公开的第一方面或第二方面的方法。

7、在第四方面,提出了一种非暂态计算机可读存储介质。该非暂态计算机可读存储介质存储使处理器执行根据本公开的第一或第二方面的方法的指令。

8、在第五方面,提出了一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储视频的通过由视频处理装置执行的方法而生成的比特流,其中该方法包括:基于一组失真度量确定视频的当前视频块的失真值,该组失真度量包括以下至少一项:根据第一机器学习模型被确定的第一失真度量,根据第二机器学习模型被确定的第二失真度量,或者在不使用第一机器学习模型和第二机器学习模型的情况下被确定的第三失真度量;以及基于失真值生成比特流。

9、在第六方面中,提出了一种用于存储视频的比特流的方法。该方法包括:基于一组失真度量确定视频的当前视频块的失真值,该组失真度量包括以下至少一项:根据第一机器学习模型被确定的第一失真度量,根据第二机器学习模型被确定的第二失真度量,或者在不使用第一机器学习模型和第二机器学习模型的情况下被确定的第三失真度量;以及基于失真值生成比特流;以及将比特流存储在非暂态计算机可读记录介质中。

10、在第七方面,提出了另一种非暂态计算机可读记录介质。该非暂态计算机可读记录介质存储视频的通过由视频处理装置执行的方法而生成的比特流,其中该方法包括:确定是否在视频的当前视频块的编解码工具的率失真优化(rdo)过程中应用机器学习模型;基于确定对当前视频块执行rdo过程;以及基于rdo过程生成比特流。

11、第八方面,提出了另一种用于存储视频的比特流的方法。该方法包括:确定是否在视频的当前视频块的编解码工具的率失真优化(rdo)过程中应用机器学习模型;基于确定对当前视频块执行rdo过程;以及基于rdo过程生成比特流;以及将比特流存储在非暂态计算机可读记录介质中。

12、提供本
技术实现要素:
是为了以简化的形式介绍以下在具体实施例中进一步描述的概念的选择。本发明内容不旨在标识所要求保护的主题的关键特征或基本特征,也不旨在用于限制所要求保护主题的范围。



技术特征:

1.一种用于视频处理的方法,包括:

2.根据权利要求1所述的方法,其中确定所述失真值包括:

3.根据权利要求2所述的方法,其中所述多个候选模式不是划分模式。

4.根据权利要求1至3中任一项所述的方法,其中确定所述失真值包括:

5.根据权利要求4所述的方法,其中基于所述第一失真度量和所述第三失真度量确定所述失真值包括:

6.根据权利要求1至5中任一项所述的方法,其中确定所述失真值包括:基于所述一组失真度量的组合确定所述失真值,

7.根据权利要求6所述的方法,还包括:

8.根据权利要求6或7所述的方法,其中所述编解码统计数据包括以下至少一项:

9.根据权利要求6至8中任一项所述的方法,其中第四失真度量包括所述第二失真度量和所述第三失真度量中的最小失真度量,所述第四失真度量的优先级高于所述第一失真度量的优先级。

10.根据权利要求6至9中任一项所述的方法,其中所述第一失真度量的优先级高于所述第三失真度量的优先级。

11.根据权利要求6至10中任一项所述的方法,其中所述当前视频块的多个候选模式是划分模式;以及

12.根据权利要求1至11中任一项所述的方法,其中所述第一机器学习模型包括以下中的一项:

13.根据权利要求1至12中任一项所述的方法,其中所述第二机器学习模型包括卷积神经网络(cnn)模型。

14.根据权利要求1至13中任一项所述的方法,其中所述第一机器学习模型与所述第二机器学习模型相同。

15.根据权利要求1至14中任一项所述的方法,其中所述第一机器学习模型的第一索引与所述第二机器学习模型的第二索引相同。

16.根据权利要求1至15中任一项所述的方法,还包括:

17.根据权利要求16所述的方法,其中对所述当前视频块执行所述rdo过程包括:

18.根据权利要求17所述的方法,其中所述多个候选模式的数目包括以下中的一项:1、2、3或4。

19.根据权利要求1至18中任一项所述的方法,其中所述一组失真度量还包括以下中的至少一项:

20.一种用于视频处理的方法,包括:

21.根据权利要求20所述的方法,其中确定是否在针对所述编解码工具的rdo过程中应用机器学习模型包括:

22.根据权利要求21所述的方法,其中基于所述优先级顺序确定是否在针对所述编解码工具或针对所述另一编解码工具的所述rdo过程中应用所述机器学习模型包括:

23.根据权利要求21或22所述的方法,其中确定所述优先级顺序包括:

24.根据权利要求21或22所述的方法,其中确定所述优先级顺序包括:

25.根据权利要求23或24所述的方法,其中所述第一率失真成本或所述第二率失真成本基于所述当前视频块的失真值和所述当前视频块的加权率的和被确定。

26.根据权利要求25所述的方法,其中所述当前视频块的所述失真值包括在不使用所述机器学习模型的情况下被确定的第一失真值。

27.根据权利要求21至26中任一项的方法,其中确定所述优先级顺序包括:

28.根据权利要求27所述的方法,其中所述编解码统计数据包括以下至少一项:

29.根据权利要求20至28中任一项所述的方法,其中确定是否在针对所述编解码工具的所述rdo过程中应用所述机器学习模型包括:

30.根据权利要求29所述的方法,其中所述第一率失真成本基于所述当前视频块的第一失真值和所述当前视频块的加权率的和被确定。

31.根据权利要求30所述的方法,其中所述当前视频块的所述第一失真值在不使用所述机器学习模型的情况下被确定。

32.根据权利要求29至31中任一项所述的方法,其中所述第二率失真成本基于所述当前视频块的第二失真值和所述当前视频块的加权率的和被确定。

33.根据权利要求32所述的方法,其中所述当前视频块的所述第二失真值包括以下一项:

34.根据权利要求20至33中任一项所述的方法,其中所述机器学习模型包括以下至少一项:

35.根据权利要求1至34中任一项所述的方法,其中所述转换包括将所述当前视频块编码到所述比特流中。

36.根据权利要求1至34中任一项所述的方法,其中所述转换包括从所述比特流中解码所述当前视频块。

37.一种用于处理视频数据的装置,包括处理器和其上具有指令的非暂态存储器,其中所述指令在由所述处理器执行时使所述处理器执行根据权利要求1至36中任一项所述的方法。

38.一种非暂态计算机可读存储介质,存储有指令,所述指令使处理器执行根据权利要求1至36中任一项所述的方法。

39.一种非暂态计算机可读记录介质,存储视频的通过由视频处理装置执行的方法而生成的比特流,其中所述方法包括:

40.一种用于存储视频的比特流的方法,包括:

41.一种非暂态计算机可读记录介质,存储视频的通过由视频处理装置执行的方法而生成的比特流,其中所述方法包括:

42.一种用于存储视频的比特流的方法,包括:


技术总结
本公开的实施例提供了一种用于视频处理的方案。提出了一种用于视频处理的方法。该方法包括:针对视频的当前视频块与视频的比特流之间的转换,基于一组失真度量确定当前视频块的失真值,一组失真度量包括至少一项:根据第一机器学习模型被确定的第一失真度量,根据第二机器学习模型被确定的第二失真度量,或者在不使用第一机器学习模型和第二机器学习模型的情况下被确定的第三失真度量;以及基于失真值执行转换。以此方式,可以改进RDO过程,并且因此编解码性能能够得到增强。

技术研发人员:李俊儒,李跃,张凯,张莉
受保护的技术使用者:抖音视界有限公司
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-34102.html