本实施例中的至少一个实施例一般涉及一种用于视频编码或视频解码的方法或装置,并且更具体地,涉及一种实施能力约束的方法或装置,所述能力约束包括与视频流解码所需的乘法累加运算的次数有关的指示。
背景技术:
1、为了实现高压缩效率,图像和视频编码方案通常采用预测(包括运动矢量预测)和变换来利用视频内容中的空间和时间冗余。通常,帧内预测或帧间预测用于利用帧内相关性或帧间相关性,然后对在原始图像和预测图像之间的差异(通常表示为预测错误或预测残差)进行变换、量化和熵编码。为了重建视频,通过与熵编码、量化、变换和预测相对应的逆过程来解码经压缩的数据。
2、最近开发的用于编码和解码的方法(例如基于神经网络nn的方法)会表现出大量的乘法累加(mac)运算,导致macs的数量远远超出传统视频编码解决方案中所需的数量,使得解码器的实施变得越来越困难。因此,需要改进现有技术。
技术实现思路
1、在本申请中,所公开的概念基于用作复杂度度量的mac运算的次数。它可以推广到其他复杂度度量,诸如运算次数((ops))、浮点运算次数((flops))、每个样本的使用次数。
2、通过本文描述的一般方面解决和处理了现有技术的缺点和不足。
3、根据第一方面,提供了一种视频流,其包括代表图像序列的编码数据、多个配置文件当中编码数据所符合的配置文件的指示、以及多个级别当中编码数据所符合的级别的指示;其中多个配置文件和多个级别指定用于解码编码数据的能力约束,并且其中能力约束包括与解码编码数据所需的乘法累加运算的次数有关的指示。
4、根据第二方面,提供了一种方法。该方法包括确定解码器解码视频流的能力,其中视频流包括:代表图像序列的编码数据、多个配置文件当中编码数据所符合的配置文件的指示、以及多个级别当中编码数据所符合的级别的指示。多个配置文件和多个级别指定用于解码符合的编码数据的能力约束,并且有利地,能力约束包括与解码编码数据所需的乘法累加运算的次数有关的指示。确定解码器解码视频流的能力还包括:解析编码数据所符合的配置文件的指示;解析编码数据所符合的级别的指示;以及响应于确定解码器支持配置文件并且解码器支持级别,确定解码器能够实施解码编码数据所需的乘法累加运算的次数。
5、根据第三方面,提供了一种方法。该方法包括视频解码,通过首先根据公开变型中的任一变型来确定解码器解码视频流的能力,并且响应于确定解码器能够解码视频流,从而解码视频流。
6、根据第四方面,提供了第二方法。该方法包括通过生成根据公开实施例的任何实施例的比特流和能力约束的变型来进行视频编码,所述能力约束指定了与解码生成的比特流所需的乘法累加运算的次数有关的指示。
7、根据另一个方面,提供了一种装置。该装置包括一个或多个处理器,其中所述一个或多个处理器配置成根据其任一变型来实施视频解码方法。根据又一个方面,用于视频解码的装置包括用于实施视频解码变型中的任一变型的设备。
8、根据另一个方面,提供了另一种装置。装置包括一个或多个处理器,其中所述一个或多个处理器配置成根据其任一变型来实施视频解码方法。根据又一个方面,用于视频解码的装置包括用于实施视频解码变型的任一变型的设备。
9、根据至少一个实施例的另一个一般方面,提供了一种设备,所述设备包括:根据解码实施例中的任何实施例的装置;以及以下内容中的至少一者:(i)配置成接收信号的天线,信号包括视频块,(ii)配置成将接收到的信号限制到包括视频块的频带的频带限制器,或(iii)配置成显示代表视频块的输出的显示器。
10、根据至少一个实施例的又一个一般方面,提供了一种非暂时性计算机可读介质,其包含根据所描述的编码实施例或变型中的任一者生成的数据内容。
11、根据至少一个实施例的另一个一般方面,提供了一种信号,所述信号包括:代表图像序列的编码数据、多个配置文件当中编码数据所符合的配置文件的指示、以及多个级别当中编码数据所符合的级别的指示;其中多个配置文件和多个级别指定用于解码编码数据的能力约束,并且其中能力约束包括与解码编码数据所需的乘法累加运算的次数有关的指示。
12、根据至少一个实施例的又一个一般方面,提供了一种包括指令的计算机程序产品,当程序由计算机执行时,所述指令使得计算机执行所描述的编码/解码实施例或变型中的任一者。
13、从下面结合附图阅读的示例性实施例的详细描述中,一般方面的这些和其他方面、特征和优点将变得明显。
1.一种在解码器中实施的方法,所述方法包括确定所述解码器解码视频流的能力,其中所述视频流包括:代表图像序列的编码数据、多个配置文件当中编码数据所符合的配置文件的指示、以及多个级别当中编码数据所符合的级别的指示;
2.根据权利要求1所述的方法,其中所述多个级别中的每个级别至少定义最大乘法-加法运算速率。
3.根据权利要求1所述的方法,其中所述多个级别中的每个级别至少定义最大乘法-加法运算与最大采样速率的比率。
4.根据权利要求1所述的方法,其中所述视频流还包括:在多个乘法累加运算级别当中编码数据所符合的乘法累加运算级别的指示。
5.根据权利要求4所述的方法,其中所述确定解码器解码所述视频流的所述能力还包括:
6.根据权利要求5所述的方法,其还包括解码来自所述视频流的编码数据所符合的乘法累加运算级别的指示。
7.根据权利要求5或6中任一项所述的方法,其中独立地并且以任何顺序执行:确定所述解码器支持所述编码数据所符合的所述配置文件、确定所述解码器支持所述编码数据所符合的所述级别,以及确定所述解码器支持所述编码数据所符合的所述乘法累加运算级别。
8.根据权利要求4至7中任一项所述的方法,其中在所述多个乘法累加运算级别中的每个乘法累加运算级别至少定义最大乘法-加法运算速率。
9.根据权利要求4至7中任一项所述的方法,其中在所述多个乘法累加运算级别中的每个乘法累加运算级别至少定义最大乘法-加法运算与最大采样速率的比率。
10.根据权利要求4至7中任一项所述的方法,其中在所述多个乘法累加运算级别中的每个乘法累加运算级别至少定义每个样本的最大乘法-加法运算。
11.根据权利要求2至10中任一项所述的方法,其中所述与解码编码数据所需的乘法累加运算的次数有关的指示适用于部分解码步骤或所有解码步骤。
12.根据权利要求2至10中任一项所述的方法,其中所述与解码编码数据所需的乘法累加运算的次数相关的指示适用于实施神经网络处理的部分解码步骤。
13.根据权利要求2至10中任一项所述的方法,其中所述与解码编码数据所需的乘法累加运算的次数有关的指示包括:第一指示和第二指示,所述第一指示与适用于实施神经网络处理的部分解码步骤的解码编码数据所需的乘法累加运算的次数有关,所述第二指示与适用于不实施神经网络处理的部分解码步骤的解码编码数据所需的乘法累加运算的次数有关。
14.根据权利要求2至10中任一项所述的方法,其中所述与解码编码数据所需的乘法累加运算的次数有关的指示适用于后处理部分解码步骤。
15.根据权利要求2至14中任一项所述的方法,其中所述能力约束包括与基于nn的显示处理所需的乘法累加运算的次数有关的指示。
16.根据权利要求15所述的方法,其中所述视频流还包括基于nn的显示处理所需的最大乘法-加法运算速率的指示。
17.根据权利要求16所述的方法,其中所述基于nn的显示处理所需的最大乘法-加法运算速率的指示被嵌入sei消息中。
18.一种方法,其包括接收视频流,所述视频流包括:代表图像序列的编码数据、多个配置文件当中编码数据所符合的配置文件的指示、以及多个级别当中编码数据所符合的级别的指示;其中所述多个配置文件和所述多个级别指定用于解码符合的编码数据的能力约束,并且其中所述能力约束包括与解码编码数据所需的乘法累加运算的次数有关的指示。
19.一种方法,其包括发送视频流,所述视频流包括:代表图像序列的编码数据、多个配置文件当中编码数据所符合的配置文件的指示、以及多个级别当中编码数据所符合的级别的指示;其中所述多个配置文件和所述多个级别指定用于解码符合的编码数据的能力约束,并且其中所述能力约束包括与解码编码数据所需的乘法累加运算的次数有关的指示。
20.一种视频流,其包括:代表图像序列的编码数据、多个配置文件当中编码数据所符合的配置文件的指示、以及多个级别当中编码数据所符合的级别的指示;其中所述多个配置文件和所述多个级别指定用于解码符合的编码数据的能力约束,并且其中所述能力约束包括与解码编码数据所需的乘法累加运算的次数有关的指示。
21.一种方法,其包括从视频流解码代表图像序列的编码数据,其中所述方法包括:
22.一种方法,其包括将代表图像序列的数据编码到视频流中,所述方法包括:
23.一种装置,其包括用于解码视频流的解码器,所述视频流包括代表图像序列的编码数据,所述解码器配置成:
24.一种装置,其包括用于将代表图像序列的数据编码成视频流的编码器,所述编码器配置成:
25.一种计算机程序,其包括程序代码指令,当由处理器执行所述程序代码指令时,用于实施根据权利要求1至19、21、22中任一项的方法的步骤。
26.一种计算机可读的非暂时性程序存储设备,所述非暂时性程序存储设备有形地体现能够由所述计算机执行的指令程序,以用于执行根据权利要求1、18、19、20、22中任一项所述的方法。