本发明的实施方式涉及运动图像变换装置以及运动图像变换方法。
背景技术：
为了高效地传输或记录运动图像，使用通过对运动图像进行编码而生成编码数据的运动图像编码装置，以及通过对该编码数据进行解码而生成解码图像的运动图像解码装置。
作为具体的运动图像编码方式，例如可以列举出h.264/avc、hevc(high-efficiencyvideocoding：高效运动图像编码)方式等。
另一方面，随着显示设备、拍摄设备的进步，能获取并显示高分辨率的运动图像。因此，需要将以往的低分辨率的运动图像的分辨率变换为高分辨率的方法。此外，由于高分辨率的运动图像数据量庞大，为了以低速率进行传输或记录，考虑暂时将运动图像变换为低分辨率来进行编码，从而传输、记录，将解码后的运动图像变换为高分辨率来进行显示的方法。
这种技术作为将低分辨率的运动图像变换为高分辨率的超分辨率技术而被周知。作为近年来的运动图像的超分辨率技术，可以列举出非专利文献1。
现有技术文献
非专利文献
非专利文献1：m.sajjadi，r.vemulapalliandm.brown，frame-recurrentvideosuper-resolution.ieee/cvfconferenceoncomputervisionandpatternrecognition(cvpr2018)(pp.6626-6634，piscataway，2018.
技术实现要素：
发明要解决的问题
然而，在非专利文献1所述的方法中，对于生成预测图像的处理而言还有改善的余地。
本发明的一个方案的目的在于，实现一种参照实施超分辨率处理后的适当的图像能生成预测图像的运动图像变换装置。
技术方案
本发明的一个方案的运动图像变换装置的特征在于，具备：图像缓冲部，储存多个图像；超分辨率处理部，通过对从所述图像缓冲部输入的图像实施超分辨率处理，输出超分辨率图像；以及预测图像生成部，参照所述超分辨率处理部输出的超分辨率图像来生成预测图像。
有益效果
根据本发明的一个方案，能实现一种参照实施超分辨率处理后的适当的图像能生成预测图像的运动图像变换装置。
附图说明
图1是表示本实施方式的图像传输系统的构成的概略图。
图2是表示搭载有本实施方式的运动图像编码装置的发送装置和搭载有运动图像解码装置的接收装置的构成的图。prod_a表示搭载有运动图像编码装置的发送装置，prod_b表示搭载有运动图像解码装置的接收装置。
图3是表示搭载有本实施方式的运动图像编码装置的记录装置和搭载有运动图像解码装置的再现装置的构成的图。prod_c表示搭载有运动图像编码装置的记录装置，prod_d表示搭载有运动图像解码装置的再现装置。
图4是表示编码流的数据的分级结构的图。
图5是表示参照图片和参照图片列表的一个示例的概念图。
图6是表示运动图像解码装置的构成的概略图。
图7是对运动图像解码装置的概略动作进行说明的流程图。
图8是本实施方式的运动图像变换装置的功能框图。
图9是本实施方式的运动图像变换装置的功能框图。
图10是表示由本实施方式的运动图像变换装置进行的处理的概念图。
图11是本实施方式的运动图像变换装置的功能框图。
图12是本实施方式的运动图像变换装置的功能框图。
图13是本实施方式的运动图像变换装置的功能框图。
图14是表示运动图像编码装置的构成的框图。
图15是本实施方式的编码数据生成装置的功能框图。
图16是本实施方式的编码数据生成装置的功能框图。
图17是本实施方式的运动图像变换装置的功能框图。
图18是本实施方式的编码数据生成装置的功能框图。
具体实施方式
(实施方式)
以下，参照附图对本发明的实施方式进行说明。
图1是表示本实施方式的图像传输系统1的构成的概略图。
图像传输系统1是传输对对象图像进行编码而得到的编码流，对所传输的编码流进行解码并显示图像的系统。图像传输系统1构成为包括：运动图像编码装置(图像编码装置)11、网络21、运动图像解码装置(图像解码装置)31以及运动图像显示装置(图像显示装置)41。
运动图像编码装置11被输入图像t。
网络21将运动图像编码装置11生成的编码流te传输至运动图像解码装置31。网络21是互联网(internet)、广域网(wan：wideareanetwork)、小型网络(lan：localareanetwork，局域网)或它们的组合。网络21不一定限定于双向的通信网，也可以是传输地面数字广播、卫星广播等广播波的单向的通信网。此外，网络21也可以用dvd(digitalversatiledisc：数字通用光盘，注册商标)、bd(blue-raydisc：蓝光光盘，注册商标)等记录有编码流te的存储介质代替。
运动图像解码装置31对网络21所传输的编码流te分别进行解码，生成解码后的一个或多个解码图像td。
运动图像显示装置41显示运动图像解码装置31所生成的一个或多个解码图像td的全部或一部分。运动图像显示装置41例如具备液晶显示器、有机el(electro-luminescence：电致发光)显示器等显示设备。作为显示器的形式，可列举出固定式、移动式、hmd等。此外，在运动图像解码装置31具有高处理能力的情况下显示画质高的图像，在仅具有较低处理能力的情况下显示不需要高处理能力、高显示能力的图像。
<运算符>
以下记述在本说明书中使用的运算符。
＞＞为向右位移，＜＜为向左位移，&为逐位and，|为逐位or，|＝为or代入运算符，||表示逻辑和。
x？y：z是在x为真(0以外)的情况下取y、在x为假(0)的情况下取z的3项运算符。
clip3(a，b，c)是将c限幅于a以上b以下的值的函数，是在c＜a的情况下返回a、在c＞b的情况下返回b、在其他情况下返回c的函数(其中a＜＝b)。
abs(a)是返回a的绝对值的函数。
int(a)是返回a的整数值的函数。
floor(a)是返回a以下的最大整数的函数。
ceil(a)是返回a以上的最小整数的函数。
a/d表示a除以d(舍去小数点以下)。
<编码流te的结构>
在对本实施方式的运动图像编码装置11和运动图像解码装置31进行详细说明之前，对由运动图像编码装置11生成并由运动图像解码装置31进行解码的编码流te的数据结构进行说明。
图4是表示编码流te中的数据的分级结构的图。编码流te示例性地包括序列和构成序列的多张图片。图4中示出了表示既定序列seq的编码视频序列、规定图片pict的编码图片、规定切片s的编码切片、规定切片数据的编码切片数据、编码切片数据中包括的编码树单元以及编码树单元中包括的编码单元的图。
(编码视频序列)
在编码视频序列中，规定有供运动图像解码装置31参照以便对处理对象的序列seq进行解码的数据的集合。如图4所示，序列seq包括视频参数集(videoparameterset)、序列参数集sps(sequenceparameterset)、图片参数集pps(pictureparameterset)、自适应参数集(adaptationparameterset：aps)、图片pict以及补充增强信息sei(supplementalenhancementinformation)。
视频参数集vps在由多层构成的运动图像中，规定有多个运动图像通用的编码参数的集合，以及运动图像中包括的多层和与各层关联的编码参数的集合。
在序列参数集sps中，规定有供运动图像解码装置31参照以便对对象序列进行解码的编码参数的集合。例如，规定有图片的宽度、高度。需要说明的是，sps可以存在多个。在该情况下，从pps中选择多个sps中的任一个。
在图片参数集pps中，规定有供运动图像解码装置31参照以便对对象序列内的各图片进行解码的编码参数的集合。例如包括用于图片的解码的量化宽度的基准值(pic_init_qp_minus26)和指示加权预测的应用的标志(weighted_pred_flag)。需要说明的是，pps可以存在多个。在该情况下，从对象序列内的各图片中选择多个pps中的任一个。
(编码图片)
在编码图片中，规定有供运动图像解码装置31参照以便对处理对象的图片pict进行解码的数据的集合。如图4所示，图片pict包括切片0～切片ns-1(ns为图片pict中包括的切片的总数)。
需要说明的是，以下，在无需对各切片0～切片ns-1进行区分的情况下，有时会省略代码的下标来进行记述。此外，以下所说明的编码流te中包括的且带有下标的其他数据也是同样的。
(编码切片)
在编码切片中，规定有供运动图像解码装置31参照以便对处理对象的切片s进行解码的数据的集合。如图4所示，切片包括切片报头和切片数据。
切片报头中包括供运动图像解码装置31参照以便确定对象切片的解码方法的编码参数组。指定切片类型的切片类型指定信息(slice_type)是切片报头中包括的编码参数的一个示例。
作为能由切片类型指定信息指定的切片类型，可列举出：(1)在进行编码时仅使用帧内预测的i切片、(2)在进行编码时使用单向预测或帧内预测的p切片以及(3)在进行编码时使用单向预测、双向预测或帧内预测的b切片等。需要说明的是，帧间预测不限于单向预测、双向预测，也可以使用更多的参照图片来生成预测图像。以下，称为p、b切片的情况是指包括能使用帧间预测的块的切片。
需要说明的是，切片报头中也可以包括对图片参数集pps的参照(pic_parameter_set_id)。
(编码切片数据)
在编码切片数据中，规定有供运动图像解码装置31参照以便对处理对象的切片数据进行解码的数据的集合。如图4的编码切片报头所示，切片数据包括ctu。ctu是构成切片的固定大小(例如64×64)的块，也称为最大编码单位(lcu：largestcodingunit)。
(编码树单元)
在图4中，规定有供运动图像解码装置31参照以便对处理对象的ctu进行解码的数据的集合。ctu通过递归的四叉树分割(qt(quadtree)分割)、二叉树分割(bt(binarytree)分割)或三叉树分割(tt(ternarytree)分割)分割成作为编码处理的基本单位的编码单元cu。将bt分割和tt分割统称为多叉树分割(mt(multitree)分割)。将通过递归的四叉树分割而得到的树形结构的节点称为编码节点(codingnode)。四叉树、二叉树以及三叉树的中间节点为编码节点，ctu本身也被规定为最上层的编码节点。
ct包括以下信息作为ct信息：表示是否进行ct分割的cu分割标志(split_cu_flag)、表示是否进行qt分割的qt分割标志(qt_split_cu_flag)、表示mt分割的分割方向的mt分割方向(mtt_split_cu_vertical_flag)、表示mt分割的分割类型的mt分割类型(mtt_split_cu_binary_flag)。split_cu_flag、qt_split_cu_flag、mtt_split_cu_vertical_flag、mtt_split_cu_binary_flag按每个编码节点来传输。
此外，在ctu的大小为64×64像素的情况下，cu的大小可以取64×64像素、64×32像素、32×64像素、32×32像素、64×16像素、16×64像素、32×16像素、16×32像素、16×16像素、64×8像素、8×64像素、32×8像素、8×32像素、16×8像素、8×16像素、8×8像素、64×4像素、4×64像素、32×4像素、4×32像素、16×4像素、4×16像素、8×4像素、4×8像素以及4×4像素中的任一种。
可以按照亮度和色差而使用不同的树。用treetype来表示树的类别。例如，在按照亮度(y，cidx＝0)和色差(cb/cr，cidx＝1，2)，使用通用的树的情况下，用treetype＝single_tree表示通用单个树。在按照亮度和色差，使用不同的两个树(dual树)的情况下，用treetype＝dual_tree_luma表示亮度的树，用treetype＝dual_tree_chroma表示色差的树。
(编码单元)
在图4中，规定有供运动图像解码装置31参照以便对处理对象的编码单元进行解码的数据的集合。具体而言，cu由cu报头cuh、预测参数、变换参数、量化变换系数等构成。在cu报头中规定有预测模式等。
预测处理存在以cu为单位进行的情况和以进一步分割cu而得到的子cu为单位进行的情况。在cu与子cu的大小相等的情况下，cu中的子cu为1个。在cu的大小大于子cu的大小的情况下，cu被分割成子cu。例如，在cu为8×8、子cu为4×4的情况下，cu被分割成4个子cu，包括水平分割的两部分和垂直分割的两部分。
预测的种类(预测模式)存在帧内预测和帧间预测两种。帧内预测是同一图片内的预测，帧间预测是指在互不相同的图片间(例如显示时刻间、层图像间)进行的预测处理。
变换/量化部处理以cu为单位来进行，但量化变换系数也可以以4×4等子块为单位来进行熵编码。
(预测参数)
预测图像由附加于块的预测参数而导出。预测参数中存在帧内预测和帧间预测的预测参数。
以下，对帧间预测的预测参数进行说明。帧间预测参数由预测列表利用标志predflagl0和predflagl1、参照图片索引refidxl0和refidxl1以及运动矢量mvl0和mvl1构成。predflagl0、predflagl1是表示是否使用参照图片列表(l0列表、l1列表)的标志，在值为1的情况下，使用对应的参照图片列表。需要说明的是，在本说明书中记为“表示是否为××的标志”的情况下，将标志为0以外(例如1)设为是××的情况，将标志为0设为不是××的情况，在逻辑非、逻辑积等中将1视为真，将0视为假(以下同样)。不过，在实际的装置、方法中也可以使用其他值作为真值、假值。
在用于导出帧间预测参数的语法要素中，存在例如在合并模式中使用的仿射标志affine_flag、合并标志merge_flag、合并索引merge_idx、mmvd标志mmvd_flag、在amvp模式中使用的用于选择参照图片的帧间预测标识符inter_pred_idc、参照图片索引refidxlx、用于导出运动矢量的预测矢量索引mvp_lx_idx、差分矢量mvdlx以及运动矢量精度模式amvr_mode。
(参照图片列表)
参照图片列表是由存储于参照图片存储器306的参照图片构成的列表。图5是表示参照图片和参照图片列表的一个示例的概念图。在表示图5的参照图片的一个示例的概念图中，矩形表示图片，箭头表示图片的参照关系，横轴表示时间，矩形中的i、p、b分别表示帧内图片、单预测图片、双预测图片，矩形中的数字表示解码顺序。如图5所示，图片的解码顺序为i0、p1、b2、b3、b4，显示顺序为i0、b3、b2、b4、p1。图5中示出了图片b3(对象图片)的参照图片列表的示例。参照图片列表是表示参照图片的候选的列表，一张图片(切片)可以具有一个以上的参照图片列表。在图5的示例中，对象图片b3具有l0列表refpiclist0和l1列表refpiclist1这两个参照图片列表。在各cu中，由refidxlx指定实际上以参照图片列表refpiclistx(x＝0或1)中的哪一张图片来进行参照。图5是refidxl0＝2、refidxl1＝0的示例。需要说明的是，lx是在不对l0预测和l1预测进行区分的情况下使用的记述方法，以下，通过将lx替换为l0、l1对针对l0列表的参数和针对l1列表的参数进行区分。
inter_pred_idc是表示参照图片的种类和数量的值，取pred_l0、pred_l1、pred_bi中的任一值。pred_l0、pred_l1分别表示使用在l0列表、l1列表中进行管理的一张参照图片的单向预测。pred_bi表示使用在l0列表和l1列表中进行管理的两张参照图片的双向预测。
(运动矢量)
mvlx表示不同的两张图片上的块间的移位量。将与mvlx有关的预测矢量、差分矢量分别称为mvplx、mvdlx。
(运动图像解码装置的构成)
对本实施方式的运动图像解码装置31(图6)的构成进行说明。
运动图像解码装置31构成为包括：熵解码部301、参数解码部(预测图像解码装置)302、环路滤波器305、参照图片存储器306、预测参数存储器307、预测图像生成部(预测图像生成装置)308、逆量化/逆变换部311以及加法部312、预测参数导出部320。需要说明的是，根据后文所述的运动图像编码装置11，也存在运动图像解码装置31中不包括环路滤波器305的构成。
参数解码部302还具备报头解码部3020、ct信息解码部3021以及cu解码部3022(预测模式解码部)，cu解码部3022还具备tu解码部3024。也可以将它们统称为解码模块。报头解码部3020从编码数据解码vps、sps、pps、aps等参数集信息、切片报头(切片信息)。ct信息解码部3021从编码数据解码ct。cu解码部3022从编码数据解码cu。tu解码部3024在tu中包括预测误差的情况下，从编码数据解码qp更新信息(量化校正值)和量化预测误差(residual_coding)。
tu解码部3024在跳跃模式以外(skip_mode＝＝0)的情况下，从编码数据解码qp更新信息和量化预测误差。更具体而言，tu解码部3024在skip_mode＝＝0的情况下，对表示在对象块中是否包括量化预测误差的标志cu_cbp进行解码，在cu_cbp为1的情况下对量化预测误差进行解码。在cu_cbp不存在于编码数据的情况下导出为0。
tu解码部3024从编码数据解码表示变换基底的索引mts_idx。此外，tu解码部3024从编码数据解码表示二次变换的利用和变换基底的索引stidx。stidx在0的情况下表示不应用二次变换，在1的情况表示二次变换基底的集合(对)中一方的变换，在2的情况下表示上述对中另一方的变换。
此外，tu解码部3024也可以对子块变换标志cu_sbt_flag进行解码。在cu_sbt_flag为1的情况下，将cu分割成多个子块，仅对特定的一个子块的残差进行解码。而且，tu解码部3024也可以对表示子块的个数是4还是2的标志cu_sbt_quad_flag、表示分割方向的cu_sbt_horizontal_flag、表示包括非零的变换系数的子块的cu_sbt_pos_flag进行解码。
预测图像生成部308构成为包括帧间预测图像生成部309和帧内预测图像生成部310。
预测参数导出部320构成为包括帧间预测参数导出部303和帧内预测参数导出部304。
此外，在下文中对将ctu、cu用作处理单位的示例进行了记载，但不限于此，也可以以子cu为单位进行处理。或者，也可以设为将ctu、cu替换为块，将子cu替换为子块，以块或者子块为单位进行的处理。
熵解码部301对从外部输入的编码流te进行熵解码，对各个编码(语法要素)进行解码。熵编码中存在如下方式：使用根据语法要素的种类、周围的状况而适当选择出的上下文(概率模型)对语法要素进行可变长度编码的方式；以及使用预定的表或计算式对语法要素进行可变长度编码的方式。前者的cabac(contextadaptivebinaryarithmeticcoding)将上下文的cabac状态(主导符号的类别(0或1)和指定概率的概率状态索引pstateidx)储存于存储器。熵解码部301在分段(块(tile)、ctu行、切片)的起点对所有cabac状态进行初始化。熵解码部301将语法要素变换成二进制串(binstring)，对二进制串的各位进行解码。在使用上下文的情况下，对语法要素的各位导出上下文索引ctxinc，使用上下文来对位进行解码，并更新所使用的上下文的cabac状态。未使用上下文的位以等概率(ep，bypass)进行解码，省略ctxinc导出、cabac状态。解码后的语法要素中存在用于生成预测图像的预测信息和用于生成差分图像的预测误差等。
熵解码部301将解码后的编码输出至参数解码部302。解码后的编码例如是指预测模式predmode、merge_flag、merge_idx、inter_pred_idc、refidxlx、mvp_lx_idx、mvdlx、amvr_mode等。基于参数解码部302的指示来进行对哪一个编码进行解码的控制。
(基本流程)
图7是对运动图像解码装置31的概略动作进行说明的流程图。
(s1100：参数集信息解码)报头解码部3020从编码数据解码vps、sps、pps等参数集信息。
(s1200：切片信息解码)报头解码部3020从编码数据解码切片报头(切片信息)。
以下，运动图像解码装置31通过针对对象图片中包括的各ctu重复进行s1300至s5000的处理来导出各ctu的解码图像。
(s1300：ctu信息解码)ct信息解码部3021从编码数据解码ctu。
(s1400：ct信息解码)ct信息解码部3021从编码数据解码ct。
(s1500：cu解码)cu解码部3022实施s1510、s1520，从编码数据解码cu。
(s1510：cu信息解码)cu解码部3022从编码数据解码cu信息、预测信息、tu分割标志split_transform_flag、cu残差标志cbf_cb、cbf_cr、cbf_luma等。
(s1520：tu信息解码)tu解码部3024在tu中包括预测误差的情况下，从编码数据解码qp更新信息、量化预测误差以及变换索引mts_idx。需要说明的是，qp更新信息是与作为量化参数qp的预测值的量化参数预测值qppred的差分值。
(s2000：预测图像生成)预测图像生成部308针对对象cu中包括的各块，基于预测信息生成预测图像。
(s3000：逆量化/逆变换)逆量化/逆变换部311针对对象cu中包括的各tu，执行逆量化/逆变换处理。
(s4000：解码图像生成)加法部312通过将由预测图像生成部308提供的预测图像与由逆量化/逆变换部311提供的预测误差相加来生成对象cu的解码图像。
(s5000：环路滤波)环路滤波器305对解码图像施加去块滤波、sao、alf等环路滤波，生成解码图像。
环路滤波器305是设于编码环路内的滤波器，是去除块失真、振铃失真来改善画质的滤波器。环路滤波器305对加法部312所生成的cu的解码图像实施去块滤波、取样自适应偏移(sao)、自适应环路滤波(alf)等滤波。
参照图片存储器306将cu的解码图像按每个对象图片和对象cu存储于预定的位置。
预测参数存储器307将预测参数按每个ctu或者cu存储于预定的位置。具体而言，预测参数存储器307存储由参数解码部302解码后的参数和由预测参数导出部320导出后的参数等。
预测图像生成部308被输入由预测参数导出部320导出的参数。此外，预测图像生成部308从参照图片存储器306中读出参照图片。预测图像生成部308在predmode所指示的预测模式下，使用参数和参照图片(参照图片块)来生成块或子块的预测图像。在此，参照图片块是指参照图片上的像素的集合(通常为矩形，因此称为块)，是为了生成预测图像而参照的区域。
逆量化/逆变换部311将从参数解码部302输入的量化变换系数逆量化，来求出变换系数。
逆量化/逆变换部311具备缩放部(逆量化部)、二次变换部、核变换部。
缩放部使用从编码数据解码出的量化矩阵m[x][y]或同型矩阵m[x][y]＝16和根据量化参数qp、tu大小导出的rectnontsflag，导出缩放因子ls[x][y]。
ls[x][y]＝(m[x][y]*levelscale[rectnontsflag][qp％6])＜＜(qp/6)
在此，levelscale[]＝{{40，45，51，57，64，72}，{57，64，72，81，91，102}}。
rectnontsflag＝(((log2(ntbw)+log2(ntbh))&1)＝＝1&&transform_skip_flag＝＝0)
缩放部31112由ls[][]与变换系数transcoefflevel之积导出dnc[][]，并将其逆量化。而且，通过剪辑(clip)导出d[][]。
dnc[x][y]＝(transcoefflevel[xtby][ytby][cidx][x][y]*ls[x][y]+bdoffset)＞＞bdshift
d[x][y]＝clip3(coeffmin，coeffmax，dnc[x][y])
bdshift＝bitdepth+((rectnontsflag？1：0)+(log2(ntbw)+log2(ntbh))/2)-5+dep_quant_enabled_flag
bdoffset＝(1＜＜bdshift)＞＞1
二次变换部通过对从缩放部接收到的变换系数d[][]的一部分或全部应用使用了变换矩阵的变换，复原修正变换系数(由第二变换部进行的变换后的变换系数)d[][]。二次变换部按每个tu对指定的单位的变换系数d[][]应用二次变换。二次变换仅在帧内cu中应用，变换基底参照stidx和intrapredmode来确定。二次变换部将复原后的修正变换系数d[][]输出至核变换部。
核变换部使用选择出的变换矩阵来对变换系数d[][]或修正变换系数d[][]进行变换，导出预测误差r[][]。核变换部将预测误差r[][](ressamples[][])输入至加法部312。需要说明的是，逆量化/逆变换部311在skip_flag为1的情况或cu_cbp为0的情况下将对象块的预测误差全部设定为0。变换矩阵可以通过mts_idx从多个变换矩阵中选择。
还可以以使核变换后的预测误差d[][]成为与预测图像pred[][]相同的精度的方式进行移位并导出ressamples[][]。
ressamples[x][y]＝(r[x][y]+(1＜＜(bdshift-1)))＞＞bdshift
bdshift＝max(20-bitdepth，0)
加法部312按每个像素将从预测图像生成部308输入的块的预测图像与从逆量化/逆变换部311输入的预测误差相加，生成块的解码图像。加法部312将块的解码图像存储于参照图片存储器306，并向环路滤波器305输出。
(运动图像变换装置的构成例1)
以下，对本实施方式的运动图像变换装置进行说明。本实施方式的运动图像变换装置是一种提高分辨率输出图像(图片、影像)的装置。
图8是本示例的运动图像变换装置401的功能框图。如图8所示，本示例的运动图像变换装置401具备图像缓冲部403、预测图像生成部405、超分辨率处理部411以及超分辨率图像缓冲部413。
图像缓冲部403储存多个低分辨率图像。预测图像生成部405具备运动检测部407和运动补偿处理部409。
运动检测部407参照从图像缓冲部403输入的低分辨率图像导出某一时刻t的运动矢量。例如，可以是，图像缓冲部403储存与时刻t-1、t、t+1这3帧(三张图片)对应的图像，运动检测部407参照与其中的时刻t-1、t+1对应的图像来导出时刻t的运动矢量。
在此，时刻t-1表示比时刻t晚与图像信号的1帧(一张图片)对应的单位时间的时刻，后文所述的时刻t+1表示比时刻t早上述单位时间的时刻。此外，超分辨率预测图像是指实施超分辨率处理后的预测图像或相当于该预测图像的图像。
运动补偿处理部409参照从运动检测部407输入的时刻t的运动矢量和从超分辨率图像缓冲部413输入的时刻t-1的超分辨率图像，生成时刻t的超分辨率预测图像，并输出至超分辨率处理部411。
超分辨率处理部411参照从运动补偿处理部409输入的时刻t的超分辨率预测图像对从图像缓冲部403输入的时刻t的图像实施超分辨率处理，输出时刻t的超分辨率图像。换言之，超分辨率处理部411参照从图像缓冲部403输入的上述时刻t的图像和上述超分辨率预测图像来输出上述超分辨率图像。
需要说明的是，如图8所示，超分辨率处理部411在进行超分辨率处理的情况下可以适当参照补充增进信息(supplementalenhancementinformation)。此外，超分辨率处理部411可以使用cnn(convolutionalneuralnetwork：卷积神经网络)或gan(generativeadversarialnetwork：生成对抗网络)等来学习。
在此，补充增进信息是指可以供图像缓冲部403、超分辨率处理部411以及预测图像生成部405中的任一个参照的信息且规定了参照方的处理的信息。
图像缓冲部403例如如后文所述那样，可以参照补充增进信息来确定储存的图像的顺序。此外，超分辨率处理部411例如可以参照补充增进信息来确定超分辨率处理后的图像的分辨率。此外，预测图像生成部405可以参照补充增进信息来确定是否生成预测图像。需要说明的是，不使用预测图像比较好的情况是指在图像信号所示的一系列图像中，突然切换场景，在前后图像之间没有相似性的情况等。需要说明的是，图8以及后文所述的图9等举例示出了超分辨率处理部411参照补充增进信息的方案。
例如，补充增进信息是作为在超分辨率处理部411中用于谋求画质提高的信息，将对象图片单位、对象图片分割成块时的以块为单位的超分辨率处理的参数。假如存在进行超分辨率处理的低分辨率的图像在缩小前(原始的高分辨率)的图像，则能以例如均方误差这样的信号处理性基准来选择像接近高分辨率的图像那样的超分辨率处理的参数。关于接近高分辨率的图像的基准可以使用主观的要素例如像强调更边缘那样的基准。或者，能取编码前的图像与编码、解码后的图像之间的差分，以复原因编码而丢失的信息的方向生成超分辨率处理的参数。通过将这种超分辨率处理的参数作为补充增进信息，能在超分辨率处理部411中谋求画质提高。此外，假如存在低分辨率的图像的编码前的原始图像和编码/解码处理后的图像，则通过将考虑了由编码产生的误差与进行超分辨率处理的低分辨率的图像的缩小前的原始高分辨率的图像之间的误差双方的参数作为补充增进信息，即使在进入了编码处理的情况下也能谋求画质提高。
需要说明的是，补充增进信息可以构成为由运动图像变换装置401与图像信号分开地输入，也可以构成为包括在图像信号的一部分中。
超分辨率图像缓冲部413储存从超分辨率处理部411输入的多个超分辨率图像。此外，储存在超分辨率图像缓冲部413中的多个超分辨率图像中的时刻t-1的超分辨率图像被输入运动补偿处理部409。而且，作为超分辨率处理部411的输出的时刻t的超分辨率图像也是运动图像变换装置401的输出，例如为再现的对象。
如上所述，本示例的运动图像变换装置401具备：图像缓冲部403，储存多个图像；预测图像生成部405，参照储存于超分辨率图像缓冲部413的超分辨率图像，根据从图像缓冲部403输入的图像生成预测图像；以及超分辨率处理部411，参照预测图像，对从图像缓冲部403输入的图像实施超分辨率处理。根据上述构成，能实现参照实施超分辨率处理后的适当的图像能生成预测图像的运动图像变换装置401。
此外，也可以说，通过本示例的运动图像变换装置401执行的运动图像变换方法包括以下步骤：缓冲步骤，储存多个图像；预测图像生成步骤，参照储存于超分辨率图像缓冲部413的超分辨率图像，根据在所述缓冲步骤中储存的图像生成预测图像；以及超分辨率处理步骤，参照预测图像，对从图像缓冲部403输入的图像实施超分辨率处理。根据上述方法，能参照实施超分辨率处理后的适当的图像来生成预测图像。
(运动图像变换装置的构成例2)
对运动图像变换装置的第二构成例进行说明。在本示例中，对在预测图像生成部405生成超分辨率预测图像的情况下，进一步参照图像的构成进行说明。需要说明的是，为了方便说明，不再对已经在上述示例中进行说明过的事项进行重复描述。此外，在以下示例中也相同。
图9是本示例的运动图像变换装置401a的功能框图。如图9所示，运动图像变换装置401a是在图8中示出的构成的基础上还具备上采样部415的构成。
上采样部415通过对输入后的图像进行上采样，输出分辨率比该上采样之前高的图像。在图9中示出的构成中，上采样部415对从图像缓冲部403输入的时刻t+1的低分辨率图像进行上采样，并输出至运动补偿处理部409。
这示出了本示例的运动补偿处理部409在时刻t的运动矢量和时刻t-1的超分辨率图像的基础上进一步参照时刻t+1的上采样后的图像，生成时刻t的超分辨率预测图像。
由此，即使在时刻t-1的超分辨率图像与时刻t+1的上采样后的上述图像中任一方存在遮挡的问题，运动补偿处理部409也能参照另一方的图像，生成适当的超分辨率预测图像。
此外，图10是表示由本示例的运动图像变换装置401a进行的处理的概念图。在图10中图示出了时刻t-1、t、t+1的低分辨率图像按顺序被输入运动检测部407的处理，以及将运动补偿处理部409参照时刻t的运动矢量、时刻t-1的超分辨率图像以及时刻t+1的上采样后的图像而生成的时刻t的超分辨率图像输入至超分辨率处理部411的处理。
如上所述，本示例的运动图像变换装置401a基于图8中示出的构成还具备上采样部415，通过对从图像缓冲部403输入的图像进行上采样，输出分辨率比该上采样之前高的图像，预测图像生成部405是参照所述时刻t-1的超分辨率图像和时刻t+1的上采样后的图像来生成预测图像的构成。根据上述构成，能提高生成超分辨率预测图像的处理性能。
(运动图像变换装置的构成例3)
对运动图像变换装置的第三构成例进行说明。在本示例中，对运动图像变换装置变更储存于图像缓冲部403的图像的顺序的构成进行说明。
图11是本示例的运动图像变换装置401b的功能框图。如图11所示，运动图像变换装置401b在图8中示出的构成的基础上，具备帧顺序变更部(第一顺序变更部)417和帧逆序变更部(第二帧顺序变更部)419。
帧顺序变更部417将低分辨率图像的时序的顺序变更为指定的顺序。在图11中示出的构成中，帧顺序变更部417将在图像缓冲部403中储存的多个图像的顺序变更为指定的顺序。具体而言，帧顺序变更部417例如如图11所示，调换时刻t的图像与时刻t-1的图像的顺序。由此，以下，作为处理对象的图像的顺序为(t-4，t-3，t-2，t，t-1)＝(t’-4，t’-3，t’-2，t’-1，t’)。
需要说明的是，可以通过补充增进信息来规定帧顺序变更部417所变更的图像的顺序。换言之，帧顺序变更部417可以根据补充增进信息所示的内容来变更图像的时序的顺序。
帧逆序变更部419将图像信号所示的图像的时序的顺序变更为帧顺序变更部417变更顺序之前的原始顺序。在图11中示出的构成中，帧逆序变更部419将从超分辨率图像缓冲部413输入的超分辨率图像的顺序变更为上述原始顺序。
此外，在图11中示出的示例中，本示例的运动检测部407可以参照与顺序变更后的作为过去的4帧即时刻t’-4、t’-3、t’-2、t’-1对应的图像来导出时刻t’的运动矢量。
此外，本示例的运动补偿处理部409是在生成时刻t’的超分辨率预测图像的情况下，参照时刻t’的运动矢量、时刻t’-4、t’-3、t’-2以及t’-1的超分辨率图像的构成。由此，能提高生成超分辨率预测图像的处理性能。
当进行补充时，通过帧顺序变更部417来变更时序的图像的顺序，因此，在运动补偿部生成时刻t’(＝时刻t-1)的超分辨率预测图像的情况下，也能参照比时刻t’早的时刻的时刻t’-1(＝时刻t)的超分辨率图像。因此，即使在比时刻t’晚的时刻的图像与比时刻t’早的时刻的图像中任一方存在遮挡的问题，也能参照另一方的图像来生成适当的超分辨率预测图像。此外，在本示例的构成中，被输入至图像缓冲部403的图像所允许的迟延大于“运动图像变换装置的构成例2”的运动图像变换装置401a。
如上所述，本示例的运动图像变换装置401b是基于图8中示出的构成还具备如下的构成：帧顺序变更部417，将在图像缓冲部403中储存的多个图像且输入至超分辨率处理部411输入的图像的顺序变更为指定的顺序；以及帧逆序变更部419，将超分辨率处理部411输出的超分辨率图像的顺序变更为帧顺序变更部417变更顺序之前的顺序。根据上述构成，实现例如容易避免在生成预测图像的情况下的遮挡的问题的效果。
(运动图像变换装置的构成例4)
对运动图像变换装置的第四构成例进行说明。在本示例中，对将解码装置解码后的图像输入图像缓冲部403的构成进行说明。
图12是本示例的运动图像变换装置401c的功能框图。如图12所示，本示例的运动图像变换装置401c具备解码部(解码装置)421、补充增进信息解码部425以及多个帧超分辨率处理部427。
解码部421是具有与运动图像解码装置31同等的功能的解码装置。不过，在图12的示例中，构成被简略化，采用解码图像从参照图片存储器306输出至解码部421的外部的构成。此外，预测部423进行与预测图像的生成有关的处理。
补充增进信息解码部425对编码后的补充增进信息进行解码。需要说明的是，作为另一方案，编码后的补充增进信息可以构成为供解码部421进行解码，补充增进信息编码数据也可以构成为包括在编码流中。
此外，补充增进信息可以是规定参照方的处理的信息且供多个帧超分辨率处理部427所具备的图像缓冲部403、超分辨率处理部411以及预测图像生成部405中任一个参照的信息。
多个帧超分辨率处理部427是简化示出图8(或图9或图11)中示出的运动图像变换装置401(或者401a或401b)而得到的，具有与运动图像变换装置401等同等的功能，具备图像缓冲部403等。
从上述构成的另一方面而言，本示例的运动图像变换装置401c可以说是如下构成：基于图8等中示出的构成还具备对图像的编码流进行解码的解码部421，将解码部421解码后的图像作为针对多个帧超分辨率处理部427所具备图像缓冲部403的输入图像。根据上述构成，能实现将编码流作为处理对象的运动图像变换装置401c。
此外，本示例的运动图像变换装置401c是如下构成：基于图8等中示出的构成还具备补充增进信息解码部425，对图像缓冲部403、超分辨率处理部411以及预测图像生成部405中至少任一个所参照的补充增进信息且规定了参照方的处理的补充增进信息进行解码。根据上述构成，能实现能对编码后的补充增进信息进行解码而参照的运动图像变换装置401c。
需要说明的是，作为本示例的另一方案，解码部(解码装置)421以及补充增进信息解码部425可以是作为外部的装置来实现的构成，而不是运动图像变换装置401c所具备的。此外，解码部421所具备的参照图片存储器306与多个帧超分辨率处理部427所具备的图像缓冲部403可以是通用的单个存储器。
(运动图像变换装置的构成例5)
对运动图像变换装置的第五构成例进行说明。在本示例中，对运动图像变换装置根据补充增进信息来切换针对解码后的图像的处理的构成进行说明。
图13是本示例的运动图像变换装置401d的功能框图。如图13所示，本示例的运动图像变换装置401d基于图12所示的构成还具备切换部429、帧内超分辨率处理部431以及上采样部433。
切换部429参照补充增进信息将从解码部421输出的解码图像的输出目的地切换成多个帧超分辨率处理部427、帧内超分辨率处理部431以及上采样部433中任一个。即，在本示例中，补充增进信息是指规定切换部429的处理的信息。帧内超分辨率处理部431参照作为处理对象的图像本身，对该图像实施超分辨率处理。上采样部433通过对输入后的图像进行上采样，输出分辨率比该上采样之前高的图像。
需要说明的是，切换的单位可以以被称为gop(groupofpicture：图片组)的可接入的多个图片为单位、或以一张图片为单位、或以分割一张图片而得到的块为单位。
从上述构成的另一方面而言，本示例的运动图像变换装置401d可以说是如下构成：基于图12等中示出的构成还具备对图像的编码流进行解码的解码部421、切换解码部421解码后的图像的输出目的地的切换部429以及对规定切换部429的处理的补充增进信息进行解码的补充增进信息解码部425等，切换部429参照所述补充增进信息进行切换的所述解码后的图像的输出目的地之一是多个帧超分辨率处理部427所具备的图像缓冲部403。根据上述构成，能实现将编码流作为处理对象，根据需要能输出实施超分辨率处理后的图像的运动图像变换装置401d。
(运动图像编码装置的构成)
接着，对本实施方式的运动图像编码装置11的构成进行说明。图14是表示本实施方式的运动图像编码装置11的构成的框图。运动图像编码装置11构成为包括：预测图像生成部101、减法部102、变换/量化部103、逆量化/逆变换部105、加法部106、环路滤波器107、预测参数存储器(预测参数存储部、帧存储器)108、参照图片存储器(参照图像存储部、帧存储器)109、编码参数确定部110、参数编码部111、预测参数导出部120以及熵编码部104。
预测图像生成部101按每个cu每生成预测图像。预测图像生成部101包括已经说明的帧间预测图像生成部309和帧内预测图像生成部310，并省略其说明。
减法部102从图像t的像素值中减去从预测图像生成部101输入的块的预测图像的像素值，生成预测误差。减法部102将预测误差输出至变换/量化部103。
变换/量化部103对从减法部102输入的预测误差，通过频率变换计算出变换系数，并通过量化导出量化变换系数。变换/量化部103将量化变换系数输出至参数编码部111和逆量化/逆变换部105。
逆量化/逆变换部105与运动图像解码装置31中的逆量化/逆变换部311(图6)相同，在此省略其说明。计算出的预测误差输入至加法部106。
参数编码部111具备报头编码部1110、ct信息编码部1111、cu编码部1112(预测模式编码部)。cu编码部1112还具备tu编码部1114。以下，对各模块的概略动作进行说明。
报头编码部1110进行报头信息、分割信息、预测信息、量化变换系数等参数的编码处理。
ct信息编码部1111对qt、mt(bt、tt)分割信息等进行编码。
cu编码部1112对cu信息、预测信息、分割信息等进行编码。
tu编码部1114在tu中包括预测误差的情况下，对qp更新信息和量化预测误差进行编码。
ct信息编码部1111、cu编码部1112将帧间预测参数(predmode、merge_flag、merge_idx、inter_pred_idc、refidxlx、mvp_lx_idx、mvdlx)、帧内预测参数(intra_luma_mpm_flag、intra_luma_mpm_idx、intra_luma_mpm_reminder、intra_chroma_pred_mode)、量化变换系数等语法要素提供至参数编码部111。
熵编码部104被从参数编码部111输入量化变换系数和编码参数(分割信息、预测参数)。熵编码部104对它们进行熵编码，生成并输出编码流te。
预测参数导出部120是包括帧间预测参数编码部112、帧内预测参数编码部113的单元，根据从编码参数确定部110输入的参数导出帧内预测参数和帧内预测参数。导出的帧内预测参数和帧内预测参数输入至参数编码部111。
加法部106将从预测图像生成部101输入的预测块的像素值和从逆量化/逆变换部105输入的预测误差按每个像素相加来生成解码图像。加法部106将生成的解码图像存储于参照图片存储器109。
环路滤波器107对加法部106所生成的解码图像，实施去块滤波、sao、alf。需要说明的是，环路滤波器107不一定包括上述三种滤波器，例如也可以是仅包括去块滤波器的构成。
预测参数存储器108将编码参数确定部110所生成的预测参数按每个对象图片和cu存储于预定的位置。
参照图片存储器109将环路滤波器107所生成的解码图像按每个对象图片和cu每存储于预定的位置。
编码参数确定部110选择编码参数的多个集合中的一个集合。编码参数是指上述的qt、bt或tt分割信息、预测参数或与它们关联生成的作为编码对象的参数。预测图像生成部101使用这些编码参数来生成预测图像。
编码参数确定部110对多个集合的每一个集合计算出表示信息量的大小和编码误差的rd成本值。rd成本值例如是编码量与平方误差乘以系数λ而得到的值之和。编码量是对量化误差和编码参数进行熵编码而得到的编码流te的信息量。平方误差是在减法部102中计算出的预测误差的平方和。系数λ是大于预先设定的零的实数。编码参数确定部110选择计算出的成本值为最小的编码参数的集合。编码参数确定部110将所确定的编码参数输出至参数编码部111和预测参数导出部120。
(编码数据生成装置的构成例1)
以下，对本实施方式的编码数据生成装置进行说明。编码数据生成装置是分别输出图像的编码流和补充增进信息编码数据的装置。在本示例中，对与在“运动图像变换装置的构成例4”中所述的运动图像变换装置401c等成对使用的编码数据生成装置451c进行说明。
图15是本示例的编码数据生成装置451c的功能框图。如图15所示，本示例的编码数据生成装置451c具备图像缩小部(下采样部)453、编码部(编码装置)455以及补充增进信息编码部461。
图像缩小部453通过对输入后的图像进行下采样，输出分辨率比该下采样之前低的图像。
编码部455是具有与编码装置11同等的功能的编码装置。不过，在图15的示例中，其构成被简化。
补充增进信息编码部461对规定运动图像变换装置的处理的补充增进信息进行编码。本示例的补充增进信息编码部461将从图像缩小部453输入的信息且表示图像的缩小率的信息作为补充增进信息来进行编码。从另一方面而言，图像缩小部453也可以说是作为生成表示图像的缩小率的补充增进信息的补充增进信息生成部来发挥功能。需要说明的是，也可以是在例如运动图像变换装置401c所具备的超分辨率处理部411确定所输出的超分辨率图像的分辨率的情况下参照该信息。
本示例的编码数据生成装置451c具备生成被运动图像变换装置401c(或者401、401a或401b)参照的补充增进信息的补充增进信息生成部(在上述的示例中为图像缩小部453)。该补充增进信息也可以是供图像缓冲部403、超分辨率处理部411以及预测图像生成部405中至少任一个参照的补充增进信息。根据上述构成，能实现与运动图像变换装置401c等成对使用的编码数据生成装置451c。
需要说明的是，也可以是编码后的补充增进信息包括在图像的编码流中的构成。在上述构成的情况下，例如可以是熵编码部104合成补充增进信息编码数据和编码流的构成，也可以是熵编码部104作为补充增进信息编码部461发挥功能的构成。
(编码数据生成装置的构成例2)
对编码数据生成装置的第二构成例进行说明。在本示例中，对与在“运动图像变换装置的构成例5”中所述的运动图像变换装置401d成对使用的编码数据生成装置451d进行说明。需要说明的是，为了方便说明，不再对已经在上述实例中进行说明的事项进行重复描述。
图16是本示例的编码数据生成装置451d的功能框图。如图16所示，本示例的编码数据生成装置451d具备编码部(编码装置)455、图像缩小部453、补充增进信息生成部459以及补充增进信息编码部461。
补充增进信息生成部459可以参照向编码数据生成装置451d的输入图像和储存于参照图片存储器109的解码图像，生成补充增进信息。在本示例中，补充增进信息也可以是指运动图像变换装置401d的切换部429在切换解码图像的输出目的地的情况下所参照的信息。补充增进信息生成部459所生成的补充增进信息被输入补充增进信息编码部461并进行编码。
根据上述构成，能实现与运动图像变换装置401d成对使用的编码数据生成装置451d。
(编码数据生成装置的构成例3)
对编码数据生成装置的第三构成例进行说明。在本示例中，对与在“运动图像变换装置的构成例4”中所述的运动图像变换装置401c或者在图17中示出的运动图像变换装置401e成对使用的编码数据生成装置451e进行说明。运动图像变换装置401e是代替运动图像变换装置401c中的多个帧超分辨率处理部427而具备帧内超分辨率处理部431的构成。帧内超分辨率处理部431参照作为处理对象的图像本身，对该图像实施超分辨率处理。需要说明的是，为了方便说明，不再对已经在上述实例中进行说明的事项进行重复描述。
图18是本示例的编码数据生成装置451e的功能框图。如图18所示，本示例的编码数据生成装置451e具备编码部(编码装置)455、图像缩小部453、补充增进信息生成部459以及补充增进信息编码部461。
补充增进信息生成部459针对作为向编码数据生成装置451e的输入的高分辨率图像信号，根据以频率特性为基础的复杂度信息生成补充增进信息。复杂度信息可以通过图像分布、边缘提取而导出。补充增进信息生成部459也可以对储存于参照图片存储器109的解码图像同样进行复杂度信息的导出，通过与复杂度信息进行比较生成补充增进信息。补充增进信息生成部459可以以像素为单位生成补充增进信息，也可以为了抑制补充增进信息的信息量以块为单位生成补充增进信息。补充增进信息生成部459为了抑制补充增进信息的信息量可以进行量化处理。补充增进信息生成部459所生成的补充增进信息被输入补充增进信息编码部461并进行编码。
需要说明的是，可以通过计算机实现上述的实施方式中的运动图像编码装置11、运动图像解码装置31的一部分，例如，熵解码部301、参数解码部302、环路滤波器305、预测图像生成部308、逆量化/逆变换部311、加法部312、预测参数导出部320、预测图像生成部101、减法部102、变换/量化部103、熵编码部104、逆量化/逆变换部105、环路滤波器107、编码参数确定部110以及预测参数编码部111。在该情况下，可以通过将用于实现该控制功能的程序记录于计算机可读记录介质，使计算机系统读入记录于该记录介质的程序并执行来实现。需要说明的是，在此提到的“计算机系统”是指内置于运动图像编码装置11、运动图像解码装置31中的任一个的计算机系统，采用包括os、外围设备等硬件的计算机系统。此外，“计算机可读记录介质”是指软盘、磁光盘、rom、cd-rom等可移动介质、内置于计算机系统的硬盘等存储装置。而且，“计算机可读记录介质”也可以包括：像经由互联网等网络或电话线路等通信线路来发送程序的情况下的通信线那样短时间内、动态地保存程序的记录介质；以及像作为该情况下的服务器、客户端的计算机系统内部的易失性存储器那样保存程序固定时间的记录介质。此外，上述程序可以是用于实现上述功能的一部分的程序，也可以是能通过与已记录在计算机系统中的程序进行组合来实现上述功能的程序。
此外，也可以将上述的实施方式中的运动图像编码装置11、运动图像解码装置31中的一部分或全部作为lsi(largescaleintegration：大规模集成电路)等集成电路而实现。运动图像编码装置11、运动图像解码装置31的各功能块可以单独地处理器化，也可以将一部分或全部集成来处理器化。此外，集成电路化的方法并不限于lsi，也可以通过专用电路或通用处理器来实现。此外，在随着半导体技术的进步而出现代替lsi的集成电路化的技术的情况下，也可以使用基于该技术的集成电路。
以上，参照附图对该发明的一实施方式详细地进行了说明，但具体构成并不限于上述实施方式，在不脱离该发明的主旨的范围内，可以进行各种设计变更等。
〔应用例〕
上述运动图像编码装置11和运动图像解码装置31可以搭载于进行运动图像的发送、接收、记录、再现的各种装置而利用。需要说明的是，运动图像可以是通过摄像机等拍摄的自然运动图像，也可以是通过计算机等生成的人工运动图像(包括cg和gui)。
首先，参照图2对能将上述的运动图像编码装置11和运动图像解码装置31用于运动图像的发送和接收的情况进行说明。
图2的prod_a是表示搭载有运动图像编码装置11的发送装置prod_a的构成的框图。如图2所示，发送装置prod_a具备：通过对运动图像进行编码而得到编码数据的编码部prod_a1、通过利用编码部prod_a1所得到的编码数据对载波进行调制而得到调制信号的调制部prod_a2以及发送调制部prod_a2所得到的调制信号的发送部prod_a3。上述的运动图像编码装置11被用作该编码部prod_a1。
作为输入至编码部prod_a1的运动图像的供给源，发送装置prod_a也可以进一步具备：拍摄运动图像的摄像机prod_a4、记录有运动图像的记录介质prod_a5、用于从外部输入运动图像的输入端子prod_a6以及生成或加工图像的图像处理部a7。在图2中举例示出了发送装置prod_a具备全部这些的构成，但也可以省略一部分。
需要说明的是，记录介质prod_a5可以是记录有未被编码的运动图像的介质，也可以是记录有以与传输用的编码方式不同的记录用的编码方式进行编码后的运动图像的介质。在后者的情况下，使按照记录用的编码方式对从记录介质prod_a5读出的编码数据进行解码的解码部(未图示)介于记录介质prod_a5与编码部prod_a1之间为好。
图2的prod_b是表示搭载有运动图像解码装置31的接收装置prod_b的构成的框图。如图2所示，接收装置prod_b具备：接收调制信号的接收部prod_b1、通过对接收部prod_b1所接收到的调制信号进行解调而得到编码数据的解调部prod_b2以及通过对解调部prod_b2所得到的编码数据进行解码而得到运动图像的解码部prod_b3。上述的运动图像解码装置31被用作该解码部prod_b3。
接收装置prod_b作为解码部prod_b3输出的运动图像的供给目的地，也可以进一步具备显示运动图像的显示器prod_b4、用于记录运动图像的记录介质prod_b5以及用于将运动图像输出至外部的输出端子prod_b6。在图2中举例示出了接收装置prod_b具备全部这些的构成，但也可以省略一部分。
需要说明的是，记录介质prod_b5可以是用于记录未被编码的运动图像的介质，也可以是以与传输用的编码方式不同的记录用的编码方式编码后的介质。在后者的情况下，使按照记录用的编码方式对从解码部prod_b3获取到的运动图像进行编码的编码部(未图示)介于解码部prod_b3与记录介质prod_b5之间为好。
需要说明的是，传输调制信号的传输介质可以是无线的，也可以是有线的。此外，传输调制信号的传输方案可以是广播(在此，指发送目的地未预先确定的发送方案)，也可以是通信(在此，指发送目的地已预先确定的发送方案)。即，调制信号的传输可以通过无线广播、有线广播、无线通信以及有线通信的任一个来实现。
例如，地面数字广播的广播站(广播设备等)/接收站(电视接收机等)是通过无线广播收发调制信号的发送装置prod_a/接收装置prod_b的一个示例。此外，有线电视广播的广播站(广播设备等)/接收站(电视接收机等)是通过有线广播收发调制信号的发送装置prod_a/接收装置prod_b的一个示例。
此外，使用互联网的vod(videoondemand：视频点播)服务、运动图像共享服务等服务器(工作站等)/客户端(电视接收机、个人计算机、智能手机等)是通过通信收发调制信号的发送装置prod_a/接收装置prod_b的一个示例(通常，在lan中使用无线或有线的任一个作为传输介质，在wan中使用有线作为传输介质)。在此，个人计算机包括台式pc、膝上型pc以及平板型pc。此外，智能手机中也包括多功能便携电话终端。
需要说明的是，运动图像共享服务的客户端除了对从服务器下载的编码数据进行解码并显示于显示器的功能以外，还具有对通过摄像机拍摄到的运动图像进行编码并上传至服务器的功能。即，运动图像共享服务的客户端发挥发送装置prod_a和接收装置prod_b这两方的功能。
接着，参照图3，对能将上述的运动图像编码装置11和运动图像解码装置31用于运动图像的记录和再现的情况进行说明。
图3的prod_c是表示搭载有上述的运动图像编码装置11的记录装置prod_c的构成的框图。如图3所示，记录装置prod_c具备：通过对运动图像进行编码而得到编码数据的编码部prod_c1和将编码部prod_c1所得到的编码数据写入记录介质prod_m的写入部prod_c2。上述的运动图像编码装置11被用作该编码部prod_c1。
需要说明的是，记录介质prod_m可以是(1)如hdd(harddiskdrive：硬盘驱动器)、ssd(solidstatedrive：固态硬盘)等那样内置于记录装置prod_c的类型的记录介质，也可以是(2)如sd存储卡、usb(universalserialbus：通用串行总线)闪存等那样连接于记录装置prod_c的类型的记录介质，还可以是(3)如dvd(digitalversatiledisc：数字通用光盘、注册商标)、bd(blu-raydisc：蓝光光盘、注册商标)等那样装填至内置于记录装置prod_c的驱动装置(未图示)的记录介质。
此外，作为输入至编码部prod_c1的运动图像的供给源，记录装置prod_c也可以进一步具备：拍摄运动图像的摄像机prod_c3、用于从外部输入运动图像的输入端子prod_c4、用于接收运动图像的接收部prod_c5以及生成或加工图像的图像处理部prod_c6。在图3中举例示出了记录装置prod_c具备全部这些的构成，但也可以省略一部分。
需要说明的是，接收部prod_c5可以接收未被编码的运动图像，也可以接收以与记录用的编码方式不同的传输用的编码方式编码后的编码数据。在后者的情况下，使对以传输用的编码方式编码后的编码数据进行解码的传输用解码部(未图示)介于接收部prod_c5与编码部prod_c1之间为好。
作为这种记录装置prod_c，例如可举出：dvd记录器、bd记录器、hdd(harddiskdrive)记录器等(在该情况下，输入端子prod_c4或接收部prod_c5为运动图像的主要的供给源)。此外，便携式摄像机(在该情况下，摄像机prod_c3为运动图像的主要的供给源)、个人计算机(在该情况下，接收部prod_c5或图像处理部c6为运动图像的主要的供给源)、智能手机(在该情况下，摄像机prod_c3或接收部prod_c5为运动图像的主要的供给源)等也是这种记录装置prod_c的一个示例。
图3的prod_d是表示搭载有上述的运动图像解码装置31的再现装置prod_d的构成的框图。如图3所示，再现装置prod_d具备：读出已写入记录介质prod_m的编码数据的读出部prod_d1和通过对读出部prod_d1所读出的编码数据进行解码而得到运动图像的解码部prod_d2。上述的运动图像解码装置31被用作该解码部prod_d2。
需要说明的是，记录介质prod_m可以是(1)如hdd、ssd等那样内置于再现装置prod_d的类型的记录介质，也可以是(2)如sd存储卡、usb闪存等那样连接于再现装置prod_d的类型的记录介质，也可以是(3)如dvd、bd等那样装填至内置于再现装置prod_d的驱动装置(未图示)的记录介质。
此外，作为解码部prod_d2所输出的运动图像的供给目的地，再现装置prod_d也可以进一步具备：显示运动图像的显示器prod_d3、用于将运动图像输出至外部的输出端子prod_d4以及发送运动图像的发送部prod_d5。在图3中举例示出了再现装置prod_d具备全部这些的构成，但也可以省略一部分。
需要说明的是，发送部prod_d5可以发送未被编码的运动图像，也可以发送以与记录用的编码方式不同的传输用的编码方式编码后的编码数据。在后者的情况下，使以传输用的编码方式对运动图像进行编码的编码部(未图示)介于解码部prod_d2与发送部prod_d5之间为好。
作为这种再现装置prod_d，例如可列举出dvd播放器、bd播放器、hdd播放器等(在该情况下，连接有电视接收机等的输出端子prod_d4为运动图像的主要供给目的地)。此外，电视接收机(在该情况下，显示器prod_d3为运动图像的主要供给目的地)、数字标牌(也称为电子看板、电子公告板等，显示器prod_d3或发送部prod_d5为运动图像的主要供给目的地)、台式pc(在该情况下，输出端子prod_d4或发送部prod_d5为运动图像的主要供给目的地)、膝上型或平板型pc(在该情况下，显示器prod_d3或发送部prod_d5为运动图像的主要供给目的地)、智能手机(在该情况下，显示器prod_d3或发送部prod_d5为运动图像的主要供给目的地)等也是这种再现装置prod_d的一个示例。
(硬件实现以及软件实现)
此外，上述的运动图像解码装置31和运动图像编码装置11的各块可以通过形成于集成电路(ic芯片)上的逻辑电路而以硬件方式实现，也可以利用cpu(centralprocessingunit：中央处理器)而以软件方式地实现。
在后者的情况下，上述各装置具备：执行实现各功能的程序的命令的cpu、储存上述程序的rom(readonlymemory：只读存储器)、展开上述程序的ram(randomaccessmemory：随机存取存储器)以及储存上述程序和各种数据的存储器等存储装置(记录介质)等。然后，本发明的实施方案的目的在于通过以下方式也能达到：将以计算机可读取的方式记录实现前述功能的软件即上述各装置的控制程序的程序代码(执行形式程序、中间代码程序、源程序)的记录介质供给至上述各装置，该计算机(或cpu、mpu)读出记录于记录介质的程序代码并执行。
作为上述记录介质，例如能使用：磁带、盒式磁带等带类；包括软盘(注册商标)/硬盘等磁盘、cd-rom(compactdiscread-onlymemory：光盘只读存储器)/mo盘(magneto-opticaldisc：磁光盘)/md(minidisc：迷你磁光盘)/dvd(digitalversatiledisc：数字通用光盘，注册商标)/cd-r(cdrecordable：光盘刻录片)/蓝光光盘(blu-raydisc：注册商标)等光盘的盘类；ic卡(包括存储卡)/光卡等卡类；掩模rom/eprom(erasableprogrammableread-onlymemory：可擦可编程只读存储器)/eeprom(electricallyerasableandprogrammableread-onlymemory：电可擦可编程只读存储器)/闪存rom等半导体存储器类；或者pld(programmable1ogicdevice：可编程逻辑器件)、fpga(fieldprogrammablegatearray：现场可编程门阵列)等逻辑电路类等。
此外，也可以将上述各装置构成为能与通信网络连接，并经由通信网络供给上述程序代码。该通信网络能传输程序代码即可，不被特别限定。例如，可利用互联网、内联网(intranet)、外联网(extranet)、lan(localareanetwork：局域网)、isdn(integratedservicesdigitalnetwork：综合业务数字网)、van(value-addednetwork：增值网络)、catv(communityantennatelevision/cabletelevision：共用天线电视/有线电视)通信网、虚拟专用网(virtualprivatenetwork)、电话线路网、移动通信网、卫星通信网等。此外，构成该通信网络的传输介质也是为能传输程序代码的介质即可，不限定于特定的构成或种类。例如，无论在ieee(instituteofelectricalandelectronicengineers：电气和电子工程师协会)1394、usb、电力线输送、有线tv线路、电话线、adsl(asymmetricdigitalsubscriberline：非对称数字用户线路)线路等有线中，还是在如irda(infrareddataassociation：红外线数据协会)、遥控器那样的红外线、bluetooth(注册商标)、ieee802.11无线、hdr(highdatarate：高数据速率)、nfc(nearfieldcommunication：近场通讯)、dlna(digitallivingnetworkalliance：数字生活网络联盟，注册商标)、便携电话网、卫星线路、地面数字广播网等无线中都可利用。需要说明的是，本发明的实施方式即使以通过电子传输来将上述程序代码具体化的嵌入载波的计算机数据信号的形态也能够实现。
本发明的实施方式并不限定于上述的实施方式，能在权利要求所示的范围内进行各种变更。即，将在权利要求所示的范围内经过适当变更的技术方案组合而得到的实施方式也包括在本发明的技术范围内。
工业上的可利用性
本发明的实施方式能优选地应用于对将图像数据编码而得到的编码数据进行解码的运动图像解码装置，以及生成将图像数据编码而得到的编码数据的运动图像编码装置。此外，能优选地应用于由运动图像编码装置生成并被运动图像解码装置参照的编码数据的数据结构。
附图标记说明
31图像解码装置
301熵解码部
302参数解码部
303帧间预测参数导出部
304帧内预测参数导出部
305、107环路滤波器
306、109参照图片存储器
307、108预测参数存储器
308、101、405预测图像生成部
309帧间预测图像生成部
310帧内预测图像生成部
311、105逆量化/逆变换部
312、106加法部
320预测参数导出部
401、401a、401b、401c、401d运动图像变换装置
403图像缓冲部
407检测部
409补偿处理部
411超分辨率处理部
413超分辨率图像缓冲部
415、433上采样部
417帧顺序变更部
419帧逆序变更部
421解码部
423预测部
425补充增进信息解码部
427多个帧超分辨率处理部
429切换部
431帧内超分辨率处理部
451c、451d编码数据生成装置
453图像缩小部(下采样部、补充增进信息生成部)
455编码部
459补充增进信息生成部
461补充增进信息编码部
11图像编码装置
102减法部
103变换/量化部
104熵编码部
110编码参数确定部
111参数编码部
112帧间预测参数编码部
113帧内预测参数编码部
120预测参数导出部
1.一种运动图像变换装置，其特征在于，具备：
图像缓冲部，储存多个图像；
超分辨率处理部，通过对从所述图像缓冲部输入的图像实施超分辨率处理，输出超分辨率图像；以及
预测图像生成部，参照所述超分辨率处理部输出的超分辨率图像来生成预测图像。
2.根据权利要求1所述的运动图像变换装置，其特征在于，
还具备上采样部，通过对从所述图像缓冲部输入的图像实施上采样处理，输出分辨率比该上采样处理前高的图像，
所述预测图像生成部参照所述超分辨率图像和由所述上采样部实施上采样处理后的图像来生成预测图像。
3.根据权利要求1所述的运动图像变换装置，其特征在于，还具备：
第一帧顺序变更部，将储存于所述图像缓冲部的多个图像且输入到超分辨率处理部的多个图像的顺序变更为指定的顺序；
第二帧顺序变更部，将所述超分辨率处理部输出的多个超分辨率图像的顺序变更为在所述第一帧顺序变更部变更顺序之前的顺序。
4.根据权利要求1至3中任一项所述的运动图像变换装置，其特征在于，
还具备对表示图像的编码流进行解码的解码部，
将所述解码部解码后的图像设为针对所述图像缓冲部的输入图像。
5.根据权利要求4所述的运动图像变换装置，其特征在于，
还具备补充增进信息解码部，对所述图像缓冲部、所述超分辨率处理部以及所述预测图像生成部中至少任一个所参照的补充增进信息且规定了参照方的处理的补充增进信息进行解码。
6.根据权利要求4所述的运动图像变换装置，其特征在于，
还具备：
切换部，切换所述解码部解码后的图像的输出目的地；以及
补充增进信息解码部，对规定了所述切换部的处理的补充增进信息进行解码，
所述切换部参照所述补充增进信息而切换的所述解码后的图像的输出目的地之一是所述图像缓冲部。
7.一种编码数据生成装置，其特征在于，
具备补充增进信息生成部，生成被运动图像变换装置参照的补充增进信息，
所述运动图像变换装置具备：图像缓冲部，储存多个图像；超分辨率处理部，通过对从所述图像缓冲部输入的图像实施超分辨率处理，输出超分辨率图像；以及预测图像生成部，参照所述超分辨率处理部输出的超分辨率图像来生成预测图像，
所述补充增进信息是所述图像缓冲部、所述超分辨率处理部以及所述预测图像生成部中至少任一个所参照的补充增进信息。
8.一种编码数据生成装置，其特征在于，
具备补充增进信息生成部，生成被运动图像变换装置参照的补充增进信息，
所述运动图像变换装置具备：图像缓冲部，储存多个图像；超分辨率处理部，通过对从所述图像缓冲部输入的图像实施超分辨率处理，输出超分辨率图像；预测图像生成部，参照所述超分辨率处理部输出的超分辨率图像来生成预测图像；解码部，对表示图像的编码流进行解码；切换部，切换所述解码部解码后的图像的输出目的地；以及补充增进信息解码部，对规定了所述切换部的处理的补充增进信息进行解码，
所述切换部参照所述补充增进信息而切换的所述解码后的图像的输出目的地之一是所述图像缓冲部。
9.一种运动图像变换方法，其特征在于，包括以下步骤：
缓冲步骤，储存多个图像；
超分辨率处理步骤，通过对在所述缓冲步骤中储存的图像实施超分辨率处理，输出超分辨率图像；以及
预测图像生成步骤，参照在所述超分辨率处理步骤中输出的超分辨率图像来生成预测图像。
技术总结