本发明涉及影视特效,具体而言,涉及一种特效视频生成方法、装置、计算机设备及存储介质。
背景技术:
1、随着网络社交的普及,视频逐渐成为一种常用的信息记录载体以及网络社交媒介。现有技术中,用户通常通过手机、相机等设备对当前时刻正在发生的事情进行录制,将录制得到的视频进行长久存储,或者是将录制的视频进行上传到网络或者发给朋友。通常情况下录制得到的视频为纪实性的视频,即记录了在录制视频的时候正在发生的环境事件和行为事件的视频。
2、但是在研究中发现,由于通过上述方法得到的视频仅能够记载录制视频时的事件信息(环境事件和行为事件),而如果用户想要获得包含其他环境事件或者其他行为事件的视频,就需要到其他环境事件的发生地进行视频采集,或者耗费一定时间等到环境事件触发后再进行视频采集,同时主动制造其他行为事件以满足视频录制的需求,得到满足用户需求的特效视频。而上述过程无疑极大程度的增加了获取视频过程中的用户工作量,加大了得到特效视频的难度和复杂度,增加了所需耗费的人力成本和时间成本,降低了视频制作的效率。
技术实现思路
1、有鉴于此,本发明的目的在于提供一种特效视频生成方法、装置、计算机设备及存储介质,以减少获取视频过程中的用户工作量,降低得到特效视频的难度和复杂度,同时减少所需耗费的人力成本和时间成本,提高视频制作的效率。
2、第一方面,本技术实施例提供了一种特效视频生成方法,所述方法包括:
3、获取待处理视频及特效渲染目标,其中,所述特效渲染目标包括目标渲染季节和目标渲染天气;
4、提取所述待处理视频中的若干初始视频帧,对于各初始视频帧,以人物和动物作为主体物体对该初始视频帧进行主体识别得到该初始视频帧中的各主体物体;
5、以该初始视频帧中的各主体物体作为前景,对该初始视频帧进行图像语义分割得到各主体物体在该初始视频帧中的图层蒙版,并基于所述图层蒙版将各主体物体从该初始视频帧中进行分离得到该初始视频帧的初始背景图;
6、将所述目标渲染季节的季节信息与季节贴纸库中各季节贴纸的描述信息进行相似度匹配,根据匹配结果从所述季节贴纸库中确定出目标季节贴纸,然后将所述目标季节贴纸渲染至该初始视频帧的初始背景图中得到目标背景图;
7、对于该初始视频帧中的各主体物体,对该主体物体进行表情识别,判断该主体物体的表情识别结果与所述目标渲染天气对应的常规表情是否匹配;若该主体物体的表情识别结果与所述目标渲染天气对应的常规表情不匹配,则根据所述目标渲染天气的常规表情对该主体物体进行表情重塑得到该初始视频帧的目标前景图;若该主体物体的表情识别结果与所述目标渲染天气对应的常规表情匹配,则直接将该主体物体确定为该初始视频帧的目标前景图;
8、基于该初始视频帧的目标前景图和目标背景图重新生成该初始视频帧对应的候选视频帧;
9、获取所述目标渲染天气对应的目标滤镜模式,基于所述目标滤镜模式对各候选视频帧进行滤镜处理得到目标视频帧;
10、基于各目标视频帧生成目标特效视频。
11、可选地,所述获取所述目标渲染天气对应的目标滤镜模式,包括:
12、基于历史天气数据和历史光学参数构建转换函数,其中,所述转换函数为表示天气数据和光学参数的转换关系的函数;
13、根据所述目标渲染天气的天气数据,利用所述转换函数将确定出目标光学参数;
14、基于所述目标光学参数从滤镜模式数据库中确定出所述目标滤镜模式。
15、可选地,所述将所述目标渲染季节的季节信息与季节贴纸库中各季节贴纸的描述信息进行相似度匹配,根据匹配结果从所述季节贴纸库中确定出目标季节贴纸,包括:
16、遍历所述季节贴纸库中的各季节贴纸,计算各季节贴纸的描述信息各自与所述目标渲染季节的季节信息之间的语义相似度;
17、将各季节贴纸以其与所述目标渲染季节的季节信息之间的语义相似度由高到低的顺序进行排序,将排序结果中前预设位次的季节贴纸确定为所述目标季节贴纸;
18、或者,将与所述目标渲染季节的季节信息之间的语义相似度超过预设阈值的季节贴纸确定为所述目标季节贴纸。
19、可选地,所述以人物和动物作为主体物体对该初始视频帧进行主体识别得到该初始视频帧中的各主体物体,包括:
20、将该初始视频帧输入至训练好的主体区域切割模型中得到包含各主体物体的主体区域;
21、对于各主体区域,根据该主体区域的区域边界的邻域像素值对该主体区域的区域边界进行填充,并对填充后的区域边界进行平滑处理得到该主体区域的目标边界;
22、将该初始视频帧中各目标边界包含的区域进行切割得到各主体物体。
23、第二方面,本技术实施例提供了一种特效视频生成装置,所述装置包括:
24、渲染准备模块,用于获取待处理视频及特效渲染目标,其中,所述特效渲染目标包括目标渲染季节和目标渲染天气;
25、主体物体识别模块,用于提取所述待处理视频中的若干初始视频帧,对于各初始视频帧,以人物和动物作为主体物体对该初始视频帧进行主体识别得到该初始视频帧中的各主体物体;
26、初始背景图确定模块,用于以该初始视频帧中的各主体物体作为前景,对该初始视频帧进行图像语义分割得到各主体物体在该初始视频帧中的图层蒙版,并基于所述图层蒙版将各主体物体从该初始视频帧中进行分离得到该初始视频帧的初始背景图;
27、目标背景图生成模块,用于将所述目标渲染季节的季节信息与季节贴纸库中各季节贴纸的描述信息进行相似度匹配,根据匹配结果从所述季节贴纸库中确定出目标季节贴纸,然后将所述目标季节贴纸渲染至该初始视频帧的初始背景图中得到目标背景图;
28、目标前景图生成模块,用于对于该初始视频帧中的各主体物体,对该主体物体进行表情识别,判断该主体物体的表情识别结果与所述目标渲染天气对应的常规表情是否匹配;若该主体物体的表情识别结果与所述目标渲染天气对应的常规表情不匹配,则根据所述目标渲染天气的常规表情对该主体物体进行表情重塑得到该初始视频帧的目标前景图;若该主体物体的表情识别结果与所述目标渲染天气对应的常规表情匹配,则直接将该主体物体确定为该初始视频帧的目标前景图;
29、候选视频帧生成模块,用于基于该初始视频帧的目标前景图和目标背景图重新生成该初始视频帧对应的候选视频帧;
30、目标视频帧生成模块,用于获取所述目标渲染天气对应的目标滤镜模式,基于所述目标滤镜模式对各候选视频帧进行滤镜处理得到目标视频帧;
31、目标特效视频生成模块,用于基于各目标视频帧生成目标特效视频。
32、可选地,所述获取所述目标渲染天气对应的目标滤镜模式,包括:
33、基于历史天气数据和历史光学参数构建转换函数,其中,所述转换函数为表示天气数据和光学参数的转换关系的函数;
34、根据所述目标渲染天气的天气数据,利用所述转换函数将确定出目标光学参数;
35、基于所述目标光学参数从滤镜模式数据库中确定出所述目标滤镜模式。
36、可选地,所述将所述目标渲染季节的季节信息与季节贴纸库中各季节贴纸的描述信息进行相似度匹配,根据匹配结果从所述季节贴纸库中确定出目标季节贴纸,包括:
37、遍历所述季节贴纸库中的各季节贴纸,计算各季节贴纸的描述信息各自与所述目标渲染季节的季节信息之间的语义相似度;
38、将各季节贴纸以其与所述目标渲染季节的季节信息之间的语义相似度由高到低的顺序进行排序,将排序结果中前预设位次的季节贴纸确定为所述目标季节贴纸;
39、或者,将与所述目标渲染季节的季节信息之间的语义相似度超过预设阈值的季节贴纸确定为所述目标季节贴纸。
40、可选地,所述以人物和动物作为主体物体对该初始视频帧进行主体识别得到该初始视频帧中的各主体物体,包括:
41、将该初始视频帧输入至训练好的主体区域切割模型中得到包含各主体物体的主体区域;
42、对于各主体区域,根据该主体区域的区域边界的邻域像素值对该主体区域的区域边界进行填充,并对填充后的区域边界进行平滑处理得到该主体区域的目标边界;
43、将该初始视频帧中各目标边界包含的区域进行切割得到各主体物体。
44、第三方面,本技术实施例提供了一种计算机设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面中任一种可选地实施方式中所述的特效视频生成方法的步骤。
45、第四方面,本技术实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面中任一种可选地实施方式中所述的特效视频生成方法的步骤。
46、本技术提供的技术方案包括但不限于以下有益效果:
47、首先,通过获取待处理视频及包括目标渲染季节和目标渲染天气的特效渲染目标,能够明确用户对其所期望的环境时间和行为事件的需求,以特效渲染目标为视频的制作目标生成满足用户需求的视频,即目标特效视频。
48、然后,通过提取所述待处理视频中的若干初始视频帧,对于各初始视频帧,以人物和动物作为主体物体对该初始视频帧进行主体识别得到该初始视频帧中的各主体物体;再以该初始视频帧中的各主体物体作为前景,对该初始视频帧进行图像语义分割得到各主体物体在该初始视频帧中的图层蒙版,并基于所述图层蒙版将各主体物体从该初始视频帧中进行分离得到该初始视频帧的初始背景图;通过上述步骤,能够将待处理视频中各图像帧的前景和背景进行分离,以使后续能够分别针对前景进行行为事件的特效渲染处理,针对背景进行环境事件的特效渲染处理。
49、接着,将所述目标渲染季节的季节信息与季节贴纸库中各季节贴纸的描述信息进行相似度匹配,根据匹配结果从所述季节贴纸库中确定出目标季节贴纸,然后将所述目标季节贴纸渲染至该初始视频帧的初始背景图中得到目标背景图;对于该初始视频帧中的各主体物体,对该主体物体进行表情识别,判断该主体物体的表情识别结果与所述目标渲染天气对应的常规表情是否匹配;若该主体物体的表情识别结果与所述目标渲染天气对应的常规表情不匹配,则根据所述目标渲染天气的常规表情对该主体物体进行表情重塑得到该初始视频帧的目标前景图;若该主体物体的表情识别结果与所述目标渲染天气对应的常规表情匹配,则直接将该主体物体确定为该初始视频帧的目标前景图;基于该初始视频帧的目标前景图和目标背景图重新生成该初始视频帧对应的候选视频帧;通过上述步骤,能够根据用户期望的目标渲染季节对初始视频帧中的环境事件进行特效处理,同时根据用户期望的目标渲染天气对可能发生的行为事件进行特效处理,将完成特效渲染处理后的前景图和背景图进行整合得到新的特效视频帧,能够得到满足特效渲染目标的视频帧。
50、最后,获取所述目标渲染天气对应的目标滤镜模式,基于所述目标滤镜模式对各候选视频帧进行滤镜处理得到目标视频帧;基于各目标视频帧生成目标特效视频;通过上述步骤,能够将各视频帧的图像参数调整至与目标渲染天气匹配,使得特效渲染处理后得到的各视频帧能够更加与用户期望的环境事件相适配,提高得到的标特效视频的逼真程度和自然程度。
51、采用上述方法,对初始视频进行帧拆分后对得到的各视频帧进行前景和背景的分离,然后根据用户期望的季节环境事件针对视频帧的背景进行贴图渲染,再根据用户期望的天气环境事件下的表情行为事件针对视频帧的前景进行表情调整后进行前景图与背景图的整合得到满足特效渲染目标的各候选视频帧,接着根据特效渲染目标中的天气数据对各候选视频帧进行滤镜处理后进行视频生成得到特效视频,从而能够实现在不需要受到环境事件和行为事件在实际发生的时间以及空间上的条件限制,就能够生成用户期望的环境事件和行为事件下的特效视频,从而能够减少获取视频过程中的用户工作量,降低得到特效视频的难度和复杂度,同时减少所需耗费的人力成本和时间成本,提高视频制作的效率。
52、为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
1.一种特效视频生成方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述获取所述目标渲染天气对应的目标滤镜模式,包括:
3.根据权利要求1所述的方法,其特征在于,所述将所述目标渲染季节的季节信息与季节贴纸库中各季节贴纸的描述信息进行相似度匹配,根据匹配结果从所述季节贴纸库中确定出目标季节贴纸,包括:
4.根据权利要求1所述的方法,其特征在于,所述以人物和动物作为主体物体对该初始视频帧进行主体识别得到该初始视频帧中的各主体物体,包括:
5.一种特效视频生成装置,其特征在于,所述装置包括:
6.根据权利要求5所述的装置,其特征在于,所述获取所述目标渲染天气对应的目标滤镜模式,包括:
7.根据权利要求5所述的装置,其特征在于,所述将所述目标渲染季节的季节信息与季节贴纸库中各季节贴纸的描述信息进行相似度匹配,根据匹配结果从所述季节贴纸库中确定出目标季节贴纸,包括:
8.根据权利要求5所述的装置,其特征在于,所述以人物和动物作为主体物体对该初始视频帧进行主体识别得到该初始视频帧中的各主体物体,包括:
9.一种计算机设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至4中任一所述的特效视频生成方法的步骤。
10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至4中任意一项所述的特效视频生成方法的步骤。
