本发明涉及图像处理,具体涉及一种图片处理方法及系统。
背景技术:
1、在制作广告素材图片的时候,需要根据实际需求来拍摄广告底图,再由设计师对广告底图进行编辑,从而得到最终的广告素材图片。
2、但是一方面,在拍摄广告底图时需要耗费大量的人力物力去布置场景和拍摄,另一方面,设计师也需要耗费时间去对广告底图进行二次编辑;前述两方面的内容都会导致广告素材图片的制作效率较低。
技术实现思路
1、有鉴于此,本发明实施例提供一种图片处理方法及系统,以解决目前制作广告素材图片的方式存在的制作效率较低等问题。
2、为实现上述目的,本发明实施例提供如下技术方案:
3、本发明实施例第一方面公开一种图片处理方法,所述方法包括:
4、获取与目标广告类别相关的待处理提示词和广告文本;
5、将所述待处理提示词输入预设的图片生成模型,得到与所述目标广告类别相关的第一广告素材图片,其中,所述图片生成模型基于与多个广告类别对应的样本数据和微调模型训练得到;
6、调用transformer和扩散模型基于所述广告文本对所述第一广告素材图片进行编辑,以得到第二广告素材图片。
7、优选的,调用transformer和扩散模型基于所述广告文本对所述第一广告素材图片进行编辑,以得到第二广告素材图片,包括:
8、利用所述第一广告素材图片、位置信息变量和尺寸信息变量,形成第一序列;
9、将所述广告文本进行分词处理,以得到第二序列;
10、将所述第一序列和所述第二序列输入transformer中进行编码和解码,得到与所述广告文本相关的文本位置和文本尺寸;
11、将尺寸为所述文本尺寸的所述广告文本添加至所述第一广告素材图片的所述文本位置处,以得到第一中间图片;
12、调用扩散模型和controlnet提取所述第一中间图片中的目标物和所述广告文本的边缘信息,以得到第二中间图片;
13、根据所述文本位置制作掩膜;
14、将所述掩膜和所述第二中间图片输入unet,以得到调整了所述广告文本的样式的第二广告素材图片。
15、优选的,利用所述第一广告素材图片、位置信息变量和尺寸信息变量,形成第一序列,包括:
16、调整所述第一广告素材图片的尺寸;
17、将调整尺寸后的所述第一广告素材图片分割为多个图片块,以形成相应的图片列;
18、向所述图片列中添加位置信息变量和尺寸信息变量,以得到第一序列。
19、优选的,将所述待处理提示词输入预设的图片生成模型,得到与所述目标广告类别相关的第一广告素材图片,包括:
20、当所述目标广告类别为第一广告类别时,将所述待处理提示词输入预设的图片生成模型,得到与所述第一广告类别相关的作为第一广告素材图片的广告底图;
21、当所述目标广告类别为第二广告类别时,将所述待处理提示词输入预设的图片生成模型,得到与所述第二广告类别相关的广告背景图;
22、将所述广告背景图和用户提交的商品图进行融合和图片打光,得到第一广告素材图片。
23、优选的,获取与目标广告类别相关的待处理提示词和广告文本,包括:
24、获取用户输入的与目标广告类别相关的广告描述内容和广告文本,所述广告文本至少包括广告标题和/或广告卖点信息;
25、利用提示词优化算法对所述广告描述内容进行优化,以得到待处理提示词。
26、优选的,得到第二广告素材图片之后,还包括:
27、将指定图标和指定水印添加至所述第二广告素材图片;
28、投放添加了所述指定图标和所述指定水印的所述第二广告素材图片。
29、本发明实施例第二方面公开一种图片处理系统,所述系统包括:
30、获取单元,用于获取与目标广告类别相关的待处理提示词和广告文本;
31、处理单元,用于将所述待处理提示词输入预设的图片生成模型,得到与所述目标广告类别相关的第一广告素材图片,其中,所述图片生成模型基于与多个广告类别对应的样本数据和微调模型训练得到;
32、编辑单元,用于调用transformer和扩散模型基于所述广告文本对所述第一广告素材图片进行编辑,以得到第二广告素材图片。
33、优选的,所述编辑单元包括:
34、生成模块,用于利用所述第一广告素材图片、位置信息变量和尺寸信息变量,形成第一序列;
35、分词模块,用于将所述广告文本进行分词处理,以得到第二序列;
36、处理模块,用于将所述第一序列和所述第二序列输入transformer中进行编码和解码,得到与所述广告文本相关的文本位置和文本尺寸;
37、添加模块,用于将尺寸为所述文本尺寸的所述广告文本添加至所述第一广告素材图片的所述文本位置处,以得到第一中间图片;
38、提取模块,用于调用扩散模型和controlnet提取所述第一中间图片中的目标物和所述广告文本的边缘信息,以得到第二中间图片;
39、制作模块,用于根据所述文本位置制作掩膜;
40、调整模块,用于将所述掩膜和所述第二中间图片输入unet,以得到调整了所述广告文本的样式的第二广告素材图片。
41、优选的,所述生成模块具体用于:调整所述第一广告素材图片的尺寸;将调整尺寸后的所述第一广告素材图片分割为多个图片块,以形成相应的图片列;向所述图片列中添加位置信息变量和尺寸信息变量,以得到第一序列。
42、优选的,所述处理单元具体用于:
43、当所述目标广告类别为第一广告类别时,将所述待处理提示词输入预设的图片生成模型,得到与所述第一广告类别相关的作为第一广告素材图片的广告底图;
44、当所述目标广告类别为第二广告类别时,将所述待处理提示词输入预设的图片生成模型,得到与所述第二广告类别相关的广告背景图;
45、将所述广告背景图和用户提交的商品图进行融合和图片打光,得到第一广告素材图片。
46、基于上述本发明实施例提供的一种图片处理方法及系统,该方法为:获取与目标广告类别相关的待处理提示词和广告文本;将待处理提示词输入预设的图片生成模型,得到与目标广告类别相关的第一广告素材图片;调用transformer和扩散模型基于广告文本对第一广告素材图片进行编辑,以得到第二广告素材图片。本方案中,获取与目标广告类别相关的待处理提示词和广告文本。利用图片生成模型基于待处理提示词生成与目标广告类别相关的第一广告素材图片,再利用transformer和扩散模型基于广告文本对第一广告素材图片进行编辑,得到第二广告素材图片,不需要布置场景、拍摄和设计师人工进行二次编辑即可自动生成广告素材图片,提高广告素材图片的制作效率。
1.一种图片处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,调用transformer和扩散模型基于所述广告文本对所述第一广告素材图片进行编辑,以得到第二广告素材图片,包括:
3.根据权利要求2所述的方法,其特征在于,利用所述第一广告素材图片、位置信息变量和尺寸信息变量,形成第一序列,包括:
4.根据权利要求1所述的方法,其特征在于,将所述待处理提示词输入预设的图片生成模型,得到与所述目标广告类别相关的第一广告素材图片,包括:
5.根据权利要求1所述的方法,其特征在于,获取与目标广告类别相关的待处理提示词和广告文本,包括:
6.根据权利要求1-5中任一所述的方法,其特征在于,得到第二广告素材图片之后,还包括:
7.一种图片处理系统,其特征在于,所述系统包括:
8.根据权利要求7所述的系统,其特征在于,所述编辑单元包括:
9.根据权利要求8所述的系统,其特征在于,所述生成模块具体用于:调整所述第一广告素材图片的尺寸;将调整尺寸后的所述第一广告素材图片分割为多个图片块,以形成相应的图片列;向所述图片列中添加位置信息变量和尺寸信息变量,以得到第一序列。
10.根据权利要求7所述的系统,其特征在于,所述处理单元具体用于:
