图像生成方法、系统、设备、介质及产品与流程

专利2025-06-26  5


本申请涉及图像生成,尤其涉及一种图像生成方法、系统、设备、介质及产品。


背景技术:

1、sd模型(stab led iffus ion,基于随机漫步的扩散模型)是一种ai图像生成模型,广泛地用于ai绘画、游戏美术等技术领域。具体地,在使用sd模型时,有两种途径。一种是sd开发工具,sd开发工具是为非ai从业者而产生的工具,用户不需要了解底层模型代码、甚至不用精通模型原理,即可快速搭建、开发自定义图像生成工作流。另一种则是sd代码库,sd代码库是针对ai从业者的工具,提供了模块化的模型、代码,用户需要较为了解模型原理,才可以开发相关sd算法。

2、然而,sd模型数据存储量大且推理速度较慢,常常导致图像的生成时间较长。为此,针对sd代码库,提出了加速算法。然而,代码库和开发工具存在差异,无法将加速算法直接应用在开发工具上,从而导致使用sd开发工具生成图像的效率偏低。

3、因此,对于sd开发工具,如何提高图像生成的效率,是本领域技术人员尚待解决的技术问题。


技术实现思路

1、本申请的主要目的在于提供一种图像生成方法、系统、设备、介质及产品,旨在解决对于sd开发工具,如何提高图像生成的效率的技术问题。

2、为实现上述目的,本申请提出一种图像生成方法,所述方法包括:

3、接收文本提示词,并基于所述文本提示词,生成工作流json文件;

4、将所述工作流json文件转化为第一有向图,并将所述第一有向图中的节点转化为代码库中的节点,得到第二有向图;

5、通过代码库对应的加速算法对所述第二有向图对应的图像生成流程进行加速,得到目标图像。

6、在一实施例中,所述将所述第一有向图中的节点转化为代码库中的节点,得到第二有向图的步骤,包括:

7、获取所述第一有向图中各个节点各自对应的功能类型,并获取各所述功能类型各自对应的映射关系,其中,所述映射关系指的是代码库工作流节点和sd开发工具工作流节点之间的对应关系;

8、根据各所述映射关系,将所述第一有向图中的节点转化为代码库中的节点;

9、将节点转换之后的所述第一有向图作为第二有向图。

10、在一实施例中,在所述将节点转换之后的所述第一有向图作为第二有向图的步骤之前,所述方法还包括:

11、在检测到节点转化完成之后,在所述第一有向图的节点中检测是否存在待拆分节点和待合并节点;

12、对所述待拆分节点进行拆分,并对所述待合并节点进行合并;

13、在所述第一有向图中,通过拆分后的节点替代所述待拆分节点,并通过合并后的节点替代所述待合并节点;

14、所述将节点转换之后的所述第一有向图作为第二有向图的步骤,包括:

15、将节点替代之后的所述第一有向图作为第二有向图。

16、在一实施例中,所述将节点替代之后的所述第一有向图作为第二有向图的步骤,还包括:

17、在节点替代之后,检测所述第一有向图中是否存在孤立节点,其中,所述孤立节点为入度为零,且,出度为零的节点;

18、若检测到所述第一有向图中不存在孤立节点,则将节点替代之后的所述第一有向图作为第二有向图;

19、若检测到所述第一有向图中存在孤立节点,则在节点替代之后的第一有向图中删去所述孤立节点,并将删去所述孤立节点之后的第一有向图作为第二有向图。

20、在一实施例中,所述将所述工作流json文件转化为第一有向图的步骤,包括:

21、解析所述工作流json文件,得到工作流,并为所述工作流中的每个任务创建一个节点;

22、根据所述工作流中的执行顺序,在各所述节点之间创建边,得到第一有向图。

23、在一实施例中,所述通过代码库对应的加速算法对所述第二有向图对应的图像生成流程进行加速,得到目标图像的步骤,包括:

24、遍历所述第二有向图,确定所述第二有向图中的输出节点,其中,所述输出节点为所述第二有向图中出度为零的节点;

25、基于所述输出节点在所述第二有向图中进行递归,以确定所述有向图中的开始节点,其中,所述开始节点为所述第二有向图中入度为零的节点;

26、基于所述开始节点,执行所述第二有向图对应的图像生成流程,并通过代码库对应的加速算法对所述图像生成流程进行加速,得到目标图像。

27、此外,为实现上述目的,本申请还提出一种图像生成系统,所述图像生成系统应用于sd开发工具,所述系统包括:

28、工作流生成模块,用于接收文本提示词,并基于所述文本提示词,生成工作流json文件;

29、工作流转化模块,用于将所述工作流json文件转化为第一有向图,并将所述第一有向图中的节点转化为代码库中的节点,得到第二有向图;

30、加速模块,用于通过代码库对应的加速算法对所述第二有向图对应的图像生成流程进行加速,得到目标图像。

31、此外,为实现上述目的,本申请还提出一种图像生成设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如上文所述的图像生成方法的步骤。

32、此外,为实现上述目的,本申请还提出一种存储介质,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上文所述的图像生成方法的步骤。

33、此外,为实现上述目的,本申请还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现如上文所述的图像生成方法的步骤。

34、在本申请中,通过接收文本提示词,并基于文本提示词,生成工作流json文件,可以在sd开发工具中生成工作流;然后将工作流json文件转化为第一有向图,并将第一有向图中的节点转化为代码库中的节点,得到第二有向图,可以以有向图为桥梁,将sd开发工具中的工作流转换为代码库中的工作流;然后通过代码库对应的加速算法对第二有向图对应的图像生成流程进行加速,得到目标图像,从而可以使用代码库对应的加速算法对sd开发工具生成图像的过程进行加速,从而提高了sd开发工具生成图像的效率。



技术特征:

1.一种图像生成方法,其特征在于,所述图像生成方法应用于sd开发工具,所述方法包括:

2.如权利要求1所述的图像生成方法,其特征在于,所述将所述第一有向图中的节点转化为代码库中的节点,得到第二有向图的步骤,包括:

3.如权利要求2所述的图像生成方法,其特征在于,在所述将节点转换之后的所述第一有向图作为第二有向图的步骤之前,所述方法还包括:

4.如权利要求3所述的图像生成方法,其特征在于,所述将节点替代之后的所述第一有向图作为第二有向图的步骤,还包括:

5.如权利要求1所述的图像生成方法,其特征在于,所述将所述工作流json文件转化为第一有向图的步骤,包括:

6.如权利要求1所述的图像生成方法,其特征在于,所述通过代码库对应的加速算法对所述第二有向图对应的图像生成流程进行加速,得到目标图像的步骤,包括:

7.一种图像生成系统,其特征在于,所述图像生成系统应用于sd开发工具,所述系统包括:

8.一种图像生成设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如权利要求1至6中任一项所述的图像生成方法的步骤。

9.一种存储介质,其特征在于,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的图像生成方法的步骤。

10.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的图像生成方法的步骤。


技术总结
本申请公开了一种图像生成方法、系统、设备、介质及产品,涉及图像生成技术领域,包括:接收文本提示词,并基于所述文本提示词,生成工作流JSON文件;将所述工作流JSON文件转化为第一有向图,并将所述第一有向图中的节点转化为代码库中的节点,得到第二有向图;通过代码库对应的加速算法对所述第二有向图对应的图像生成流程进行加速,得到目标图像。本申请技术方案旨在解决对于SD开发工具,如何提高图像生成的效率的技术问题。

技术研发人员:师天麾,余嘉玮,汤雄超
受保护的技术使用者:北京清程极智科技有限公司
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-25759.html