一种基于黎曼流形上热核理论的图像生成方法及装置

专利2026-07-18  13


本发明属于图像生成,尤其涉及一种基于黎曼流形上热核理论的图像生成方法及装置。


背景技术:

1、图像生成是指利用计算机算法和技术,通过对现有信息的处理和学习,创造出新的图像。这种技术可以包括从头开始生成全新的图像,也可以是对现有图像进行修改、增强或合成。在图像生成中,计算机系统可以通过学习大量的图像数据,从中提取规律和特征,以便生成具有逼真感和艺术性的图像。这一领域的发展已经为许多领域带来了重大影响,包括计算机视觉、医学影像处理、艺术创作等。

2、图像生成技术的核心在于模型的学习和推断能力,通常使用深度学习和神经网络模型来实现。这些模型可以通过大规模数据的训练来理解图像的特征和结构,并能够生成与真实图像相媲美的新图像。这种技术的应用非常广泛,包括计算机图形学、虚拟现实、医学影像处理、图像增强、视频游戏开发等领域。随着技术的不断进步,图像生成技术将继续为人们的生活和工作带来更多的创新和便利。

3、传统的扩散模型练过程通常涉及复杂的步骤,需要逐步逆向模拟扩散过程,需要大量的计算资源和时间;处理高维数据会遇到收敛困难的问题,生成的数据质量可能受到模型复杂性的影响;扩散模型可能会在生成过程中丢失原始数据的多样性,导致生成的数据缺乏多样性。


技术实现思路

1、针对现有技术存在的问题,本申请提供了一种基于黎曼流形上热核理论的图像生成方法及装置。

2、根据本申请实施例的第一方面,提供一种基于黎曼流形上热核理论的图像生成方法,包括:

3、获取高维欧氏空间中的目标图像数据集,并对目标图像数据集进行预处理;

4、考虑目标图像数据分布的黎曼几何结构,通过无监督学习方法训练几何编码器与几何解码器;

5、将所述目标图像数据集通过训练后的几何编码器映射到低维黎曼流形上,得到低维流形上的目标数据分布;

6、通过扩散方程将所述目标数据分布映射为低维流形上的正态分布,并用黎曼流形上热核生成模型学习所述正态分布至目标数据分布的逆扩散过程;

7、从低维流形上的正态分布采样,通过黎曼流形上热核生成模型估计高维流形上的数据分布,通过几何解码器还原到高维欧氏空间的图像分布,从而完成图像生成。

8、进一步地,所述目标图形数据集至少包括所需生成类别的图像。

9、进一步地,所述几何编码器用于将高维图像数据转化为低维流形表示,所述几何解码器用于将低维流形表示重建为高维图像数据。

10、进一步地,几何编码器与几何解码器训练时采用的损失函数包括重构损失、lipis损失和黎曼流形之间的映射f的局部畸变度量,所述局部畸变度量为:

11、

12、其中,di是对角矩阵d的元素,λi(z)表示黎曼度量g(z)的特征值,z为维数为m的低维黎曼流形的局部坐标。

13、进一步地,所述扩散方程为:

14、

15、其中,为隐空间的一个点,t∈[0,t],t指的是扩散时间的终点,pt(xt)指的是在t时刻的概率分布,ft(xt)为漂移系数,σt为t时刻的正态分布的方差。

16、进一步地,在黎曼流形上热核生成模型的学习过程中,损失函数为热核得分匹配损失,具体为:

17、

18、其中,为隐空间的一个点,t∈[0,t],t指的是扩散时间的终点,ft(xt)=sθ(xt,t)为漂移系数。

19、根据本申请实施例的第二方面,提供一种基于黎曼流形上热核理论的图像生成装置,包括:

20、获取模块,用于获取高维欧氏空间中的目标图像数据集,并对目标图像数据集进行预处理;

21、第一训练模块,用于考虑目标图像数据分布的黎曼几何结构,通过无监督学习方法训练几何编码器与几何解码器;

22、映射模块,用于将所述目标图像数据集通过训练后的几何编码器映射到低维黎曼流形上,得到低维流形上的目标数据分布;

23、第二训练模块,用于通过扩散方程将所述目标数据分布映射为低维流形上的正态分布,并用黎曼流形上热核生成模型学习所述正态分布至目标数据分布的逆扩散过程;

24、图像生成模块,用于从低维流形上的正态分布采样,通过黎曼流形上热核生成模型估计高维流形上的数据分布,通过几何解码器还原到高维欧氏空间的图像分布,从而完成图像生成。

25、根据本申请实施例的第三方面,提供一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现如第一方面所述的方法。

26、根据本申请实施例的第四方面,提供一种电子设备,包括:

27、一个或多个处理器;

28、存储器,用于存储一个或多个程序;

29、当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的方法。

30、根据本申请实施例的第五方面,提供一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现如第一方面所述方法的步骤。

31、本申请的实施例提供的技术方案可以包括以下有益效果:

32、由上述实施例可知,本申请通过限制黎曼度量训练几何编码器和几何解码器,学习图像在低维流形的表示,通过扩散方程将目标数据分布映射为低维流形上的特殊分布,并用神经网络学习逆扩散过程,提高其学习精度和学习效率。在进行图像生成任务时,从低维流形上的特殊分布采样,通过黎曼流形上的热核生成模型估计维流形上的目标数据分布,通过几何解码器还原到高维欧氏空间的图像分布。扩散方程可以提供更有效的训练方法,减少计算资源和时间的消耗;黎曼几何的特性可以帮助黎曼流形上热核生成模型在高维空间中更好地收敛,提高训练的稳定性和效果;利用黎曼几何的结构,黎曼流形上热核生成模型可以更准确地捕捉数据的复杂性,从而生成更高质量和多样性的图像。

33、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。



技术特征:

1.一种基于黎曼流形上热核理论的图像生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述目标图形数据集至少包括所需生成类别的图像。

3.根据权利要求1所述的方法,其特征在于,所述几何编码器用于将高维图像数据转化为低维流形表示,所述几何解码器用于将低维流形表示重建为高维图像数据。

4.根据权利要求1所述的方法,其特征在于,几何编码器与几何解码器训练时采用的损失函数包括重构损失、lipis损失和黎曼流形之间的映射f的局部畸变度量,所述局部畸变度量为:

5.根据权利要求1所述的方法,其特征在于,所述扩散方程为:

6.根据权利要求1所述的方法,其特征在于,在黎曼流形上热核生成模型的学习过程中,损失函数为热核得分匹配损失,具体为:

7.一种基于黎曼流形上热核理论的图像生成方法,其特征在于,包括:

8.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现如权利要求1-6任一项所述的方法。

9.一种电子设备,其特征在于,包括:

10.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现如权利要求1-6中任一项所述方法的步骤。


技术总结
本发明公开了一种基于黎曼流形上热核理论的图像生成方法及装置,通过限制黎曼度量训练几何编码器和几何解码器,学习图像在低维流形的表示,通过扩散方程将目标数据分布映射为低维流形上的特殊分布,并用神经网络学习逆扩散过程,提高其学习精度和学习效率。在进行图像生成任务时,从低维流形上的特殊分布采样,通过黎曼流形上的热核生成模型估计维流形上的目标数据分布,通过几何解码器还原到高维欧氏空间的图像分布。

技术研发人员:章敏,卢云鸿,曹恒源
受保护的技术使用者:上海浙江大学高等研究院
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-32670.html