本发明属于图像处理，具体涉及一种基于语义和风格信息引导的房间装修风格迁移方法。
背景技术：
1、近年来，计算机视觉在室内装修行业的应用日益广泛。房间整体风格决定了空间的视觉效果和氛围，对房间图像进行风格迁移有助于实现个性化和多样化的装修设计。传统的非参数图像风格迁移方法主要基于笔画渲染、图像类别或滤波方法以及纹理合成。这些方法通常只能提取图像的底层特征，难以生成高层次的抽象特征。因此，它们仅适用于艺术化的图像风格迁移，在现代家居设计中效果不佳，难以满足实际需求。
2、深度学习的出现带来了新的图像风格迁移方法。gatys提出了基于卷积神经网络(cnn)的图像风格迁移算法，通过不同层次提取图像特征，实现风格和内容的分离。然而，该方法生成的图像往往存在噪声、不清晰等问题，需要大量成对的训练图像，训练速度慢且占用大量内存。zhu等人提出的循环生成对抗网络(cyclegan)结合了gan和对偶学习，使用两个生成器和两个判别器在两种风格域之间进行转换，并通过循环一致性损失来保留图像的内容信息，但这种方法在结构完整性和纹理细节合理性方面仍然存在问题。现代家居设计内容复杂，强调写实与逼真，现有的方法难以有效保留图像的结构信息并生成真实的纹理。因此，开发一种能够同时保留房间图片结构信息并生成真实风格纹理的图像风格迁移方法具有重要意义。
技术实现思路
1、针对现有技术的不足，本发明提出了一种基于语义和风格信息引导的房间装修风格迁移方法，该方法通过双分支结构，对空间结构和纹理细节进行独立处理，使得生成的房间图片在局部细节上细腻、逼真，同时在全局上具有一致性和连贯性特点。
2、一种基于语义和风格信息引导的房间装修风格迁移方法，具体方法如下:
3、步骤1、使用预训练模型提取原始房间图片的特征，得到对应的语义解析特征，将原始房间图片、参考风格图片以及语义解析特征，一同作为训练样本，将改变风格后的房间图片作为标签，构建训练集。
4、步骤2、构建基于参考风格的房间装修的风格迁移生成对抗网络模型；所述生成对抗网络包括生成器网络和判别器网络。所述生成器网络包括生成房间图片编码器、参考风格图片编码器、双分支归一化模块(dbn)和解码器。
5、所述房间图片编码器、参考风格图片编码器的结构相同，分别用于对原始房间图片、参考风格图片进行特征提取，得到房间照片特征以及参考图片特征。
6、所述双分支归一化模块包括类自适应归一化模块、实例自适应归一化模块和注意力特征融合aff模块(attentional feature fusion，aff)。
7、所述类自适应归一化模块根据语义解析特征对参考图片特征进行归一化，提供空间结构信息，首先对输入的语义解析特征、参考图片特征进行类自适应归一化clade处理，经过relu激活函数后，再经过一个卷积核大小为3、填充为1、步幅为1的卷积层。将经过卷积的特征与语义解析特征一起再进行clade处理，再次经过relu激活函数与一个卷积核大小为3、填充为1、步幅为1的卷积层后，得到的结果与参考图片特征进行残差连接，输出空间结构信息。
8、所述实例自适应归一化模块使用参考图片特征中的信息来调整房间照片特征的归一化过程，提供纹理细节信息，首先对输入的房间照片特征和参考图片特征进行实例自适应归一化adain处理，然后通过一个卷积核大小为3、填充为1、步幅为1的卷积层和relu激活函数，再通过一个卷积核大小为3、填充为1、步幅为1的卷积层和relu激活函数后，与输入的房间照片特征进行残差连接，再经过relu激活函数后，输出纹理细节信息。
9、所述aff特征融合模块用于对类自适应归一化模块输出的空间结构信息和实例自适应归一化模块输出的纹理细节信息进行特征融合。
10、所述解码器对aff特征融合模块融合后的特征进行解码，得到具有参考风格的房间图像。
11、所述判别器网络用于判别解码器输出的图像，促使生成器网络生成的图片更加真实，细节更加细腻。
12、步骤3、将步骤1中的训练集数据输入步骤2构建的生成对抗网络模型，采用adam优化算法优化网络模型，使用的损失函数包括生成图片的感知损失、对抗损失和循环一致性损失，保存训练得到的模型参数。
13、步骤4、选择一张需要进行装修风格修改的房间图像，通过预训练模型提取对应的语义解析特征，再将该房间图像、语义解析特征与具有迁移目标风格的参考图像一同输入步骤3训练后的生成器网络中，得到装修风格迁移后的房间图像。
14、本发明具有以下有益效果：
15、该方法通过双分支归一化模块，分别对空间信息和细节纹理信息进行解耦处理：第一个分支使用参考风格生成实例适应性权重，并应用实例适应性权重对输入图像进行实例归一化处理，从而在局部细节上使生成的房间图像更加细腻和逼真。第二个分支利用房间图片的语义解析生成类适应性权重，并使用生成的权重对参考图像进行类适应性归一化处理处理，从而在整体上确保生成的房间图像具有一致性和连贯性；二者分别进行处理，充分考虑了纹理信息和空间信息独立性的影响。
1.一种基于语义和风格信息引导的房间装修风格迁移方法，其特征在于：具体包括以下步骤：
2.如权利要求1所述一种基于语义和风格信息引导的房间装修风格迁移方法，其特征在于：使用预训练后的vgg网络提取原始房间图片的语义解析特征。
3.如权利要求1所述一种基于语义和风格信息引导的房间装修风格迁移方法，其特征在于：所述房间图片编码器、参考风格图片编码器的结构相同，均包括级联的4个编码单元，每个编码单元包括一个卷积核为3、步长为2、填充为1的卷积层，一个实例归一化层和一个激活函数relu。
4.如权利要求1所述一种基于语义和风格信息引导的房间装修风格迁移方法，其特征在于：所述类自适应归一化模块首先对输入的语义解析特征、参考图片特征进行类自适应归一化clade处理，再经过relu激活函数与卷积层，然后将经过卷积的特征与语义解析特征一起再进行clade处理，再经过relu激活函数与卷积层，得到的结果与参考图片特征进行残差连接，输出空间结构信息。
5.如权利要求1所述一种基于语义和风格信息引导的房间装修风格迁移方法，其特征在于：所述实例自适应归一化模块首先对房间照片特征和参考图片特征进行实例自适应归一化adain处理，然后通过一个卷积层和relu激活函数，再通过一个卷积层和relu激活函数后，与输入的房间照片特征进行残差连接，再经过relu激活函数后，输出纹理细节信息。
6.如权利要求1所述一种基于语义和风格信息引导的房间装修风格迁移方法，其特征在于：所述aff融合模块首先对空间结构信息和纹理细节信息进行拼接，分别计算全局注意力与局部注意力，将两个注意力计算结果拼接后通过sigmoid函数激活，将激活结果分别与输入的空间结构信息和纹理细节信息相乘，再进行拼接，得到融合后的特征。
7.如权利要求3所述一种基于语义和风格信息引导的房间装修风格迁移方法，其特征在于：所述解码器包括4个解码单元、一个卷积核大小为3、填充为1、步幅为1的卷积层和一个激活函数tanh；每个解码单元包含一个卷积核为3、步长为2、填充为1的转置卷积层、一个实例归一化层和一个激活函数relu，用于输出一个经过上采样处理的特征图，并与同层级的房间图片编码器的输出特征图在通道维度进行拼接，作为下一个解码单元的输入。
8.如权利要求1所述一种基于语义和风格信息引导的房间装修风格迁移方法，其特征在于：设置总损失函数为：
9.如权利要求1或8所述一种基于语义和风格信息引导的房间装修风格迁移方法，其特征在于：采用adam优化算法优化生成对抗网络模型参数。
