本发明属于计算机视觉领域，具体涉及一种基于合成数据的360度可渲染的参数化人脸头部模型的生成方法。
背景技术：
1、3d头部建模一直是计算机视觉和图形学中一个长期又热门的研究课题，对许多与人体相关的下游任务至关重要。生成高保真度的头部模型过程非常复杂，涉及3d表面重建、材料建模、发型设计、绑定等。为了解决这些挑战，传统的流程依赖于昂贵的系统(如光照设置)和不可避免的大量人力(如发型设计和绑定校正)来生成高保真度的头部模型。近年来，神经渲染和神经纹理技术的出现使得用复杂的神经网络实现端到端的流程成为可能，从而通过数据驱动的方法实现完全自动化。
2、总体而言，基于神经渲染的头部建模方法可以分为两种技术路线。第一种路线利用大量的2d面部图像集进行训练，并实现高度逼真的渲染、运动重定向和身份反演(eric rchan,connor z lin,matthew a chan,koki nagano,boxiao pan,shalini de mello,orazio gallo,leonidas jguibas,jonathan tremblay,sameh khamis,et al.efficientgeometry-aware 3d generative adversarial networks.in cvpr,pages 16123–16133,2022.1,3,4,5,6)。但它的缺点也很明显，即只能在正面的小角度范围内(<±30°)实现高质量渲染，而更大的姿势将导致严重的图像质量退化。第二种路线是从扫描的真实面孔生成的三维模型(lizhen wang,zhiyuan chen,tao yu,chenguang ma,liang li,and yebinliu.faceverse:a fine-grained and detail-controllable 3dface morphable modelfrom a hybrid dataset.in cvpr,pages 20333–20342,2022.1,3)或艺术家设计的模型(erroll wood,aitis,charlie hewitt,sebastian dziadzio,thomasjcashman,and jamie shotton.fake it till you make it:face analysis in the wildusing synthetic data alone.in cvpr,pages 3681–3691,2021.1,33)学习神经头部。这些方法可以合成360度的高质量渲染，然而，由于可用于训练的3d模型太少，运动动画和身份反演的性能较差。
3、总之，现有的参数化3d头部不可避免地受限于可渲染角度(那些基于大量2d图像训练的)或较差的绑定/身份反演(那些基于有限的3d头部模型训练的)。rodin(tengfeiwang,bo zhang,ting zhang,shuyang gu,jianminbao,tadasbaltrusaitis,jingjingshen,dong chen,fang wen,qifeng chen,et al.rodin:a generative model forsculpting 3d digital avatars using diffusion.in cvpr,pages 4563–4573,2023.1,3)使用从艺术家设计的3d模型渲染的大规模多视图图像训练参数头部，而panohead(sizhean,hongyi xu,yichun shi,guoxian song,umit y ogras,and linjie luo.panohead:geometry-aware 3d full-head synthesis in 360deg.in cvpr,pages 20950–20959,2023.3,5,6)结合了大规模的正面2d图像和捕获的后视发型图像进行训练，两者均实现了360度可渲染的参数头部模型。这两个模型的主要问题是它们的面部表情和运动无法被绑定。
技术实现思路
1、为了从文本中直接生成精细的三维人脸模型，本发明提供了一种基于合成数据的高保真的360度可渲染的参数化三维人头模型生成方法。
2、为了实现上述发明目的，本发明采用的技术方案如下：
3、基于合成数据的360度人脸头部参数化模型生成方法，包括如下步骤：
4、s1，获取若干肤色、发型和外貌均不同的数字人，并将他们的面部区域根据普氏变换进行人脸对齐；利用成像设备拍摄对齐后的数字人，选择表情基作为基础表情，创建一个高保真度的具有表情标签的合成3d人脸数据集；
5、s2，基于所述合成3d人脸数据集，获取所有数字人各表情下的拓扑一致的网格模型，即具有相同的顶点和面片数量的模型；将普氏变换对应的尺度变换、旋转矩阵、平移矩阵用于网格模型，使它们在拓扑一致的同时保证在三维空间中的对齐关系；使用主成分分析法将对齐后的带表情的网格模型降维生成3dmm模型，获得对应的3dmm系数；
6、s3，将所述合成3d人脸数据集作为表情维度的独热编码，将所述3dmm系数作为形状维度的编码，结合空间对齐后的带表情的网格模型，构建训练数据，生成三向特征平面和可学习的神经纹理编码；构建并训练参数化三维人头模型，该模型用于在已知3dmm系数的情况下生成多视角多表情的人头图像；
7、s4，构建若干个不带头发的数字人的数据，继续微调训练步骤s3得到的参数化三维人头模型，将头发与人脸分离；利用基于文本的图像条件扩散模型，对参数化三维人头模型中的头部进行编辑；
8、s5，拍摄一组视频，提取出视频中人脸基于所述表情基的表情系数参数流，根据3dmm模型和表情系数得到数字人与视频中对应表情下的网格模型，选定纹理编码，送入经步骤s4训练好的参数化三维人头模型，生成具有动态表情且可被360度渲染的数字人。
9、本发明提出了一种基于合成数据的高保真的360度可渲染的参数化三维人头模型生成方法，为此构建了一个高保真的人头数据集，并建立了一个新颖的框架，从合成数据集中学习。本发明将面部运动、面部形状和面部外观分离，分别由经典的混合形状模型和神经纹理表示，以达到生成的人面部形状、外貌与表情的解耦的效果。与上述所有现有的方法不同，本发明是第一个能生成支持360度自由视角合成、单图像拟合和由标准混合形状参数流驱动的动画的参数化3d人头模型的方法，该方法可广泛应用于数字人、游戏创作、电影特效等领域，具有较高的实用价值和发展前景。
1.基于合成数据的360度人脸头部参数化模型生成方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于合成数据的360度人脸头部参数化模型生成方法，其特征在于，所述步骤s1中，利用成像设备拍摄对齐后的数字人时，固定数字人在拍摄空间中的位置，固定成像设备与数字人的距离，在水平方向间隔15度以及在垂直方向上俯视30度、仰视30度、平行视角进行多视角拍摄。
3.根据权利要求1所述的基于合成数据的360度人脸头部参数化模型生成方法，其特征在于，所述步骤s2中，每个网格模型的顶点数量为2548，其面片数量为5048。
4.根据权利要求1所述的基于合成数据的360度人脸头部参数化模型生成方法，其特征在于，所述步骤s3中，在生成三向特征平面时，将网格模型向前后左右上下六个方位光栅化投影，并设定前后、左右、上下方向的平面相连接作为一个平面，组成新的三平面表示。
5.根据权利要求1所述的基于合成数据的360度人脸头部参数化模型生成方法，其特征在于，所述步骤s3中，使用l1损失函数和带权重的生成对抗网络损失来训练参数化三维人头模型：
6.根据权利要求5所述的基于合成数据的360度人脸头部参数化模型生成方法，其特征在于，所述生成对抗网络包括生成器和鉴别器，学习率l与生成器和鉴别器的正则化间隔ri相关：
7.根据权利要求6所述的基于合成数据的360度人脸头部参数化模型生成方法，其特征在于，所述步骤s4中，微调训练参数化三维人头模型时，网络的损失函数、优化器和学习率与步骤s3的一致。
8.根据权利要求1所述的基于合成数据的360度人脸头部参数化模型生成方法，其特征在于，所述步骤s4中，微调训练参数化三维人头模型时，建立细化网络，训练所述细化网络的损失函数为：
