本发明涉及人脸识别领域，尤其涉及一种草图人脸识别方法。
背景技术：
1、近年来，人脸扫描及成像技术的快速发展推动了二维人脸图像数据量的快速增长，从人脸图像中精确识别所包含人物的身份已成为信息取证与安全领域的研究热点。作为人脸识别领域的一项重要分支，草图人脸识别旨在根据给定的人脸草图从数据库中检索与人脸草图具有相同身份信息的人脸照片，目前已在智能监控、身份验证等领域得到了重要的应用。
2、直观地，对于任意一张人脸草图或人脸照片，眼睛、鼻子以及嘴等关键面部区域的特征对于识别不同的人脸具有鉴别性，而其他面部区域的特征与人脸识别的相关性较弱。为了捕获关键面部区域的特征，peng等人利用矩形框定位人脸草图与人脸照片的关键面部区域，然后利用卷积神经网络从这些区域中提取深度局部描述符用于人脸识别。然而，由于面部结构的复杂性，关键面部区域的形状通常是不规则的，这会导致通过矩形框定位的关键面部区域不可避免地包含干扰识别的信息，从而限制了识别性能的提升。因此，如何有效地从人脸草图和人脸照片中学习身份鉴别性特征仍需要进行深入研究。
3、此外，人脸照片包含丰富的颜色与纹理信息，而人脸草图只包含简单的线条，这使得人脸草图与人脸照片之间存在巨大的跨模态差异。这种跨模态差异使得有效对齐人脸草图与人脸照片极具挑战。为应对上述挑战，huang等人设计了一种判别光谱回归的方法，该方法首先将人脸草图特征与人脸照片特征映射到一个公共的判别子空间中，然后在该空间中对齐跨模态特征以实现草图人脸识别。然而，这种从高维到低维特征空间映射的方法不可避免地会导致一些关键面部信息的丢失，进而影响草图人脸识别性能。因此，探索一种可靠的特征映射方式以实现更有效的跨模态特征对齐对草图人脸识别至关重要。
技术实现思路
1、为了有效提取并对齐人脸草图与人脸照片的身份鉴别性特征以用于识别，本发明提出了一种草图人脸识别方法，该方法分别从人脸草图特征与人脸照片特征中挖掘并移除身份非鉴别性特征以有效捕获每个模态的身份鉴别性特征；通过草图-照片特征交叉重建将人脸草图特征重建为人脸照片全局特征，并将人脸照片特征重建为人脸草图全局特征；将重建的某一模态全局特征嵌入至另一模态特征以获得跨模态对齐的人脸草图特征和人脸照片特征，从而实现有效的草图人脸识别，详见下文描述：
2、一种草图人脸识别方法，所述方法包括：
3、通过人脸草图特征提取器与人脸照片特征提取器分别提取人脸草图特征和人脸照片特征；
4、设计身份鉴别性特征保留模块，用于从人脸草图特征和人脸照片特征中学习并移除身份非鉴别性特征，以捕获每个模态的身份鉴别性特征；
5、设计草图-照片交叉重建模块，利用人脸草图特征重建人脸照片的全局特征，并利用人脸照片特征重建人脸草图的全局特征；
6、将由人脸草图全局特征重建的人脸照片全局特征嵌入到人脸草图身份鉴别性特征中，以获得同时包含人脸草图模态信息与人脸照片模态信息的联合特征；将由人脸照片全局特征重建的人脸草图全局特征嵌入到人脸照片身份鉴别性特征中，以获得同时包含人脸照片模态信息与人脸草图模态信息的联合特征；基于第一、第二训练阶段对整体网络进行训练，基于训练后的网络对人脸进行识别。
7、其中，所述身份鉴别性特征保留模块具体为：
8、基于注意力的写入操作，利用人脸草图特征更新记忆库ms，利用人脸照片特征更新记忆库mp，使ms与mp能够分别存储人脸草图特征中的共享信息和人脸照片特征中的共享信息。
9、其中，所述身份鉴别性特征保留模块具体为：
10、对于记忆库ms中的第i个记忆向量计算与中每个特征向量之间的相似度，从中取出与相似度最大的第n个特征向量
11、
12、其中，表示余弦相似度计算，表示中的第j个特征向量；
13、利用与更新如下：
14、
15、其中，←表示更新操作，δ代表常量，d＝c/8，和表示三个映射函数，和旨在将输入的特征嵌入分别映射为查询qs，键ks和值vs；
16、基于ms，通过记忆读取操作，从中召回身份非鉴别性特征读取过程如下：
17、
18、其中，表示与ms的关系矩阵；
19、从中移除身份非鉴别性特征以获取人脸草图的身份鉴别性特征公式如下：
20、
21、其中，表示元素级相减；
22、对于人脸照片模态，学习人脸照片的身份非鉴别性特征并从人脸照片特征中移除，获得人脸照片的身份鉴别性特征
23、其中，所述草图-照片交叉重建模块具体为：
24、引入两个可学习的记忆库和以辅助人脸草图全局特征和人脸照片全局特征的重建，其中t表示每个记忆库中记忆向量的数量，基于us和up，将重建为人脸照片全局特征如下：
25、
26、其中，表示与us之间的关系矩阵；
27、对于人脸照片模态，通过上述相同的方式，将人脸照片全局特征重建为人脸草图全局特征
28、其中，所述特征嵌入为：
29、
30、其中，dp表示照片特征解码器，ds表示草图特征解码器，σ(·,·)表示通道级级联，∈(·)表示映射函数，将输入的特征嵌入映射至一个包含人脸草图模态信息与人脸照片模态信息的联合特征空间；照片特征解码器dp与草图特征解码器ds均采用四个反卷积-卷积块以及一个卷积层进行搭建，映射函数∈(·)由一层全连接层组成，通过度量与之间的欧氏距离以实现草图人脸识别。
31、本发明提供的技术方案的有益效果是：
32、1、本发明通过挖掘和对齐人脸草图和人脸照片的身份鉴别性特征以实现有效的草图人脸识别；
33、2、本发明设计了身份鉴别性特征保留模块，通过从人脸草图特征和人脸照片特征中学习并去除身份非鉴别性特征以捕获每个模态的身份鉴别性特征；
34、3、本发明设计了草图-照片交叉重建模块和全局特征嵌入模块，通过重建某一模态的全局特征并将其嵌入至另一模态以捕获跨模态更加对齐的特征用于草图人脸识别。
1.一种草图人脸识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种草图人脸识别方法，其特征在于，所述身份鉴别性特征保留模块具体为：
3.根据权利要求2所述的一种草图人脸识别方法，其特征在于，所述身份鉴别性特征保留模块具体为：
4.根据权利要求1所述的一种草图人脸识别方法，其特征在于，所述草图-照片交叉重建模块具体为：
5.根据权利要求4所述的一种草图人脸识别方法，其特征在于，所述特征嵌入为：
