本发明涉及人脸识别，特别涉及一种基于双特征比对的人脸识别方法、装置、设备、存储介质。
背景技术：
1、随着人工智能技术的普及，已经能够在视频监控中融合人脸识别技术，基于视频帧进行人脸检测和身份识别，与预先录入的业主信息进行比对，实现了智能安防。物业领域的视频监控存在人脸数量多和移动速度快的特点，因此需要在视频帧中实时快速定位出多个人脸，并且确保人脸识别的准确性。
2、在相关技术中，为了满足实时性和准确性的监控需求，通常会整合多任务卷积神经网络（multi-task convolutional neural network，mtcnn）和身份识别网络（facenet），通过mtcnn进行人脸检测，并在人脸的五官周围生成人脸目标关键点，基于人脸目标关键点对齐人脸图像后，通过facenet提取出深度特征，再基于深度特征完成人脸识别。
3、但是物业管理的视频监控设备受限于成本，视频帧的分辨率通常较低，而且不同监控区域的环境和遮挡情况也不同，这就导致人脸识别面临着光照变化、图像分辨率低和遮挡物多等影响，提取的深度特征噪声较大，影响人脸识别的准确性。
技术实现思路
1、本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于双特征比对的人脸识别方法、装置、设备、存储介质，能够融合多类特征进行人脸识别，提高人脸识别的准确性。
2、第一方面，本发明实施例提供了一种基于双特征比对的人脸识别方法，应用于智能监控系统，所述智能监控系统预设有样本图像库、多任务卷积神经网络mtcnn、身份识别网络facenet和融合比对模块，所述样本图像库预设有多个样本人脸图像，所述样本人脸图像预设有样本形状特征向量和样本深度特征向量，所述方法包括：
3、基于mtcnn从目标视频帧检测出待识别人脸图像，通过所述facenet从所述待识别人脸图像中提取出目标深度特征向量并输入至所述融合比对模块；
4、通过所述融合比对模块基于所述待识别人脸图像提取出目标形状向量特征，其中，所述目标形状向量特征用于指示人脸五官形状；
5、通过所述融合比对模块遍历所述样本图像库，每当遍历到一个所述样本人脸图像，基于所述目标形状特征向量与对应的所述样本形状特征向量确定第一相似度，基于所述目标深度特征向量与对应的所述样本深度特征向量确定第二相似度，基于所述第一相似度和所述第二相似度确定融合相似度，其中，所述第一相似度的第一融合权重与所述第二相似度的第二融合权重之和为1；
6、基于所述融合相似度确定出多个候选人脸图像，通过调整所述第一融合权重和所述第二融合权重的数值更新各个所述融合相似度，基于与所述第一融合权重数值变化方向相同的多个所述融合相似度中的数值变化最大者确定目标识别结果，其中，所述第一融合权重和所述第二融合权重之和保持为1。
7、根据本发明的一些实施例，通过所述融合比对模块基于所述待识别人脸图像提取出目标形状向量特征，包括：
8、在所述待识别人脸图像中确定多个目标关键点，其中，多个所述目标关键点用于表征所述待识别人脸图像的多个五官区域；
9、基于预设顺序排列所述目标关键点，基于全部的所述目标关键点的图像坐标构建目标形状特征向量，其中，所述预设顺序用于指示多个所述五官区域的排列顺序，所述目标关键点的横坐标和纵坐标分别为所述目标形状特征向量的一个向量元素。
10、根据本发明的一些实施例，每个所述样本形状特征向量的元素数量相同，在所述待识别人脸图像中确定多个目标关键点，包括：
11、基于所述mtcnn在所述待识别人脸图像中确定多个所述五官区域，在各个所述五官区域生成多个候选关键点，分别确定各个所述五官区域的第一坐标数，其中，所述第一坐标数用于表征所述五官区域的所述候选关键点的数量；
12、获取预设的坐标数集合，基于所述坐标数集合遍历各个所述五官区域，其中，所述坐标数集合记载有多个第二坐标数，每个所述第二坐标数对应一个所述五官区域，多个所述第二坐标数在所述坐标数集合中基于所述预设顺序排列；
13、当遍历到的所述五官区域对应的所述第一坐标数等于所述第二坐标数，将所述候选关键点确定为所述目标关键点；
14、或者，当遍历到的所述五官区域对应的所述第一坐标数不等于所述第二坐标数，在遍历到的所述五官区域中基于所述第二坐标数和所述第一坐标数的差值调整所述候选关键点的数量，基于等距离分布的原则调整各个所述候选关键点的位置，将调整后的全部所述候选关键点确定为所述目标关键点。
15、根据本发明的一些实施例，基于所述目标形状特征向量与对应的所述样本形状特征向量确定第一相似度，基于所述目标深度特征向量与对应的所述样本深度特征向量确定第二相似度，基于所述第一相似度和所述第二相似度确定融合相似度，包括：
16、将所述坐标数集合的各个所述第二坐标数之和的两倍确定为第一数值，获取预设的第二数值，其中，所述第二数值为所述目标深度特征向量的维度数；
17、基于所述第一数值确定所述目标形状特征向量的第一范数，基于所述第二数值确定所述目标深度特征向量的第二范数；
18、基于所述第一范数对所述目标形状特征向量进行标准化处理得到标准形状特征向量，基于所述第二范数对所述目标深度特征向量进行标准化处理得到标准深度特征向量；
19、将所述标准形状特征向量和所述样本形状特征向量的余弦相似度确定为所述第一相似度，将所述标准深度特征向量和所述样本深度特征向量的余弦相似度确定为所述第二相似度，其中，所述样本形状特征向量和所述样本深度特征向量均为基于对应的范数进行标准化后得到的特征向量。
20、根据本发明的一些实施例，基于所述融合相似度确定出多个候选人脸图像，通过调整所述第一融合权重和所述第二融合权重的数值更新各个所述融合相似度，包括：
21、将大于预设的相似度阈值的所述融合相似度确定为目标相似度；
22、当所述目标相似度的数量大于1，将各个所述目标相似度所对应的所述样本人脸图像确定为所述候选人脸图像；
23、基于预设的步长值调整所述第一融合权重和所述第二融合权重，重新计算各个所述候选人脸图像的所述目标相似度。
24、根据本发明的一些实施例，所述mtcnn包括依次级联的p-net、r-net和o-net，基于预设的步长值调整所述第一融合权重和所述第二融合权重，包括：
25、获取所述p-net从所述目标视频帧检测出的候选人脸区域，确定所述待识别人脸图像在所述候选人脸区域中的图像占比；
26、当所述图像占比大于或等于预设的占比阈值，基于所述步长值减少所述第一融合权重，基于所述步长值增加所述第二融合权重；
27、或者，当所述图像占比小于所述占比阈值，基于所述步长值增加所述第一融合权重，基于所述步长值减少所述第二融合权重。
28、根据本发明的一些实施例，基于与所述第一融合权重数值变化方向相同的多个所述融合相似度中的数值变化最大者确定目标识别结果，包括：
29、当各个所述目标相似度在更新后同时增大或者同时减小，基于更新后数值最大的所述目标相似度确定所述目标人脸图像；
30、或者，当至少一个所述目标相似度在更新后数值增大，以及至少一个所述目标相似度在更新后数值减小，将与所述第一融合权重数值变化方向相同的所述目标相似度中的数值变化最大者确定所述目标人脸图像。
31、第二方面，本发明实施例提供了一种基于双特征比对的人脸识别装置，包括少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如上述第一方面所述的基于双特征比对的人脸识别方法。
32、第三方面，本发明实施例提供了一种电子设备，包括有如上述第二方面所述的基于双特征比对的人脸识别装置。
33、第四方面，本发明实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上述第一方面所述的基于双特征比对的人脸识别方法。
34、根据本发明实施例的基于双特征比对的人脸识别方法，至少具有如下有益效果：基于mtcnn从目标视频帧检测出待识别人脸图像，通过所述facenet从所述待识别人脸图像中提取出目标深度特征向量并输入至所述融合比对模块；通过所述融合比对模块基于所述待识别人脸图像提取出目标形状向量特征，其中，所述目标形状向量特征用于指示人脸五官形状；通过所述融合比对模块遍历所述样本图像库，每当遍历到一个所述样本人脸图像，基于所述目标形状特征向量与对应的所述样本形状特征向量确定第一相似度，基于所述目标深度特征向量与对应的所述样本深度特征向量确定第二相似度，基于所述第一相似度和所述第二相似度确定融合相似度，其中，所述第一相似度的第一融合权重与所述第二相似度的第二融合权重之和为1；基于所述融合相似度确定出多个候选人脸图像，通过调整所述第一融合权重和所述第二融合权重的数值更新各个所述融合相似度，基于与所述第一融合权重数值变化方向相同的多个所述融合相似度中的数值变化最大者确定目标识别结果，其中，所述第一融合权重和所述第二融合权重之和保持为1。根据本发明实施例的技术方案，能够在低分辨率和环境因素影响深度特征的可靠性的情况下，结合形状特征和深度特征识别出多个候选人脸图像，利用调整融合权重后不同候选人脸图像的融合相似度的变化趋势和幅度实现人脸识别，提高人脸识别的可靠性和准确性。
1.一种基于双特征比对的人脸识别方法，其特征在于，应用于智能监控系统，所述智能监控系统预设有样本图像库、多任务卷积神经网络mtcnn、身份识别网络facenet和融合比对模块，所述样本图像库预设有多个样本人脸图像，所述样本人脸图像预设有样本形状特征向量和样本深度特征向量，所述方法包括：
2.根据权利要求1所述的基于双特征比对的人脸识别方法，其特征在于，通过所述融合比对模块基于所述待识别人脸图像提取出目标形状向量特征，包括：
3.根据权利要求2所述的基于双特征比对的人脸识别方法，其特征在于，每个所述样本形状特征向量的元素数量相同，在所述待识别人脸图像中确定多个目标关键点，包括：
4.根据权利要求3所述的基于双特征比对的人脸识别方法，其特征在于，基于所述目标形状特征向量与对应的所述样本形状特征向量确定第一相似度，基于所述目标深度特征向量与对应的所述样本深度特征向量确定第二相似度，基于所述第一相似度和所述第二相似度确定融合相似度，包括：
5.根据权利要求1所述的基于双特征比对的人脸识别方法，其特征在于，基于所述融合相似度确定出多个候选人脸图像，通过调整所述第一融合权重和所述第二融合权重的数值更新各个所述融合相似度，包括：
6.根据权利要求5所述的基于双特征比对的人脸识别方法，所述mtcnn包括依次级联的p-net、r-net和o-net，其特征在于，基于预设的步长值调整所述第一融合权重和所述第二融合权重，包括：
7.根据权利要求6所述的基于双特征比对的人脸识别方法，其特征在于，基于与所述第一融合权重数值变化方向相同的多个所述融合相似度中的数值变化最大者确定目标识别结果，包括：
8.一种基于双特征比对的人脸识别装置，其特征在于，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1至7任一项所述的基于双特征比对的人脸识别方法。
9.一种电子设备，其特征在于，包括权利要求8所述的基于双特征比对的人脸识别装置。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的基于双特征比对的人脸识别方法。
