本申请涉及图像检测,具体地涉及一种图像关键特征区域检测方法、一种电子设备以及对应的存储介质。
背景技术:
1、目前,随着人工智能技术的飞速发展,人工智能技术的应用越来越广泛,已经被应用于图像分析、语音识别、文字处理、智能推荐、安全检测等多个领域,但是深度神经网络模型一直被视为“黑盒”模型,其可解释性一直饱受质疑,阻碍了深度学习技术在部分任务场景(比如自动驾驶、智慧医疗等高风险任务场景)下的广泛应用。对深度神经网络模型的输入输出关系进行科学合理的解释可以增强用户对深度学习模型和系统的信任,有助于发现深度学习模型存在的缺陷和不足,有利于深度学习技术的应用和推广。
2、现有技术中已经存在采用梯度类激活映射建立模型重点关注特征同模型决策之间的关联,与本申请关键技术有着相似的应用效果,但是该方案对每个特征信息在图像所有位置的梯度均值作为该特征信息的权重,评估结果较为粗糙和模糊。
技术实现思路
1、本申请实施例的目的是提供一种图像关键特征区域检测方法、电子设备及存储介质,通过分析输入图像数据的每个像素对模型的中间输出结果的影响效果,评估输入图像数据的每个像素的重要性,检测和确定输入图像数据的关键特征区域,以至少解决背景技术中的部分问题。
2、为了实现上述目的,在本申请中提供了一种图像关键特征区域检测方法,该方法包括:向训练后的基于卷积神经网络的图像分类模型输入目标图像,获取所述图像分类模型处理所述目标图像时的最后一个分类层的输入向量和最后一个卷积层的输出特征图;计算所述输入向量的最大分量对于所述输出特征图的每一通道中每一神经元激活值的变化率度量,得到每一通道的变化率度量的均值;根据每一通道同一位置的神经元激活值与所述每一通道的变化率度量的均值生成与所述目标图像像素分布相同的重构图像;确定所述重构图像中大于预设阈值的像素集合所对应的位置集合,以所述目标图像中所述位置集合作为所述目标图像的关键特征区域。
3、可选地,所述方法还包括:确定所述输入向量的最大分量在获取时的值为当前值;计算所述目标图像中目标区域内的每一像素在其定义域变化时所述最大分量对应变化过程中的极小值;根据所述当前值和每一像素的极小值得到每一像素的重要性评估值。
4、可选地,所述目标区域为所述关键特征区域或者全部区域。
5、可选地,所述最后一个分类层为softmax层。
6、可选地,所述输入向量的最大分量是基于分类类别所区分的分量中的最大分量。
7、可选地,所述变化率度量为导数;计算所述输入向量的最大分量对于所述输出特征图的每一通道中每一神经元激活值的变化率度量,包括:获取在所述图像分类模型中以神经元激活值为自变量、输入向量的最大分量为因变量的映射关系;计算所述映射关系的导数得到所述神经元激活值对应的变化率度量。
8、可选地,根据每一通道同一位置的神经元激活值与所述每一通道的变化率度量的均值生成与所述目标图像像素分布相同的重构图像,包括:计算并累加同一位置的神经元激活值与所述每一通道的变化率度量的均值的乘积,以累加结果作为第一中间图像中与所述同一位置所对应位置的值;处理所述第一中间图像中的负值得到第二中间图像;对所述第二中间图像进行上采样处理得到与所述目标图像像素分布相同的重构图像。
9、可选地,所述上采样处理采用双线性插值法。
10、可选地,计算所述目标图像的每一像素在其定义域变化时所述最大分量对应变化过程中的极小值,包括:若所述目标图像的每一像素为向量,则通过梯度下降法求解所述最大分量的极小值;若所述目标图像的每一像素为标量,则通过导数求解所述最大分量的极小值。
11、可选地,根据所述当前值和每一像素的极小值得到每一像素的重要性评估值,包括:以当前值与每一像素的极小值的差值作为所述每一像素的重要性评估值。
12、在本申请中还提供了一种图像关键特征区域检测装置,该装置包括:数据获取模块,用于向训练后的基于卷积神经网络的图像分类模型输入目标图像,获取所述图像分类模型处理所述目标图像时的最后一个分类层的输入向量和最后一个卷积层的输出特征图;通道均值模块,用于计算所述输入向量的最大分量对于所述输出特征图的每一通道中每一神经元激活值的变化率度量,得到每一通道的变化率度量的均值;图像重构模块,用于根据每一通道同一位置的神经元激活值与所述每一通道的变化率度量的均值生成与所述目标图像像素分布相同的重构图像;以及区域确定模块,用于确定所述重构图像中大于预设阈值的像素集合所对应的位置集合,以所述目标图像中所述位置集合作为所述目标图像的关键特征区域。
13、在本申请中还提供了一种电子设备,包括:至少一个处理器;存储器,与所述至少一个处理器连接;其中,所述存储器存储有能被所述至少一个处理器执行的指令,所述至少一个处理器通过执行所述存储器存储的指令实现前述的图像关键特征区域检测方法。
14、在本申请中还提供了一种机器可读存储介质,该机器可读存储介质上存储有指令,该指令在被处理器执行时使得处理器被配置成执行实现前述的图像关键特征区域检测方法。
15、在本申请中还提供了一种计算机程序产品,包括计算机程序,该计算机程序在被处理器执行时实现前述的图像关键特征区域检测方法。
16、上述技术方案具有以下有益效果:
17、(1)对现有的深度学习模型输入输出关系解释技术进行了改进,提出了一种图像关键特征区域检测方法,可以实现对输入图像数据的像素级重要性评估,提高模型对输入图像关键特征区域的定位精度和检测粒度。
18、(2)部分实施方式利用模型的中间输出结果进行像素重要性评估,相比利用模型最终输出结果进行像素重要性评估,可以消除模型针对不同类别的输出之间的相互干扰,提高像素重要性评估结果的准确性。
19、本申请实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
1.一种图像关键特征区域检测方法,其特征在于,该方法包括:
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
3.根据权利要求2所述的方法,其特征在于,所述目标区域为所述关键特征区域或者全部区域。
4.根据权利要求1所述的方法,其特征在于,所述最后一个分类层为softmax层。
5.根据权利要求1所述的方法,其特征在于,所述输入向量的最大分量是基于分类类别所区分的分量中的最大分量。
6.根据权利要求1所述的方法,其特征在于,所述变化率度量为导数;计算所述输入向量的最大分量对于所述输出特征图的每一通道中每一神经元激活值的变化率度量,包括:
7.根据权利要求1所述的方法,其特征在于,根据每一通道同一位置的神经元激活值与所述每一通道的变化率度量的均值生成与所述目标图像像素分布相同的重构图像,包括:
8.根据权利要求7所述的方法,其特征在于,所述上采样处理采用双线性插值法。
9.根据权利要求2所述的方法,其特征在于,计算所述目标图像的每一像素在其定义域变化时所述最大分量对应变化过程中的极小值,包括:
10.根据权利要求2所述的方法,其特征在于,根据所述当前值和每一像素的极小值得到每一像素的重要性评估值,包括:
11.一种电子设备,其特征在于,包括:至少一个处理器;
12.一种计算机可读存储介质,其上存储有计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1至10中任一项权利要求所述图像关键特征区域检测方法的步骤。
13.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1至10中任一项权利要求所述图像关键特征区域检测方法的步骤。