神经网络模型结构调整方法、装置及相关设备与流程

专利2026-07-31  0


本申请实施例涉及自然语言处理、计算机视觉、人工智能与深度学习,尤其涉及一种神经网络模型结构调整方法、装置及相关设备。


背景技术:

1、随着深度学习技术的发展,神经网络模型在许多领域取得了显著成果。而神经网络模型通常包括有大量参数,导致对计算资源和存储资源的消耗较高。可见,当前在需要对神经网络模型的网络层的结构进行调整时,对计算资源的消耗较大。


技术实现思路

1、本申请实施例提供一种神经网络模型结构调整方法、装置及相关设备,以解决当前在需要对神经网络模型的网络层的结构进行调整时,对计算资源的消耗较大的问题。

2、为解决上述问题,本申请是这样实现的:

3、第一方面,本申请实施例提供了一种神经网络模型结构调整方法,包括:

4、获取目标神经网络模型的m个网络层中每个网络层的目标重要性评分,得到m个目标重要性评分,所述目标重要性评分用于表示网络层在所述目标神经网络模型中的重要程度,且所述目标重要性评分根据网络层的权重矩阵和激活值的l2范数计算得到,所述激活值的l2范数根据所述目标神经网络模型的输入向量确定;

5、将所述m个目标重要性评分按照预设顺序进行排列;

6、从排序之后的m个目标重要性评分中,确定目标重要性评分大于预设值n个网络层;

7、对所述n个网络层的结构进行调整,并利用包括结构进行调整之后的n个网络层的目标神经网络模型进行目标对象识别;

8、其中,m和n均为正整数,且n小于m。

9、第二方面,本申请实施例提供了一种神经网络模型结构调整装置,包括:

10、第一获取模块,用于获取目标神经网络模型的m个网络层中每个网络层的目标重要性评分,得到m个目标重要性评分,所述目标重要性评分用于表示网络层在所述目标神经网络模型中的重要程度,且所述目标重要性评分根据网络层的权重矩阵和激活值的l2范数计算得到,所述激活值的l2范数根据所述目标神经网络模型的输入向量确定;

11、排列模块,用于将所述m个目标重要性评分按照预设顺序进行排列;

12、第一确定模块,用于从排序之后的m个目标重要性评分中,确定目标重要性评分大于预设值n个网络层;

13、调整模块,用于对所述n个网络层的结构进行调整,并利用包括结构进行调整之后的n个网络层的目标神经网络模型进行目标对象识别;

14、其中,m和n均为正整数,且n小于m。

15、第三方面,本申请实施例还提供一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序;所述处理器,用于读取存储器中的程序实现如前述第一方面所述方法中的步骤。

16、第四方面,本申请实施例还提供一种可读存储介质,用于存储程序,所述程序被处理器执行时实现如前述第一方面所述方法中的步骤。

17、第五方面,本申请实施例还提供一种计算机程序产品,包括计算机指令,所述计算机指令被处理器执行时实现如上述第一方面所述方法中的步骤。

18、在本申请实施例中,可以通过获取目标神经网络模型的m个网络层中每个网络层的目标重要性评分,并根据目标重要性评分从中筛选得到目标重要性评分大于预设值的n个网络层,且只需要对上述n个网络层的结构进行调整,这样,无需对目标神经网络模型中所有的网络层结构进行调整,从而降低了计算资源的消耗,同时,利用包括结构进行调整之后的n个网络层的目标神经网络模型进行目标对象识别,还可以提高目标对象的识别效率。



技术特征:

1.一种神经网络模型结构调整方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述获取目标神经网络模型的m个网络层中每个网络层的目标重要性评分,得到m个目标重要性评分之前,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述权重优化梯度和所述评分参数计算得到所述目标重要性评分,包括:

4.根据权利要求3所述的方法,其特征在于,所述计算所述权重优化梯度与第一预设系数的第一乘积,且计算评分参数与第二预设系数的第二乘积之前,所述方法还包括:

5.根据权利要求4所述的方法,其特征在于,所述获取预设优化算法和所述输入向量对应的优化目标函数之前,所述方法还包括:

6.根据权利要求1至5中任一项所述的方法,其特征在于,所述对所述n个网络层的结构进行调整,包括:

7.一种神经网络模型结构调整装置,其特征在于,包括:

8.一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序;其特征在于,所述处理器,用于读取存储器中的程序实现如权利要求1至6中任一项所述的神经网络模型结构调整方法中的步骤。

9.一种可读存储介质,用于存储程序,其特征在于,所述程序被处理器执行时实现如权利要求1至6中任一项所述的神经网络模型结构调整方法中的步骤。

10.一种计算机程序产品,其特征在于,包括计算机指令,所述计算机指令被处理器执行时实现如权利要求1至6中任一项所述的神经网络模型结构调整方法中的步骤。


技术总结
本申请提供一种神经网络模型结构调整方法、装置及相关设备,该方法包括:获取目标神经网络模型的M个网络层中每个网络层的目标重要性评分,得到M个目标重要性评分,目标重要性评分用于表示网络层在目标神经网络模型中的重要程度,且目标重要性评分根据网络层的权重矩阵和激活值的L2范数计算得到,激活值的L2范数根据目标神经网络模型的输入向量确定;将M个目标重要性评分按照预设顺序进行排列;从排序之后的M个目标重要性评分中,确定目标重要性评分大于预设值N个网络层;对N个网络层的结构进行调整,并利用包括结构进行调整之后的N个网络层的目标神经网络模型进行目标对象识别。这样,降低了计算资源的消耗。

技术研发人员:崔明飞,张杰,于皓,王展,车成富,罗华刚,贾敬伍
受保护的技术使用者:北京中关村科金技术有限公司
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-33113.html