本申请涉及目标检测,特别涉及模型训练方法及空中低慢小无人机检测方法。
背景技术:
1、随着无人机的应用场景不断扩展,无人机技术不断发展完善,其给人们生活带来便利和乐趣的同时,也对社会安全和国防安全构成了一定威胁,如果操作不当,便可能威胁到公共安全和公众生命财产安全,甚至被用来当做违法犯罪的工具。近年已经出现许多民用无人机“乱飞”、“黑飞”、伤人扰民等乱象,更有甚者使用无人机窥探隐私。因此,对空中飞行的具有低慢特点的非法无人机进行有效的识别检测对于保障公共安全至关重要。
2、目前,一阶段目标检测网络在检测速度方面优于两阶段目标检测网络,因此被广泛应用于对实时性要求较高的工业检测等领域。在一阶段检测网络中,yolo系列模型一直以来备受关注。然而,现有yolov8模型在应用于复杂的环境背景,如城市中的高楼大厦、森林中的树木等,由于无人机通常具备飞行高度低、飞行速度慢和外形尺寸小的特点,在实际应用中很难被有效地检测和发现。
3、因此,亟待开发一种在yolov8改进模型,使其更适用于对空中低慢小无人机的检测,提升检测速度和准确性。
技术实现思路
1、鉴于此,本申请提供一种模型训练方法及空中低慢小无人机检测方法,可以准确且高效地检测空中低慢小无人机。
2、具体而言,包括以下的技术方案:
3、第一方面,本申请实施例提供了一种模型训练方法,所述方法包括:
4、获取样本无人机图像、样本无人机标注图像和yolov8改进模型,所述yolov8改进模型包括具有repvgg风格结构的可重参数化的主干网络efficientrep、基于内容引导注意力的混合融合模块cgafusion和wassersteinloss损失函数;
5、基于所述样本无人机图像和所述样本无人机标注图像,训练所述yolov8改进模型,得到目标无人机检测模型。
6、在一些实施例中,所述基于所述样本无人机图像和所述样本无人机标注图像,训练yolov8改进模型,得到目标无人机检测模型,包括:
7、基于所述样本无人机图像和所述样本无人机标注图像,训练yolov8改进模型,得到中间yolov8改进模型;
8、响应于所述中间yolov8改进模型的性能满足训练完成条件,将满足训练完成条件的中间yolov8改进模型作为所述目标无人机检测模型;响应于所述中间yolov8改进模型的性能未满足训练完成条件,调整所述中间yolov8改进模型的训练权重和训练参数,直至所述中间yolov8改进模型的性能满足训练完成条件,所述训练参数包括初始学习率、训练迭代次数和超参数中的一种或多种参数。
9、在一些实施例中,所述yolov8改进模型是在yolov8模型的基础上进行改进得到的模型,改进过程包括:
10、将所述yolov8模型的主干网络中的conv模块与c2f模块的组合替换为repvggblock模块与repblock模块的组合,得到所述具有repvgg风格结构的可重参数化的主干网络efficientrep,将所述主干网络efficientrep作为所述yolov8改进模型的主干网络;
11、在所述yolov8模型颈部网络中在将特征输出到三个检测头前分别添加一层基于内容引导注意力的混合融合模块cgafusion;
12、选择wassersteinloss损失函数作为yolov8改进模型的损失函数。
13、在一些实施例中,所述训练完成条件为中间yolov8改进模型的精度、召回率和map连续50轮不上升。
14、在一些实施例中,所述具有repvgg风格结构的可重参数化的主干网络efficientrep包括repvggblock模块和repblock模块;
15、所述repblock模块包括多个级联的repvggblock,所述repvggblock模块包括两个3×3卷积层、一个1×1卷积层和三个bn单元。在一些实施例中,所述基于内容引导注意力的混合融合模块cgafusion包括cga单元与一个1×1卷积层,所述基于内容引导注意力的混合融合模块cgafusion用于首先将主干网络中的第4层、第6层和第9层的输出特征与颈部网络中第15层、第18层和第21层的输出特征分别进行加权求和并输入到cga单元中计算权重,然后采用加权求和方法进行组合,还分别在主干网络特征和颈部通过跳跃连接增加输入特征,以缓解梯度消失问题,简化学习过程,最后,对融合后的特征进行1×1卷积层的投影,得到最终的特征。在一些实施例中,所述cga单元包括两个全局平均池化层、一个全局最大池化层、两个1×1卷积层、两个7×7卷积层、一个通道混洗层以及一个sigmoid激活函数层。
16、在cga单元中,通过全局平均池化层和全局最大池化层来生成特征图的全局上下文信息,全局平均池化层捕捉特征图中的平均信息,全局最大池化层捕捉特征图的最显著信息,以获得不同的特征表示。
17、在一些实施例中,wassersteinloss损失函数是在回归损失函数中添加nwd损失,并将iou与nwd损失的比例调整为5:5。
18、在一些实施例中,所述yolov8改进模型的初始训练参数设置包括:设置梯度下降算法为sgd,设置初始化学习率为0.01,设置动量为0.937,设置权重衰减为0.0005,设置输入图像的尺寸全部归一化为640×640,设置训练轮数为500轮次,设置批大小为16。
19、第二方面,本申请实施例提供了一种空中低慢小无人机检测方法,所述方法包括:
20、获取如第一方面所述的模型训练方法中的目标无人机检测模型;
21、将待测无人机图像输入至所述目标无人机检测模型中,得到无人机检测结果,所述无人机检测结果包括目标类别、目标边界框位置、置信度和类别概率。
22、本申请实施例提供的技术方案的有益效果至少包括:
23、本申请实施例提供了一种模型训练方法及空中低慢小无人机检测方法,该方法包括首先,获取样本无人机图像、样本无人机标注图像和包括具有repvgg风格结构的可重参数化的主干网络efficientrep、基于内容引导注意力的混合融合模块cgafusion和wassersteinloss损失函数的yolov8改进模型,可重参数化的主干网络efficientrep具有repvgg风格结构,对硬件计算能力、内存带宽、编译优化特性、网络表征能力等更加友好,通过结构重参数化可以保持计算的一致性和效率,基于内容引导注意力的混合融合模块cgafusion可以缓解梯度消失问题,简化学习过程,增强模型的多层特征融合能力,wassersteinloss损失函数有助于提高模型对微小无人机的检测能力;然后,基于样本无人机图像和样本无人机标注图像,训练yolov8改进模型,得到目标无人机检测模型。该方法可以准确且高效地检测空中低慢小无人机。
1.模型训练方法,其特征在于,所述方法包括:
2.根据权利要求1所述的模型训练方法,其特征在于,所述基于所述样本无人机图像和所述样本无人机标注图像,训练yolov8改进模型,得到目标无人机检测模型,包括:
3.根据权利要求1所述的模型训练方法,其特征在于,所述yolov8改进模型是在yolov8模型的基础上进行改进得到的模型,改进过程包括:
4.根据权利要求2所述的模型训练方法,其特征在于,所述训练完成条件为中间yolov8改进模型的精度、召回率和map连续50轮不上升。
5.根据权利要求1-4任一所述的模型训练方法,其特征在于,所述具有repvgg风格结构的可重参数化的主干网络efficientrep包括repvggblock模块和repblock模块;
6.根据权利要求1-4任一所述的模型训练方法,其特征在于,所述基于内容引导注意力的混合融合模块cgafusion包括cga单元与一个1×1卷积层,所述基于内容引导注意力的混合融合模块cgafusion用于首先将主干网络中的第4层、第6层和第9层的输出特征与颈部网络中第15层、第18层和第21层的输出特征分别进行加权求和并输入到cga单元中计算权重,然后采用加权求和方法进行组合,还分别在主干网络特征和颈部通过跳跃连接增加输入特征,以缓解梯度消失问题,简化学习过程,最后,对融合后的特征进行1×1卷积层的投影,得到最终的特征。
7.根据权利要求6所述的模型训练方法,其特征在于,所述cga单元包括两个全局平均池化层、一个全局最大池化层、两个1×1卷积层、两个7×7卷积层、一个通道混洗层以及一个sigmoid激活函数层;
8.根据权利要求1-4任一所述的模型训练方法,其特征在于,wassersteinloss损失函数是在回归损失函数中添加nwd损失,并将iou与nwd损失的比例调整为5:5。
9.根据权利要求2所述的模型训练方法,其特征在于,所述yolov8改进模型的初始训练参数设置包括:设置梯度下降算法为sgd,设置初始化学习率为0.01,设置动量为0.937,设置权重衰减为0.0005,设置输入图像的尺寸全部归一化为640×640,设置训练轮数为500轮次,设置批大小为16。
10.空中低慢小无人机检测方法,其特征在于,所述方法包括:
