本技术涉及目标检测,特别涉及模型训练方法及智慧工地安全设备检测方法。
背景技术:
1、在智慧工地中,智能监控系统逐渐成为工地安全管理的关键,利用数字图像技术和目标检测技术,能够有效地过滤掉无用信息,保留关键安全信息,并在此基础上进行进一步的分析,保障工地安全设备的稳定运行。
2、目前,yolov8高精度检测模型结构复杂,参数量和计算量过大,难以满足低功耗的嵌入式设备和移动设备的使用。
技术实现思路
1、鉴于此,本技术提供一种模型训练方法及智慧工地安全设备检测方法,可以减少参数量和计算量,提升智慧工地中安全设备的检测效果,保证检测实时性和高效性。
2、具体而言,包括以下的技术方案:
3、第一方面,本技术实施例提供了一种模型训练方法,所述方法包括:
4、获取样本安全设备图像、样本安全设备标注图像和yolov8改进模型,所述yolov8改进模型包括高层筛选特征融合金字塔结构、动态采样模块、repghostcspelan模块和seam注意力模块;
5、基于所述样本安全设备图像和所述样本安全设备标注图像,训练yolov8改进模型,得到目标安全设备检测模型。
6、在一些实施例中,所述基于所述样本安全设备图像和所述样本安全设备标注图像,训练yolov8改进模型,得到目标安全设备检测模型,包括:
7、基于所述样本安全设备图像和所述样本安全设备标注图像,训练yolov8改进模型,得到中间yolov8改进模型;
8、响应于所述中间yolov8改进模型的性能满足训练完成条件,将满足训练完成条件的中间yolov8改进模型作为所述目标安全设备检测模型;响应于所述中间yolov8改进模型的性能未满足训练完成条件,调整所述中间yolov8改进模型的训练权重和训练参数,直至所述中间yolov8改进模型的性能满足训练完成条件,所述训练参数包括初始学习率、训练迭代次数和超参数中的一种或多种参数。
9、在一些实施例中,所述yolov8改进模型是在yolov8模型的基础上进行改进得到的模型,改进过程包括:
10、在颈部网络部分,引入高层筛选特征融合金字塔结构,得到第一改进模型;
11、采用所述动态采样模块替换所述第一改进模型的上采样模块,得到第二改进模型;
12、采用所述repghostcspelan模块替换所述第二改进模型的主干网络部分和颈部网络部分中的传统c2f模块,得到第三改进模型;
13、采用所述seam注意力模块改进第三改进模型的检测头,得到所述yolov8改进模型。
14、在一些实施例中,所述训练完成条件为中间yolov8改进模型的参数量、计算量和权重连续50轮不下降,并且精度、召回率和map50连续300轮不提升。
15、在一些实施例中,所述高层筛选特征融合金字塔结构,在所述高层筛选特征融合金字塔结构中,首先提取多层次特征图,所述多层次特征图会经过ca模块中的全局平均池化层和全局最大池化层进行处理,提取每个通道的平均响应和最大响应,生成的特征图通过连接操作拼接后,再利用sigmoid激活函数确定每个通道的注意力权重值fca∈rc×1×1,而后将权重值与相应尺度的特征图相乘,生成筛选后的注意力权重图,最后,特征融合模块将经过筛选的低层特征与高层特征进行高效融合。
16、在一些实施例中,所述动态采样模块是通过上采样模块改进得到的,用于动态空间采样,通过应用学习到的偏移量对输入张量的空间维度进行调整,所述动态采样模块包括依次连接的缩放单元、偏移卷积层和范围卷积层;
17、所述缩放单元用于调整输入大小,所述偏移卷积层用于生成采样的偏移量,并采用正态分布初始化,范围卷积层在启用时生成范围图,并以常量值进行初始化。
18、在一些实施例中,所述repghostcspelan模块包括依次连接的第一卷积层、分割层、重参数化卷积层、多个第二卷积层、拼接层和第三卷积层,所述分割层将输入特征图分割成两部分,一部分直接传递给拼接层,另一部分经过重参数化卷积层处理后再与多个第二卷积层的输出进行拼接,所述repghostcspelan模块用于融合不同分支的特征信息,通过跨阶段的部分特征连接增强特征表示能力,同时优化梯度流通路径,提高模型的训练效率和收敛速度。
19、在一些实施例中,所述第一卷积层的卷积核大小为1×1,步长为1,填充为0,输出通道数为2e×c_out,所述第一卷积层用于对输入特征图进行通道数的调整和信息的初步融合;
20、所述第二卷积层的卷积核大小为3×3,步长为1,填充为1,输出通道数为scale×e×c_out,所述第二卷积层用于生成部分冗余特征图,降低了模型的计算量和参数量;
21、所述第三卷积层的卷积核大小为1×1,步长为1,填充为0,输出通道数为c_out,所述第三卷积层用于对拼接后的特征图进行最终的通道数调整和特征融合,输出模块的处理结果;
22、其中,e表示隐含通道系数,用于控制模块内部的通道数扩展比例,c_out表示输出通道数,即模块处理后的特征图通道数,scale表示特征图缩放系数,用于调整不同分支特征图的规模。
23、在一些实施例中,获取样本安全设备图像和样本安全设备标注图像包括:
24、构建原始安全设备图像,所述原始安全设备图像包括不同拍摄角度、不同距离、不同天气状况和不同光照条件下的工地环境图像;
25、对所述原始安全设备图像中的安全帽、安全绳、用户头部和用户身体通过标签进行标注,并将标签的标注格式由json格式转换成yolo支持的文件格式,得到原始安全设备标注图像,其中,所述标签包括目标类别、标注边界框的中心点坐标以及标注边界框的宽度,所述目标类别包括安全帽、安全绳、用户头部和用户身体;
26、对所述原始安全设备图像和所述原始安全设备标注图像划分为训练集、验证集和测试集;
27、对所述训练集、所述验证集和所述测试集依次进行图像剪切和粘贴处理、标签融合处理、多次图像增强处理,得到增强后的训练集、验证集和测试集,其中,增强后的训练集包括样本安全设备图像和样本安全设备标注图像。
28、第二方面,本技术实施例提供了一种智慧工地安全设备检测方法,所述方法包括:
29、获取如第一方面所述的模型训练方法中的目标安全设备检测模型;
30、将待测安全设备图像输入至所述目标安全设备检测模型中,得到安全设备检测结果,所述安全设备检测结果包括目标类别、目标边界框位置、置信度和类别概率,所述目标类别包括安全帽、安全绳、用户头部和用户身体。
31、本技术实施例提供的技术方案的有益效果至少包括:
32、本技术实施例提供了一种模型训练方法及智慧工地安全设备检测方法,所述方法包括首先,获取样本安全设备图像、样本安全设备标注图像和yolov8改进模型,所述yolov8改进模型包括高层筛选特征融合金字塔结构、动态采样模块、repghostcspelan模块和seam注意力模块,高层筛选特征融合金字塔结构结合了高层筛选特征与多尺度融合,有效提升了检测精度和鲁棒性,有效提高yolov8改进模型的特征提取能力,动态采样模块通过动态调整采样策略,使上采样过程更加精确和高效,可以提高特征图的分辨率和细节保留能力,还增强了yolov8改进模型在多尺度特征提取过程中的灵活性和鲁棒性,使yolov8改进模型在各种复杂场景下都能保持高效的特征提取和处理能力,repghostcspelan模块结合了ghostnet的设计理念,在不显著增加计算复杂度的情况下利用简单的廉价操作生成大量冗余特征,替代传统卷积操作中高计算量的部分,有效降低计算量和参数量,保持甚至提升模型的特征表达能力,同时,通过在梯度流通分支上采用结构重参数化,增强特征提取和梯度流通能力,实现高效特征提取,保持低浮点运算次数,seam注意力模块通过增强对遮挡区域的注意力,强化对关键特征的聚焦和抑制非关键信息,通过同时关注空间和通道信息,能够更好地捕捉目标的细节特征,显著提高了模型在物体部分遮挡情况下的检测精度和鲁棒性,提高检测精度;然后,基于所述样本安全设备图像和所述样本安全设备标注图像,训练yolov8改进模型,得到目标安全设备检测模型。该方法可以减少参数量和计算量,提升智慧工地中安全设备的检测效果,保证检测实时性和高效性。
1.模型训练方法,其特征在于,所述方法包括:
2.根据权利要求1所述的模型训练方法,其特征在于,所述基于所述样本安全设备图像和所述样本安全设备标注图像,训练yolov8改进模型,得到目标安全设备检测模型,包括:
3.根据权利要求1所述的模型训练方法,其特征在于,所述yolov8改进模型是在yolov8模型的基础上进行改进得到的模型,改进过程包括:
4.根据权利要求2所述的模型训练方法,其特征在于,所述训练完成条件为中间yolov8改进模型的参数量、计算量和权重连续50轮不下降,并且精度、召回率和map50连续300轮不提升。
5.根据权利要求1-4任一所述的模型训练方法,其特征在于,所述高层筛选特征融合金字塔结构,在所述高层筛选特征融合金字塔结构中,首先提取多层次特征图,所述多层次特征图会经过ca模块中的全局平均池化层和全局最大池化层进行处理,提取每个通道的平均响应和最大响应,生成的特征图通过连接操作拼接后,再利用sigmoid激活函数确定每个通道的注意力权重值fca∈rc×1×1,而后将权重值与相应尺度的特征图相乘,生成筛选后的注意力权重图,最后,特征融合模块将经过筛选的低层特征与高层特征进行高效融合。
6.根据权利要求1-4任一所述的模型训练方法,其特征在于,所述动态采样模块是通过上采样模块改进得到的,用于动态空间采样,通过应用学习到的偏移量对输入张量的空间维度进行调整,所述动态采样模块包括依次连接的缩放单元、偏移卷积层和范围卷积层;
7.根据权利要求1-4任一所述的模型训练方法,其特征在于,所述repghostcspelan模块包括依次连接的第一卷积层、分割层、重参数化卷积层、多个第二卷积层、拼接层和第三卷积层,所述分割层将输入特征图分割成两部分,一部分直接传递给拼接层,另一部分经过重参数化卷积层处理后再与多个第二卷积层的输出进行拼接,所述repghostcspelan模块用于融合不同分支的特征信息,通过跨阶段的部分特征连接增强特征表示能力,同时优化梯度流通路径,提高模型的训练效率和收敛速度。
8.根据权利要求7所述的模型训练方法,其特征在于,所述第一卷积层的卷积核大小为1×1,步长为1,填充为0,输出通道数为2e×c_out,所述第一卷积层用于对输入特征图进行通道数的调整和信息的初步融合;
9.根据权利要求7所述的模型训练方法,其特征在于,获取样本安全设备图像和样本安全设备标注图像包括:
10.智慧工地安全设备检测方法,其特征在于,所述方法包括:
