一种基于EDG-YOLO的道路损伤检测方法

专利2025-12-30  8


本发明涉及道路损伤检测,尤其涉及一种基于edg-yolo的道路损伤检测方法。


背景技术:

1、公路是最重要的民用设施之一,在自然环境和行车荷载等因素的影响下,铺砌路面会出现不同程度的损伤,常见的道路路面损伤主要有裂缝、龟裂、坑洼等类型,道路出现损伤若不及时修补,会减少道路的服务寿命,对过往车辆也会造成损害。因此,及时发现并修补道路损伤意义重大。

2、道路损伤的检测与识别是实现道路养护自动化和智能化的重要技术手段,可以为公路养护决策制定及养护工程实施提供准确全面的信息支撑,对实现道路损伤的及时高效修复具有非常重要的意义。自动道路检查使用先进的技术和方法来检测和监控道路损坏;通过快速准确地检测潜在危险,自动道路检查可增强道路安全并减少与手动检查相关的成本和时间;随着人工智能算法的快速发展,基于深度学习模型的道路损伤检测成为研究的焦点;yolov8是yolo目标检测算法家族的重大更新,能对图像中的目标进行快速有效的定位和识别,其包括五个不同版本:yolov8n,yolov8s,yolov8m,yolov8l和yolov8x,其中yolov8n不仅支持目标检测任务,还支持图像分类和实例分割任务;其中,yolov8n由4个部分构成,包括输入端(input)、主干网(backbone)、neck模块和head输出端,不仅支持目标检测任务,还支持图像分类和实例分割任务;yolov8通过输入模块加载图像,此阶段通常采用多种方法对输入进来的图像进行数据增强,数据增强的方式主要有hsv(hue saturationvalue)变换、mosaic数据增强、copy paste数据增强、random affine仿射变换、mixup数据增强等方法;yolov8采用cspdarknet53作为其主干网络,其主要作用是按照不同类型的图像聚合图像信息,以提出图像特征,最终输出包含目标位置,类别等信息的特征图;主干网络主要由cbs、c2f和sppf模块组成,其中cbs模块主要负责通过卷积提取图像的特征信息,它包括二维卷积(conv2d),批归一化(bn)和silu激活函数,c2f模块是一种简化的csp残差块,将输入特征图分为多个个分支,一个分支执行卷积操作后通过多个bottleneck块输出,另外分支不进行任何操作直接进行拼接,这不仅降低了模型的计算难度,还实现了特征更丰富的融合,sppf模块通过在特征图上执行多个最大池化操作,提取并融合高层次的特征,从而获取不同尺度上的特征信息。

3、当前,在利用深度学习模型进行道路损伤检测的过程中,由于实际道路环境中存在行人、车辆、光照不均、树枝遮挡等复杂场景干扰,检测算法容易出现误检、漏检的情况,道路病害形状、大小差异较大,算法难以有效提取病害特征;同时,在提升模型检测精度时无法兼顾其计算成本,检测模型体积较大,难以在嵌入式等边缘设备上进行部署。

4、因此,有必要提供一种基于edg-yolo的道路损伤检测方法。


技术实现思路

1、本发明提供了一种基于edg-yolo的道路损伤检测方法,通过构建elestem前端模块,可学习到更加丰富的图像特征表示,提升模型检测的性能;引入动态上采样dysample,可更好地还原道路损伤的特征,提高模型对细节的感知能力;替换gncsdh检测头,可有效地减少参数数量,同时使探测头具有更强的多尺度感知能力,以部署在资源受限的设备上。

2、本发明提供了一种基于edg-yolo的道路损伤检测方法,包括:

3、获取道路损伤图像数据集,并进行预处理,获得预处理道路损伤图像数据集;

4、基于yolov8网络模型,融合eiestem、dysample和gnscdh构建edg-yolo检测模型,并对edg-yolo检测模型进行训练,获得训练好的edg-yolo检测模型;

5、利用训练好的edg-yolo检测模型,对预处理道路损伤图像数据集进行道路损伤检测,获得多个道路损伤类型。

6、进一步地,获取道路损伤图像数据集,并进行预处理,获得预处理道路损伤图像数据集,包括:

7、基于公开的rdd2022数据集中rdd_china的部分,获取道路损伤图像数据集,并按照8:1:1的划分比例,将道路损伤图像数据集划分为训练子数据集、验证子数据集和测试子数据集;

8、对训练子数据集、验证子数据集和测试子数据集进行标准化或归一化操作,获得预处理道路损伤图像数据集。

9、进一步地,基于yolov8网络模型,融合eiestem、dysample和gnscdh构建edg-yolo检测模型,包括:

10、获取原始yolov8网络模型,将yolov8网络模型的第一层替换为eiestem模块,在yolov8网络模型的颈部网络中引入动态上采样dysample,替换yolov8网络模型的检测头为gnscdh,完成edg-yolo检测模型的构建。

11、进一步地,对edg-yolo检测模型进行训练,包括:

12、配置训练超参数,设置批量为8、迭代次数为300轮;训练edg-yolo检测模型,使用训练子数据集,在每个训练迭代中,计算损失并更新edg-yolo检测模型权重,在每个训练周期结束后,使用验证子数据集来评估edg-yolo检测模型的性能,监控验证子数据集上的损失和准确率,以便及时停止训练,以防止过拟合;同时,在edg-yolo检测模型训练时开启mosaic进行数据增强,并在训练的最后10轮关闭mosaic,以提高edg-yolo检测模型的泛化能力。

13、进一步地,对edg-yolo检测模型进行训练,还包括:

14、使用测试子数据集来评估edg-yolo检测模型的性能,计算edg-yolo检测模型在测试子数据集上的平均精度均值和f1分数,根据平均精度均值和f1分数,绘制可视化评估结果混淆矩阵,以确定其在真实情况中的表现。

15、进一步地,将yolov8网络模型的输入端替换为eiestem模块,包括:

16、将yolov8网络模型的输入端更换为sobel卷积分支和最大池化分支,利用sobel卷积分支提取边缘信息,并通过最大池化分支提取空间信息。

17、进一步地,在yolov8网络模型的颈部网络中引入动态上采样dysample,包括:

18、给定输入特征图x,大小为c×h×w;

19、使用线性层将输入特征图x映射为偏移量矩阵o,线性层的输出通道数为2s2,其中s为上采样因子,偏移量矩阵o的大小为2s2×h×w;

20、对偏移量矩阵o进行像素重组,将其重塑为2×sh×sw的形状,以适应后续的采样操作;

21、将重塑后的偏移量矩阵o与原始的采样网格g相加,得到采样集合s;

22、利用深度学习pytorch中的grid sample函数,基于采样集合s对输入特征图x进行网格采样;

23、在网格采样过程中,利用双线性插值,在特定位置采样输入特征图的值,生成最终的上采样特征图计算过程如下:

24、o=linear(x)

25、s=g+o

26、

27、上式中,o为偏移量矩阵,linear为线性插值函数,s为采样集合,g为采样网格,为采样特征图,grid sample为双线性插值函数。

28、进一步地,替换yolov8网络模型的检测头为gnscdh,包括:引入group normalizat ion(gn)创建组归一化共享卷积检测头(group normal ized shared convolutional detect ion head,gnscdh),具体为:每个检测层先通过gn conv进行特征提取,再将提取到的特征通过共享卷积层进行处理,并引入可学习缩放参数,以允许检测头更好地处理不同尺度和复杂度的输入数据。

29、进一步地,还包括对道路损伤类型进行聚类分析,以获得道路损伤维护策略,具体为:

30、基于不同的道路损伤类型,根据设定的道路损伤的范围和道路损伤程度,制定道路损伤的聚类规则;基于聚类规则,利用聚类算法对每一个类型的道路损伤情况进行聚类分析,获得聚类结果;

31、根据聚类结果,获取满足设定的聚类要求的待维护道路损伤类项数据,以及不满足设定的聚类要求的待判定道路损伤类项数据;

32、基于神经网络概率预测模型,对待维护道路损伤类项数据进行道路损伤维护成功率的预测,获得预测结果;若预测结果中的成功率大于设定的成功率阈值,则制定对道路进行常规维护的第一道路损伤维护策略;若预测结果中的成功率小于设定的成功率阈值,则制定对道路进行彻底翻修的第二道路损伤维护策略;

33、基于长短期记忆网络模型,对不满足设定的聚类要求的待判定道路损伤类项数据,进行道路损伤类项数据发展趋势的预测,获得道路损伤发展趋势预测结果;根据道路损伤发展趋势预测结果,制定道路损伤维护监测的优先级;根据优先级,对待判定道路损伤类项数据进行分级监测,若道路损伤发展趋势预测结果与待维护道路损伤类项数据的相似度大于设定的相似度阈值,则对不满足设定的聚类要求的待判定道路损伤类项数据进行道路损伤维护成功率的预测,以制定第一道路损伤维护策略或第二道路损伤维护策略。

34、进一步地,还包括,根据第一道路损伤维护策略或第二道路损伤维护策略,对维护工作量进行测算,具体为:

35、根据第一道路损伤维护策略或第二道路损伤维护策略,对实施第一道路损伤维护策略或实施第二道路损伤维护策略的工作难度值进行估计测算,获得工作难度估计测算值;

36、对实施第一道路损伤维护策略或实施第二道路损伤维护策略的工作周期进行估计测算,获得工作周期估计测算值;

37、利用二项式函数构造关于维护工作量的目标函数,求解目标函数获得维护工作量测算值;其中,工作难度估计测算值和工作周期估计测算值为二项式系数,目标函数值为维护工作量测算值;

38、对维护工作量测算值进行实施可行性的评估,若评估结果符合设定的评估值,则依据维护工作量测算值安排维护工作;若评估结果不符合设定的评估值,则依据工作周期估计测算值与维护工作量测算值的对应关系库,进行工作周期或维护工作量的调整,以使评估结果符合设定的评估值。

39、本发明与现有技术相比,具有如下的优点和有益效果:通过构建elestem前端模块,可学习到更加丰富的图像特征表示,提升模型检测的性能;引入动态上采样dysample,可更好地还原道路损伤的特征,提高模型对细节的感知能力;替换gncsdh检测头,可有效地减少参数数量,同时使探测头具有更强的多尺度感知能力,以部署在资源受限的设备上。

40、本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

41、下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。


技术特征:

1.一种基于edg-yolo的道路损伤检测方法,其特征在于,包括:

2.根据权利要求1所述的一种基于edg-yolo的道路损伤检测方法,其特征在于,获取道路损伤图像数据集,并进行预处理,获得预处理道路损伤图像数据集,包括:

3.根据权利要求2所述的一种基于edg-yolo的道路损伤检测方法,其特征在于,基于yolov8网络模型,融合eiestem、dysample和gnscdh构建edg-yolo检测模型,包括:

4.根据权利要求2所述的一种基于edg-yolo的道路损伤检测方法,其特征在于,对edg-yolo检测模型进行训练,包括:

5.根据权利要求1所述的一种基于edg-yolo的道路损伤检测方法,其特征在于,对edg-yolo检测模型进行训练,还包括:

6.根据权利要求3所述的一种基于edg-yolo的道路损伤检测方法,其特征在于,将yolov8网络模型的输入端替换为eiestem模块,包括:

7.根据权利要求3所述的一种基于edg-yolo的道路损伤检测方法,其特征在于,在yolov8网络模型的颈部网络中引入动态上采样dysample,包括:

8.根据权利要求3所述的一种基于edg-yolo的道路损伤检测方法,其特征在于,替换yolov8网络模型的检测头为gnscdh,包括:引入group normaliza tion(gn)创建组归一化共享卷积检测头(group normalized shared convoluti onal detection head,gnscdh),具体为:每个检测层先通过gn conv进行特征提取,再将提取到的特征通过共享卷积层进行处理,并引入可学习缩放参数,以允许检测头更好地处理不同尺度和复杂度的输入数据。

9.根据权利要求1所述的一种基于edg-yolo的道路损伤检测方法,其特征在于,还包括对道路损伤类型进行聚类分析,以获得道路损伤维护策略,具体为:

10.根据权利要求9所述的一种基于edg-yolo的道路损伤检测方法,其特征在于,还包括,根据第一道路损伤维护策略或第二道路损伤维护策略,对维护工作量进行测算,具体为:


技术总结
本发明道路损伤检测技术领域,提供一种基于EDG‑YOLO的道路损伤检测方法,包括:获取道路损伤图像数据集,并进行预处理,获得预处理道路损伤图像数据集;基于YOLOv8网络模型,融合EIEStem、Dysample和GNSCDH构建EDG‑YOLO检测模型,并对EDG‑YOLO检测模型进行训练,获得训练好的EDG‑YOLO检测模型;利用训练好的EDG‑YOLO检测模型,对预处理道路损伤图像数据集进行道路损伤检测,获得多个道路损伤类型。本发明可学习到更加丰富的图像特征表示,提升模型检测性能;可更好还原道路损伤特征,提高模型对细节的感知能力;可有效减少参数数量,同时使探测头具有更强多尺度感知能力。

技术研发人员:张蓉蓉,郭乃瑄,王浩博,张福,顾荣辰,华珍珍,薛珺,董琴,徐森
受保护的技术使用者:盐城工学院
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-28744.html