本技术涉及数据处理,特别是涉及基于自主智能体的道路病害检测方法及系统。
背景技术:
1、在交通量快速增长的背景下,超重车辆增多,再加上极端气候条件的影响,导致公路路面及路基的性能易受损害,如出现裂缝、松散、坍塌及空洞等病害。这些病害会直接影响行车安全并增加交通事故风险。因此,及时发现并修复道路缺陷是保障道路安全、提升交通效率的重要手段之一。
2、传统的道路缺陷检测主要依靠人工经验探查,这种方法不仅效率低下、成本较高,还容易受到人为因素的干扰,难以满足当前大规模道路检测的需求。随着计算机视觉等信息技术的发展,一些自动化道路缺陷检测的研究取得了一定成果,基于计算机视觉的有监督检测算法已在道路病害检测中广泛应用。然而,这类方法面临数据获取难度大、样本量不足以及数据标注成本高的挑战,限制了智能化检测设备的开发与普及。特别是在道路内部病害的检测中,虽然探地雷达(gpr)技术已应用于实际路面检测,但缺乏一致性的训练数据使得检测模型难以在真实检测场景中实现高精度预测。
技术实现思路
1、本技术实施例提供了一种基于自主智能体的道路病害检测方法及系统,实现多源数据集成的智能检测,能够完成道路病害的全面采集与检测,并具备对新样本的自主学习与更新能力,不仅能降低数据标注成本,还可以提高道路病害检测的精确度,为高效的公路养护管理提供有力支持。
2、第一方面,本技术实施例提供了一种基于自主智能体的道路病害检测方法,包括:
3、数据获取步骤,通过autostudio工具构建并在一中央控制模块的计算单元部署自主智能体,自主智能体用于接收远程终端的检测指令并按照预设工作流运行,基于自主智能体的大语言模型,即llm模型,控制探地雷达机组gpr按规划路径获取道路内部病害数据,并通过图像采集单元获取道路表观病害数据,所述道路内部病害数据包括b-scan图像、c-scan图像、d-scan图像,所述道路表观病害数据包括表观病害可见光图像和表观病害红外图像;
4、内部病害检测步骤,所述自主智能体获取并对道路内部病害数据进行预处理后,利用多个子代理分别通过api端口调用预训练的半监督检测算法处理所述b-scan图像、c-scan图像、d-scan图像,并将子代理的决策结果通过加权进行多代理决策融合确定内部病害检测结果,得到道路内部病害的类型和位置;
5、表观病害检测步骤,所述自主智能体获取并道路表观病害数据进行预处理后,利用二子代理分别通过api端口调用预训练的半监督检测算法处理所述表观病害可见光图像和表观病害红外图像,并对子代理的决策结果通过加权进行多代理决策融合确定表观病害检测结果,得到道路表观病害的类型和位置;
6、其中,自主智能体的大脑利用llm模型基于预设的工作流分解检测目标,并按工作流调用chatgpt4进行决策推理。
7、在其中一些实施例中,所述半监督检测算法的训练过程具体包括:
8、训练数据获取步骤,利用周期自适应器在每个训练周期中获取初始数据集中与待处理图像类型对应的标记图像和未标记图像;其中,初始数据集是预先通过labelimg工具对已收集的典型病害雷达图像、可见光图像及红外图像进行标记,构建内部病害初始数据集、外部病害初始数据集。
9、数据预处理步骤,对标记图像进行cutmix增强和mosaic增强处理,对未标记图像进行cutmix增强、mosaic增强和强增强处理,所述强增强处理包括随机翻转操作、大尺度抖动操作、灰度处理操作、高斯模糊操作,来模拟图像在实际应用中可能遇到的各种变化和扰动,以提高模型的鲁棒性和泛化能力;
10、教师模型训练步骤,将未标记数据输入教师模型的密集检测器,生成预测结果作为伪标签,所述伪标签通过伪标签分配器基于一置信度阈值分为可靠伪标签和不确定伪标签,所述预测结果包括边界框和分类得分;
11、学生模型协同步骤,学生模型的密集检测器获取所述未标记图像及其可靠性伪标签、不确定伪标签,基于所述未标记图像的可靠伪标签及所述标记图像进行训练,并进行损失计算,基于所述未标记图像的不确定伪标签进行训练,训练后采用ema算法将学生模型的密集检测器的参数更新到教师模型的密集检测器,所述不确定伪标签预先经软标签损失函数处理;
12、模型更新迭代步骤,重复所述教师模型训练步骤及学生模型协同步骤,将满足迭代结束条件的学生模型作为检测模型。
13、在其中一些实施例中,所述密集检测器采用深度残差网络resnet-50 作为主干网络,结合特征金字塔网络fpn来提取不同尺度的特征,其输出包括分类分支、回归分支和目标性分支来预测图像中每个锚框的目标类别、锚框的边界框坐标偏移和评估每个锚框是否包含目标。
14、在其中一些实施例中,所述伪标签分配器预配置两个置信度阈值,,
15、若所述分类得分,则所述伪标签为可靠伪标签,可直接用于学生模型的训练,利用分类损失、回归损失和目标性损失进行损失计算,分类损失举例但不限于交叉熵损失,回归损失举例但不限于均方误差、平均绝对误差,目标性损失举例但不限于交并比损失;
16、若所述分类得分,则丢弃所述伪标签;
17、若所述分类得分,则所述伪标签为不确定伪标签,采用目标性损失进行损失计算。
18、第二方面,本技术实施例提供了一种基于自主智能体的道路病害检测系统,包括车体及设于车体上的中央控制模块、感知模块,中央控制模块用于控制车体行走并提供数据处理资源,感知模块用于进行外部环境感知并获取病害数据;
19、车体两侧安装有行走设备,用于驱动进行道路病害检测和作为各组成部件集成的载体;所述行走设备具体为一对滚轮,通过电机驱动滚轮转动;
20、所述中央控制模块设于车体内部,连接所述感知模块并经一通信模块连接远程终端,实现感知模块的数据处理、控制指令生成和任务管理;所述通信模块包括wifi模块或以太网模块;
21、其中,所述中央控制模块包括计算单元、4g模块和扩展存储模块,所述4g模块和扩展存储模块通信连接所述计算单元,在所述计算单元上部署自主智能体并基于torch及onnx框架部署半监督检测算法,所述自主智能体用于根据控制指令控制车体行走并实现如上述第一方面的基于自主智能体的道路病害检测方法。其中,半监督检测算法使用tensorrt引擎进行推理加速。
22、在其中一些实施例中,所述感知模块包括:
23、rtk定位单元,其流动站架设于车体,并无线通信连接所述中央控制模块;rtk定位单元的基准站设于一固定位置,所述流动站与所述基准站通过蜂窝网络通信进行差分数据传输,输出数据通过nmea 0183协议传输,输出数据包括全局定位系统固定数据gga、地面速度信息vtg等。
24、图像采集单元,包括可见光相机、红外相机,通过一相机支架固定于车体,并通信连接所述中央控制模块,所述图像采集单元用于采集道路表观病害可见光图像和道路表观病害红外图像并进行配准、融合,从而结合两种图像提供更全面的病害检测信息用于检测;
25、激光测距雷达,设于车体,并通信连接所述中央控制模块,用于生成360度的平面点云数据,实现环境感知,以支持实现行走过程的避障、转弯与环境地图的构建;
26、深度相机,设于车体前侧,并通信连接所述中央控制模块,用于捕捉前方三维点云数据和rgb图像,检测识别前方障碍物,以支持实时调整行驶路径进行避障,提升行走安全性,
27、探地雷达机组gpr,设于车体,并通信连接所述中央控制模块,用于与路面形成空气耦合系统。
28、在其中一些实施例中,所述计算单元预先配置有自动巡检任务,所述自动巡检任务包括:巡检目标点列表、巡检区域边界、局部巡检频次或采集数据类型。
29、在其中一些实施例中,所述探地雷达机组gpr包括主控制器、发射天线、发射机、接收天线和接收机,设定频率范围为2.5 ghz至10 ghz。
30、在其中一些实施例中,所述车体内还设置有一电池模块,电性连接所述电机及所述感知模块为其供电。
31、在其中一些实施例中,所述车体内还设置有惯性测量单元imu和gps传感器,电性连接所述中央控制模块。所述中央控制模块利用姿态融合算法将惯性测量单元imu的加速度和角速度与所述rtk定位单元的位置信息融合,获取稳定的姿态估计,用于提供辅助定位和导航。
32、相比于相关技术,本技术实施例通过构建所述自主智能体针对道路表观病害、内部病害进行自主学习和检测,相互增强,相互校验,提升检测性能,将自主学习智能代理技术和道路病害检测的协同应用,并实现集成数据采集、病害特征自主学习和病害识别功能于一体的技术改进,从而有效应对道路内部病害数据不一致的问题,提高检测的效率和精度,并降低检测的智力成本和时间成本。
33、本技术的一个或多个实施例的细节在以下附图和描述中提出,以使本技术的其他特征、目的和优点更加简明易懂。
1.一种基于自主智能体的道路病害检测方法,其特征在于,包括:
2.根据权利要求1所述的基于自主智能体的道路病害检测方法,其特征在于,所述半监督检测算法的训练过程具体包括:
3. 根据权利要求2所述的基于自主智能体的道路病害检测方法,其特征在于,所述密集检测器采用深度残差网络resnet-50 作为主干网络,结合特征金字塔网络fpn来提取不同尺度的特征,其输出包括分类分支、回归分支和目标性分支来预测图像中每个锚框的目标类别、锚框的边界框坐标偏移和评估每个锚框是否包含目标。
4.根据权利要求2所述的基于自主智能体的道路病害检测方法,其特征在于,所述伪标签分配器预配置两个置信度阈值,,
5.一种基于自主智能体的道路病害检测系统,包括车体及设于车体上的中央控制模块、感知模块,其特征在于,
6.根据权利要求5所述的基于自主智能体的道路病害检测系统,其特征在于,所述感知模块包括:
7.根据权利要求6所述的基于自主智能体的道路病害检测系统,其特征在于,所述计算单元预先配置有自动巡检任务,所述自动巡检任务包括:巡检目标点列表、巡检区域边界、局部巡检频次或采集数据类型。
8. 根据权利要求6所述的基于自主智能体的道路病害检测系统,其特征在于,所述探地雷达机组gpr包括主控制器、发射天线、发射机、接收天线和接收机,设定频率范围为2.5ghz至10 ghz。
9.根据权利要求5或6所述的基于自主智能体的道路病害检测系统,其特征在于,所述车体内还设置有一电池模块,电性连接所述感知模块为其供电。
10.根据权利要求5或6所述的基于自主智能体的道路病害检测系统,其特征在于,所述车体内还设置有惯性测量单元imu和gps传感器,电性连接所述中央控制模块。
