本发明主要涉及公路能见度检测,具体涉及一种雷达与视觉融合的公路能见度检测方法及系统。
背景技术:
1、公路能见度是道路交通安全的一个重要指标,能见度过低会导致驾驶员的视线受阻,对突发状况的响应时间变短,容易引起交通事故的发生。因此,公路能见度的准确测量在交通运输领域有着重要的意义。基于毫米波雷达与视觉融合的技术在交通领域的应用越来越广泛,常用来做交通事件检测、交通参数测量。毫米波雷达可对车辆中的运动目标进行检测和准确的测距,而视觉可以对能见度范围内的感兴趣目标进行检测。因此,利用公路中现有的雷视融合设备来做公路的能见度检测是一个不错的选择。
2、目前公路能见度检测方法可分为三大类,人工目测法、机器检测法和视觉检测法,具体如下:
3、1、人工目测法通过工作人员观测目标物的清晰度的方法来估计能见度,工作人员可以在监控中心通过视频监控画的方式目测,该方式可以在短时间内估计出较大范围内的能见度,但效率较低;也可以在公路现场观测,这种方式虽然能够持续输出该场景下的能见度,但覆盖面非常有限;人工目测法虽然操作简单,但需要消耗较多的人力,且受主观因素影响较大,检测精度与一致性较低,覆盖面和工作效率难以有效保证。
4、2、机器检测法通过安装在道路附近的能见度检测仪等设备对能见度进行监测,一般基于激光或者红外技术,可直接测量能见度值,检测结果准确度很高,但能见度检测仪的造价高、调试复杂,功能单一,效费比偏低,无法进行密集架设,难以做到路段的全方位实时监测。
5、3、视觉检测法通过架设在高速公路上的监控相机来获取现场图像,并对图像进行分析来确定能见度,但该方法仅用于特定场景,针对每个场景都需要人工进行目标设置、摄像机标定等操作,普适性与可迁移性较差,在大规模应用当中需要耗费较多人力。
6、现有的基于视觉的能见度检测方法主要分为两大类。一类是基于传统的图像处理方法,该方法中有两个关键参数需要测量,一个是图像中目标物的能见度值,另一个是该目标物相对于检测相机的距离;该方法首先在场景内选择一个特征区域,通过人工测量或者标定相机内参和外参的方法确定该特征区域离检测相机的距离;然后对该特征区域在不同能见度等级下的特征进行建模并保存为特征库,同时建立特征库与能见度等级的对应关系;在实际使用过程中,通过自动检测或者划定固定区域的方法获取特征区域,并按照与特征区域的特征建模方法提取特征,将提取的特征与特征库进行比对,再根据特征库与能见度等级的对应关系得到此时该区域的能见度等级;在多个不同距离上选择多个特征区域,即能够对不同距离的能见度进行检测。该方法需要人工对每个场景进行特征区域的选取和特征建模,工作量大,难以大范围推广应用。
7、另一类是基于深度学习的方法,方法首先构建数据集,通过采集实际场景中高速公路的雾天图像,并对雾天图像的能见度等级进行标注,能见度等级标注的依据可通过人工目测确定,也可以通过获取同时刻、同区域的能见度检测仪的检测结果来确定,从而构建的数据集;然后构建一个深度学习模型,同时将数据集按照一定的比例划分为训练集、验证集、测试集,并使用数据集对深度学习模型进行训练,训练结束后得到一个模型权重文件;最后将深度学习模型以及权重文件部署在相关硬件上,实时获取公路监控相机的视频,对视频进行解码后形成一帧帧图像,将图像送入深度学习模型,即可得到能见度等级的分类结果。该方法需要专门为能见度检测构建雾天数据集,数据采集的周期长,影响项目建设进度,如果实际使用的相机与构建数据集的相机在视场角上差别较大时,检测结果将会有很大的误差。
8、即现有的基于视觉的能见度检测方法的两大类方法中,要么需要人工对每个场景进行特征区域的选取和特征建模,工作量大,难以大范围推广应用;要么需要专门为能见度检测构建数据集和神经网络模型,如果实际使用的相机与构建数据集的相机在视场角上差别较大时,检测结果将会有很大的误差,因为不同监控相机在不同成像时段和光照条件下的成像效果差异性较大,仅仅依赖视觉特征往往难以得到较好的预测结果。
技术实现思路
1、针对现有技术存在的技术问题,本发明提供一种预测精度高的雷达与视觉融合的公路能见度检测方法及系统。
2、为解决上述技术问题,本发明提出的技术方案为:
3、一种雷达与视觉融合的公路能见度检测方法,包括步骤:
4、获取雷达所检测的雷达目标以及相机检测到的视觉目标;
5、根据每个距离区间的雷达目标和视觉目标的数量关系,评估该距离区间内能见度程度;
6、将所述雷达目标与视觉目标进行融合,得到雷视目标,根据相机检测的情况确定各雷视目标能被相机检测到的最远距离,进而计算能见度距离值;
7、根据所述能见度程度与所述能见度距离值,判断输出能见度等级。
8、优选地,根据每个距离区间的雷达目标和视觉目标的数量关系,评估该距离区间内能见度程度的具体过程为:
9、能见度等级划分:将能见度等级划分为多个;各个能见度等级对应不同的距离区间;
10、各距离区间能见度程度评估:获取能见度等级对应各距离区间内的雷达目标轨迹和视觉目标轨迹的数量,再根据每个距离区间的雷达目标轨迹和视觉目标轨迹的数量关系,得出该距离区间内能见度程度。
11、优选地,在雷达和相机的时间同步的情况下,根据相机的视频帧率、雷达轨迹的更新率,将雷达目标轨迹与视觉目标轨迹进行时间上对齐。
12、优选地,在获取能见度等级对应各距离区间内的雷达目标轨迹和视觉目标轨迹的数量的过程中,通过雷达与相机之间的标定参数,将视觉目标投影到雷达坐标系当中,能够得到视觉目标相对于雷达的距离,从而能够得到雷达目标和视觉目标所处距离区间。
13、优选地,所述能见度程度的具体计算公式为:(视觉目标数量/雷达目标数量)*100%,若结果大于100%则置为100%。
14、优选地,得到能见度距离值的具体过程为:
15、雷达和视觉目标融合与关联:将雷达目标轨迹与视觉目标轨迹进行时间上对齐,以及将雷达目标轨迹和视觉目标轨迹映射到同一个坐标系,再将时间上对齐、空间上统一到同一坐标系后的雷达目标轨迹和视觉目标轨迹进行融合和关联,得到雷视目标轨迹;
16、获取各雷视目标轨迹能被视觉检测到的最远距离;
17、根据各雷视目标轨迹能被视觉检测到的最远距离计算能见度距离值。
18、优选地,获取各雷视目标轨迹能被视觉检测到的最远距离的具体过程为:雷视目标轨迹包含目标的距离信息,从而得到该目标能被视觉检测到的最远距离;如果目标是远离相机运动,则该目标被视觉检测到的最远距离为该目标最后一次被视觉检测到时的距离;如果目标是靠近相机运动,则该目标被视觉检测到的最远距离为该目标首次被视觉检测到时的距离。
19、优选地,根据各雷视目标轨迹能被视觉检测到的最远距离计算能见度距离值的具体过程为:
20、采用平均绝对偏差法剔除异常值,在剔除异常值之后,将统计时间段内的多个雷视目标能被视觉检测到的最远距离做算术平均,如果该平均值大于预设最大值,则直接判定为能见度良好,否则将该平均值作为此时的能见度距离值。
21、优选地,所述坐标系为相机坐标系、雷达坐标系或者世界坐标系。
22、本发明还公开了一种雷达与视觉融合的公路能见度检测系统,包括雷达处理模块、视觉处理模块、雷达与相机标定模块、雷达与相机融合关联模块、能见度程度检测模块、能见度距离计算模块和能见度等级融合输出模块;
23、所述雷达处理模块,用于获取雷达目标;
24、所述视觉处理模块,用于获取视觉目标;
25、所述雷达与相机标定模块,用于对同一目标在同一时刻的雷达目标和视觉目标做一一对应,形成雷达目标和视觉目标的点对的集合,再计算出每一组点对中雷达目标与视觉目标之间的转换关系,从而得到雷达目标所在坐标系与视觉目标所在坐标系之间的标定参数;
26、所述雷达与相机融合关联模块,用于将雷达目标轨迹与视觉目标轨迹进行时间上对齐,以及将雷达轨迹和视觉轨迹映射到同一个坐标系,再将时间上对齐、空间上统一到同一坐标系后的雷达目标轨迹和视觉目标轨迹进行融合和关联,得到雷视目标轨迹;
27、所述能见度程度检测模块,用于根据每个距离区间的雷达目标和视觉目标的数量关系,评估该距离区间内能见度程度;
28、所述能见度距离计算模块,用于检测雷视目标轨迹能被视觉检测到的最远距离,以计算得到能见度距离值;
29、所述能见度等级融合输出模块,用于根据所述能见度程度与所述能见度距离值判断输出能见度等级。
30、与现有技术相比,本发明的优点在于:
31、本方法的智能化程度高,不需要人工参与,能够实现能见度的自动化实时测量,消除了人工主观性对检测结果的影响,预测精度高且具有较强的普适性,不需要针对不同场景做特殊设置与优化,也不需要对待检测场景构建专门的雾天数据集,开发周期短,可实现“即插即用”,适合大规模推广与应用,并可以利用公路上架设好的雷视融合设备进行检测,不需要再额外增加成本。
1.一种雷达与视觉融合的公路能见度检测方法,其特征在于,包括步骤:
2.根据权利要求1所述的雷达与视觉融合的公路能见度检测方法,其特征在于,根据每个距离区间的雷达目标和视觉目标的数量关系,评估该距离区间内能见度程度的具体过程为:
3.根据权利要求2所述的雷达与视觉融合的公路能见度检测方法,其特征在于,在雷达和相机的时间同步的情况下,根据相机的视频帧率、雷达轨迹的更新率,将雷达目标轨迹与视觉目标轨迹进行时间上对齐。
4.根据权利要求2或3所述的雷达与视觉融合的公路能见度检测方法,其特征在于,在获取能见度等级对应各距离区间内的雷达目标轨迹和视觉目标轨迹的数量的过程中,通过雷达与相机之间的标定参数,将视觉目标投影到雷达坐标系当中,能够得到视觉目标相对于雷达的距离,从而能够得到雷达目标和视觉目标所处距离区间。
5.根据权利要求2或3所述的雷达与视觉融合的公路能见度检测方法,其特征在于,所述能见度程度的具体计算公式为:(视觉目标数量/雷达目标数量)*100%,若结果大于100%则置为100%。
6.根据权利要求1-3中任意一项所述的雷达与视觉融合的公路能见度检测方法,其特征在于,得到能见度距离值的具体过程为:
7.根据权利要求6所述的雷达与视觉融合的公路能见度检测方法,其特征在于,获取各雷视目标轨迹能被视觉检测到的最远距离的具体过程为:雷视目标轨迹包含目标的距离信息,从而得到该目标能被视觉检测到的最远距离;如果目标是远离相机运动,则该目标被视觉检测到的最远距离为该目标最后一次被视觉检测到时的距离;如果目标是靠近相机运动,则该目标被视觉检测到的最远距离为该目标首次被视觉检测到时的距离。
8.根据权利要求6所述的雷达与视觉融合的公路能见度检测方法,其特征在于,根据各雷视目标轨迹能被视觉检测到的最远距离计算能见度距离值的具体过程为:
9.根据权利要求6所述的雷达与视觉融合的公路能见度检测方法,其特征在于,所述坐标系为相机坐标系、雷达坐标系或者世界坐标系。
10.一种雷达与视觉融合的公路能见度检测系统,其特征在于,包括雷达处理模块、视觉处理模块、雷达与相机标定模块、雷达与相机融合关联模块、能见度程度检测模块、能见度距离计算模块和能见度等级融合输出模块;
