一种基于YOLO神经网络的车速识别系统

专利2025-04-02  28


本发明涉及车速识别,尤其涉及一种基于yolo神经网络的车速识别系统。


背景技术:

1、目前的单目摄像头车辆测速方法主要依靠先验的摄像头信息、实际路面数据,才能完成车辆测速任务。事实上,由于交通摄像头数量繁多,角度几乎各不相同,由于实际路面数据难以获取等原因,使得车辆测速任务难以开展,使用yolo模型进行车辆速度估计时具有较大的延迟,计算效率低,且估计精度低。


技术实现思路

1、本发明提供一种基于yolo神经网络的车速识别系统,以克服上述技术问题。

2、一种基于yolo神经网络的车速识别系统,包括视频处理和摄像头校准模块、车辆识别与跟踪模块、深度图生成模块以及车速计算模块,

3、所述视频处理和摄像头校准模块用于将交通摄像头录制的视频按照时间顺序转化为图像集,计算图像集中相邻图像的像素值变化为零的像素点的百分比和校准阈值,根据百分比与校准阈值判断是否对交通摄像头进行校准,若对交通摄像头进行校准,则根据校准后的交通摄像头重新录制视频并转化为新的图像集,反之,则不重新获取新的图像集;

4、所述车辆识别与跟踪模块用于搭建yolov8神经网络模型并进行改进,基于改进后的yolov8神经网络模型对每一张图像中的车辆集进行识别并获取识别结果,基于识别结果对视频中的车辆集进行跟踪并获取跟踪结果,所述跟踪结果包括每个车辆的边界框、中心坐标,根据跟踪结果获取车辆的像素位移数据,

5、所述深度图生成模块用于基于选择策略从图像集中筛选部分图像集,所述选择策略为从图像集中获取录制开始后的前十帧图像,基于pixelformer模型对部分图像集中每一张图像生成估计相对位移的深度图,

6、所述车速计算模块用于基于深度图拟合缩放比例因子,基于车辆的像素位移数据和缩放比例因子计算车辆在相邻图像间的实际速度,基于车辆的实际速度和测速周期计算不同方向的车流速度。

7、优选地,所述计算图像集中相邻图像的像素值变化为零的像素点的百分比和校准阈值包括:

8、s11、计算第i帧图像与第i-1帧图像之间像素变化为零的像素数占全部像素数的百分比,表示为qi,

9、s12、计算图像集中前n帧图像的每一帧图像的qi,将qi升序排列添加到一个数组中l中,n表示数组的长度,l={q0,q1,…,qn},

10、s13、根据公示(1)计算校准阈值x,

11、

12、其中,θ为固定偏移。

13、优选地,所述搭建yolov8神经网络模型并进行改进包括搭建yolov8神经网络模型,将backbone部分的第9层之后设置为aifi层,所述aifi层通过8个注意力头对第9层输出的特征进行处理,并将末端特征层p5之后设置repvit模块,所述repvit模块用于从p5输出的特征中提取全局特征。

14、优选地,所述基于识别结果对视频中的车辆集进行跟踪并获取跟踪结果包括:

15、s21、从识别结果中提取出所有检测到的车辆的边界框,计算每一个边界框的中心坐标,将所有车辆的边界框及其中心坐标、各车辆的边界框在时间连续的图像中连续出现的次数和车辆的边界框的宽、高信息以trackingbox对象表示,并将trackingbox对象添加到列表ltracking_boxes_cur_frame内,

16、s22、创建字典dtracking_objects,dtracking_objects用于存储跟踪中的目标trackingobject,所述trackingobject中包含该车辆在之前帧中的位置信息,所述之前帧中的位置信息包括若干个车辆的边界框以及车辆的边界框的中心坐标,

17、s23、遍历dtracking_objects中已经存在的所有追踪对象,对于每个追踪对象,从ltracking_boxes_cur_frame中找到与追踪对象最接近的追踪框,所述从ltracking_boxes_cur_frame中找到与追踪对象最接近的追踪框包括计算追踪对象与车辆的边界框之间的欧式距离δ,设置阈值dmax,若δ<dmax,表示是同一辆车,更新该追踪对象的位置信息,并从ltracking_boxes_cur_frame中移除对应的车辆的边界框,反之,将追踪对象从dtracking_objects中删除,

18、获取ltracking_boxes_cur_frame中未被匹配的追踪框,分配新的id,创建新的追踪对象加入dtracking_objects字典,

19、s24:重复执行s21-s23,直到将视频内的所有追踪对象都添加至dtracking_objects中。

20、优选地,所述基于深度图拟合缩放比例因子包括:

21、s31、基于dtracking_objects获取每一辆车的像素位移数据,同时根据数据集内人工标注的groundtruth真实数据,获取每辆车在相邻帧之间的实际位移,

22、s32、令dm(p,p'):=||p-p'||2,dm(p,p')表示基于深度图m的两个图像点p和p'之间的估计欧几里得距离,所述两个图像点之间的估计欧几里得距离由像素位移数据计算,基于每辆车在相邻帧之间的实际位移获取两个图像点之间的真实距离,真实距离以d(p,p')表示,d(p,p')=smdm(p,p'),基于与图像点对序列对应的真实世界点距离m来拟合sm,根据公式(2)得出缩放比例因子,

23、

24、其中,表示图像点对序列,表示不含比例因子的点对序列之间的估计距离向量,pi表示相邻帧中前一帧的第i个图像点,pi'表示相邻帧中后一帧的第i个图像点,sm表示比例因子,表示拟合后的缩放比例因子。

25、本发明提供一种基于yolo神经网络的车速识别系统,对yolov8神经网络模型进行了改进,减少了网络层数,降低了整个网络延迟,避免了低层特征的无用计算,提高了检测的精度和计算效率,最终使改进后的yolov8神经网络模型整体精度上升,使车辆的位置信息更准确,通过设置车辆识别与跟踪模块为速度估计提供可靠支撑,进而提高了整个车速识别系统对于速度估计的精度。



技术特征:

1.一种基于yolo神经网络的车速识别系统,其特征在于,包括视频处理和摄像头校准模块、车辆识别与跟踪模块、深度图生成模块以及车速计算模块,

2.根据权利要求1所述的一种基于yolo神经网络的车速识别系统,其特征在于,所述计算图像集中相邻图像的像素值变化为零的像素点的百分比和校准阈值包括:

3.根据权利要求1所述的一种基于yolo神经网络的车速识别系统,其特征在于,所述搭建yolov8神经网络模型并进行改进,包括搭建yolov8神经网络模型,将backbone部分的第9层之后设置为aifi层,所述aifi层通过8个注意力头对第9层输出的特征进行处理,并将末端特征层p5之后设置repvit模块,所述repvit模块用于从p5输出的特征中提取全局特征。

4.根据权利要求1所述的一种基于yolo神经网络的车速识别系统,其特征在于,所述基于识别结果对视频中的车辆集进行跟踪并获取跟踪结果包括:

5.根据权利要求4所述的一种基于yolo神经网络的车速识别系统,其特征在于,所述基于深度图拟合缩放比例因子包括:


技术总结
本发明公开了一种基于YOLO神经网络的车速识别系统,包括视频处理和摄像头校准模块用于将视频转化为图像集,并根据百分比与校准阈值判断是否对交通摄像头进行校准,车辆识别与跟踪模块用于基于改进后的yolov8神经网络模型对每一张图像中的车辆集进行识别并获取识别结果,基于识别结果对视频中的车辆集进行跟踪并获取跟踪结果,根据跟踪结果获取车辆的像素位移数据,深度图生成模块用于基于Pixelformer模型对图像生成深度图,车速计算模块用于基于深度图拟合缩放比例因子,基于像素位移数据和缩放比例因子计算车辆在相邻图像间的实际速度,基于车辆的实际速度和测速周期计算不同方向的车流速度。本发明增加了定位车辆时的精度和系统对车辆速度估计的精度。

技术研发人员:白梅,杨明泽,王习特,马茜
受保护的技术使用者:大连海事大学
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-23047.html