本发明属于自动驾驶,涉及一种智能网联汽车视觉环境感知方法及系统。
背景技术:
1、自动驾驶汽车,又称汽车自动驾驶系统,主要是通过传感器对汽车周边环境信息采集,并交由计算机系统分析、融合和处理后对汽车执行机构做出决策,实现对汽车的加减速、左右转向和刹车等操作。汽车环境感知系统是通过安装在车体上的环境感知传感器,一直不断收集自车外部环境信息,识别周围环境中静止和运动的物体,对识别的物体进行检测和跟踪,再通过设计的相应算法,判断物体是否是目标物以及目标物对自车的威胁程度。目前,智能汽车环境感知系统的常见方案是,通过车顶上的360度扫描式激光雷达生产3d街景地图技术,以激光雷达传感器技术为核心实现智能汽车环境感知。然而,激光雷达传感器的价格昂贵,制备和研发成本高,而且激光雷达在雾霭、暴雨和暴雪等恶劣天气下,性能和稳定性极易受到影响。
技术实现思路
1、为解决背景技术中存在的问题,本发明提出了一种智能网联汽车视觉环境感知方法及系统。
2、为了实现上述目的,本发明采用的技术方案如下。
3、一种智能网联汽车视觉环境感知方法,包括有:
4、首先利用汽车视觉传感器获取汽车周围图像数据;
5、对汽车周围图像数据进行预处理得到第一图像,将第一图像进行分割,得到第二图像集合;
6、对第二图像集合中的每个图像进行识别,标记其对应的特征属性;
7、将第二图像集合中的每个图像依据其特征属性,传输至对应的神经网络中,进行图像分析操作;
8、将第二图像集合中的每个图像分析结果进行后处理,输出汽车周围环境信息。
9、进一步地,所述对汽车周围图像数据进行预处理得到第一图像的具体方法为:
10、首先对汽车周围图像数据进行滤波操作,首先定义一个滤波窗口;
11、通过利用窗口中汽车周围图像数据像素点的均值,对汽车周围图像数据中所有像素进行滤波操作,具体公式为:
12、 ;其中为窗口中汽车周围图像数据中原始像素点的像素值,为去噪后的像素值,为窗口中汽车周围图像数据中的像素点数量,为窗口中的像素点坐标集合,通过移动窗口位置,完成整个汽车周围图像数据的滤波操作,得到第一图像。
13、进一步地,所述将第一图像进行分割的具体方法为:
14、在第一图像中选择多个种子像素作为起始点;
15、确定用于判断相似性的标准,设定阈值来判断多个像素之间的相似性,具体公式为:
16、 ;
17、其中为像素的灰度值;
18、检查种子像素的邻域像素,将相似的邻域像素加入区域,如果邻域像素满足相似性标准,则将其加入区域并将其作为新的种子像素,对种子像素进行扩张,当没有更多的邻域像素能够加入时,停止扩张;
19、依据每个种子像素的扩张区域,对第一图像进行分割,得到图像第二图像集合。
20、进一步地,所述对第二图像集合中的每个图像进行识别,标记其对应的特征属性的具体方法为:
21、对每个第二图像集合中的每张图像进行灰度值转化,将第二图像集合中的所有图像转化为灰度图像,计算每张图像在方向和方向上的梯度值,分别用和来表示;
22、利用每张图像在方向上的梯度值和每张图像在方向上的梯度值计算结果张量,具体公式为:
23、 。
24、检测使用如下响应函数来检测角点:
25、 ;
26、其中,,是矩阵的行列式,,是矩阵的迹,是经验常数。
27、通过设置阈值,选取响应值大于的像素点作为角点:
28、 ;
29、以此来提取第二图像集合中每个图像的角点的特征,依据每个图像的角点的特征,为每个图像添加相应的特征属性。
30、进一步地,所述将第二图像集合中的每个图像依据其特征属性,传输至对应的神经网络中,进行图像分析操作的具体方法为:
31、设置有多个第一神经网络模型,每个第一神经网络模型的处理能力和处理的数据不同,每个第一神经网络模型依据第二图像集合中的每个图像的特征属性分别对每个图像数据进行不同的处理;
32、多个第一神经网络模型能够对同一图像数据进行处理,第一神经网络模型处理该图像数据的单帧图像,第二神经网络模型处理该图像数据在时间序列下多帧图像;
33、第二神经网络模型判断所处理的时间序列下多帧图像是否包括第一神经网络模型处理的单帧图像,若包括,则第二神经网络模型在处理过程中接收第一神经网络模型处理完成的结果,在对时间序列下多帧图像的处理过程中进行修正;
34、处理完成后将处理结果上传至第三神经网络模型中,第三神经网络模型将所有第一神经网络模型的分析结果进行整合处理。
35、进一步地,所述第一神经网络模型包括卷积神经网络和循环神经网络;
36、卷积神经网络用于对视觉传感器获取到的单帧图像中的物体进行检测;
37、循环神经网络用于对视觉传感器获取到的多帧连续图像在时间序列下的数据处理。
38、另一方面,本发明还提供了一种智能网联汽车视觉环境感知系统,包括有:
39、数据获取模块,利用汽车视觉传感器获取汽车周围图像数据;
40、数据预处理模块,对汽车周围图像数据进行预处理,以及对预处理后的汽车周围图像数据进行分割;
41、数据处理模块,对每个图像进行识别,标记其对应的特征属性,依据图像的特征属性,传输至对应的神经网络中,进行图像分析操作;
42、数据输出模块,输出汽车周围环境信息。
43、与现有技术相比,本发明具有以下有益效果:
44、本发明通过对获取的图像数据进行系统化的预处理和分割,提高了图像处理的效率,确保后续分析的准确性。同时,本发明还引入多个神经网络模型进行分工处理,既可以对单帧图像进行详细分析,也能综合处理多帧时间序列数据,第二神经网络模型可以实时接收和修正第一神经网络的结果,提高了数据处理的准确性和响应速度,提升了系统的灵活性和适应性。
45、通过准确识别周围环境信息,系统能够为驾驶决策提供有效支持,从而提高智能网联汽车的安全性。
1.一种智能网联汽车视觉环境感知方法,其特征在于,包括有:首先利用汽车视觉传感器获取汽车周围图像数据;
2.根据权利要求1所述的一种智能网联汽车视觉环境感知方法,其特征在于,所述对汽车周围图像数据进行预处理得到第一图像的具体方法为:首先对汽车周围图像数据进行滤波操作,首先定义一个滤波窗口;通过利用窗口中汽车周围图像数据像素点的均值,对汽车周围图像数据中所有像素进行滤波操作,具体公式为:
3.根据权利要求1所述的一种智能网联汽车视觉环境感知方法,其特征在于,所述将第一图像进行分割的具体方法为:
4.根据权利要求1所述的一种智能网联汽车视觉环境感知方法,其特征在于,所述对第二图像集合中的每个图像进行识别,标记其对应的特征属性的具体方法为:
5.根据权利要求1所述的一种智能网联汽车视觉环境感知方法,其特征在于,所述第一神经网络模型为卷积神经网络,用于对视觉传感器获取到的单帧图像中的物体进行检测;
6.一种智能网联汽车视觉环境感知系统,其特征在于,包括有:数据获取模块,利用汽车视觉传感器获取汽车周围图像数据;数据预处理模块,对汽车周围图像数据进行预处理,以及对预处理后的汽车周围图像数据进行分割;
