本发明涉及自动驾驶和预期功能安全领域,尤其涉及一种面向预期功能安全的车道线检测方法、系统、车辆及介质。
背景技术:
1、对于自动驾驶汽车,为了保证预期功能安全,全场景的车道线检测是首先要解决的基本问题。通过车道线检测,利用自适应巡航控制、车道偏离预警、行驶路线规划等现代技术辅助驾驶员,对于保证自动驾驶车辆在行驶中的预期功能安全至关重要。同时,能否正确检测车道线也是l3级自动驾驶系统运行的重要边界条件,l3级自动驾驶是可以在限制条件下执行部分功能决策的自动驾驶模式。
2、相关技术中,车道线检测大多使用图像全局特征与车道线局部特征融合的方式,其先用全局特征大致判断车道线的位置,再用局部特征细化车道线对于某些场景,该种方法在例如高速公路这种简单场景,因为其车道线状况良好(光线较好,车道线明显等)的情况下已经能够相对较好的检测并定位出车道线。但在现实生活中的普通道路上,车道线经常存在车道线不清晰等复杂情况,上述的检测方法难以满足车道线的精准检测和识别,造成预期功能安全问题。因此需要提供一种检测方法能够应对现实道路存在的多种复杂状况,能够在极端光照、恶劣天气等条件下,比如夜晚、雪天、雾天、雨天等不良光照下,也能够准确检测车道线,降低预期功能安全风险。
3、以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案,其并不必然属于本专利申请的现有技术,也不必然会给出技术教导;在没有明确的证据表明上述内容在本专利申请的申请日之前已经公开的情况下,上述背景技术不应当用于评价本技术的新颖性和创造性。
技术实现思路
1、本发明的目的是提供一种面向预期功能安全,在光线不足条件的情况下准确检测车道线的检测方法。
2、为达到上述目的,本发明采用的技术方案如下:
3、一种面向预期功能安全,在光线不足条件下车道线检测方法,包括以下步骤:
4、使用二维坐标点构建预选车道线;
5、构建基于残差结构的骨干网络,将采集的道路图像输入所述骨干网络得到特征图;
6、将使用二维坐标点构建的所述预选车道线映射到所述特征图上,并将所述特征图中对应位置的局部特征信息池化为每条预选车道线的第一特征向量;
7、所述第一特征向量经过第一处理后得到车道线的第二特征向量;
8、通过自注意力机制建立不同车道线间的联系,获取整个所述预选车道线相对于当前车道线的第三特征;
9、根据所述第二特征和所述第三特征的得到第四特征,进而获得每条预选车道线的最终定位。
10、进一步地,承前所述的任一技术方案或多个技术方案的组合,所述根据所述预选车道线的位置在所述特征图中提取预选车道线的特征,包括:
11、根据预选车道线坐标提取的第一特征向量为其中k为预选车道线数量,映射关系如下:
12、
13、其中,xj为映射后预选车道线的横坐标,yj=0,1,2,...,h-1,表示为预选车道线根据特征图的高h设置的固定纵坐标;θ为预选车道线与构建的x-y坐标系中的x轴的夹角,xstart为预选车道线的起点横坐标,ystart为预选车道线的起点纵坐标,α为原始图像到特征图的全局步幅。
14、进一步地,承前所述的任一技术方案或多个技术方案的组合,所述第一特征向量经过第一处理后得到车道线的第二特征向量,包括:
15、所述第一处理为第一特征向量经过全连接层处理后得到车道线的第二特征向量。
16、进一步地,承前所述的任一技术方案或多个技术方案的组合,通过自注意力机制建立不同车道线间的联系,获取整个所述预选车道线相对于当前车道线的第三特征,包括:
17、将所述第二特征通过线性变换分别计算得到查询特征、值特征和键特征;
18、通过计算得到的所述查询特征获取其他车道线的所述键特征,进而建立车道线与车道线之间的所述第二特征关系。
19、进一步地,承前所述的任一技术方案或多个技术方案的组合,所述通过自注意力机制建立不同车道线间的联系,获取整个所述预选车道线相对于当前车道线的第三特征,包括:
20、基于车道线的起点横坐标、车道线长度以及车道线与坐标轴的角度建立当前车道线与其他车道线间的相对位置关系;
21、将所述相对位置关系编码后嵌入高维表示中,得到高维表示后的特征维度;
22、根据所述特征维度计算相对位置关系特征,再根据所述相对位置关系特征计算总的关系权重。
23、进一步地,承前所述的任一技术方案或多个技术方案的组合,所述通过自注意力机制建立不同车道线间的联系,获取整个所述预选车道线相对于当前车道线的第三特征,还包括:
24、根据所述值特征与所述总的关系权重计算得到整个预选车道线集相对于当前车道线的第三特征。
25、进一步地,承前所述的任一技术方案或多个技术方案的组合,所述根据所述第二特征与所述第三特征的得到第四特征,获得每条预选车道线的最终定位,还包括:
26、将所述第二特征与所述第三特征聚合后得到第四特征,经过一个全连接层为每条预选车道线输出预测车道线;
27、其中,输出包括分类预测和回归预测,分类预测包括预测车道线为真实车道线的概率,回归预测为预选车道线与预测车道线在水平距离上的偏移量。
28、进一步地,承前所述的任一技术方案或多个技术方案的组合,还包括:
29、使用非极大值抑制去除无效的和重复的预测车道线。
30、进一步地,承前所述的任一技术方案或多个技术方案的组合,还包括:
31、所述第二特征为外貌特征,所述第三特征为关系特征,所述第四特征为聚合特征。
32、进一步地,承前所述的任一技术方案或多个技术方案的组合,还包括:
33、基于每条预测车道线与真实车道线之间的焦点损失以及预测车道线与真实车道线之间的距离的smooth l1损失,计算损失函数。
34、根据本发明的另一方面,本发明提供了一种光线不足条件下车道线检测系统,包括:
35、车道线构建模块,用于使用二维坐标点构建预选车道线;
36、特征图生成模块,用于构建基于残差结构的骨干网络,将采集的道路图像输入所述骨干网络得到特征图;
37、预选车道线特征提取模块,用于根据所述预选车道线的位置在所述特征图中提取预选车道线的特征;
38、第二特征获取模块,用于将所述预选车道线的特征映射为第一特征向量,所述第一特征向量经过第一处理后得到车道线的第二特征向量;
39、第三特征获取模块,用于通过自注意力机制建立不同车道线间的联系,获取整个所述预选车道线相对于当前车道线的第三特征;
40、决策模块,用于根据所述第二特征与所述第三特征的得到第四特征,进而获得每条预选车道线的最终定位。
41、根据本发明的另一方面,本发明提供了一种面向预期功能安全,在光线不足条件下车道线检测系统,包括:
42、存储有可执行程序代码的存储器;
43、与所述存储器耦合的中央处理器;
44、所述中央处理器调用所述存储器中存储的所述可执行程序代码,用于执行前述的一种面向预期功能安全,在光线不足条件下车道线检测方法。
45、根据本发明的另一方面,本发明提供了一种计算机可读存储介质,所述计算机可读存储介质存储计算机程序,其中,所述计算机程序使得计算机执行前述的一种面向预期功能安全,在光线不足条件下车道线检测方法。
46、根据本发明的另一方面,本发明提供了一种车辆,所述车辆包括前述的一种面向预期功能安全,在光线不足条件下车道线检测系统
47、本发明提供的技术方案带来的有益效果如下:
48、a.本发明提供了一种面向预期功能安全,在光线不足条件下车道线检测方法。采用自注意力机制建立了车道线与车道线之间的相对关系,提高了光线不足时对于车道线检测的效果。
49、b.本发明提供了一种面向预期功能安全,在光线不足条件下车道线检测方法。将传感器采集的图像通过骨干网络得到特征图,根据预选车道线的位置在特征图中提取预选车道线的特征,再使用车道线与车道线间相对关系模块使每条车道线得到与其他车道线的外貌特征关系和相对位置关系,最后获取每条预选车道线的最终定位并使用非极大值抑制去除无效和重复的车道线,使暗光条件下的车道线检测效果得到了进一步提升。
1.一种面向预期功能安全的车道线检测方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的光线不足条件下车道线检测方法,其特征在于,所述根据所述预选车道线的位置在所述特征图中提取预选车道线的特征,包括:
3.根据权利要求1所述的光线不足条件下车道线检测方法,其特征在于,所述第一特征向量经过第一处理后得到车道线的第二特征向量,包括:
4.根据权利要求1所述的光线不足条件下车道线检测方法,其特征在于,通过自注意力机制建立不同车道线间的联系,获取整个所述预选车道线相对于当前车道线的第三特征,包括:
5.根据权利要求4所述的光线不足条件下车道线检测方法,其特征在于,所述通过自注意力机制建立不同车道线间的联系,获取整个所述预选车道线相对于当前车道线的第三特征,还包括:
6.根据权利要求5所述的光线不足条件下车道线检测方法,其特征在于,所述通过自注意力机制建立不同车道线间的联系,获取整个所述预选车道线相对于当前车道线的第三特征,还包括:
7.根据权利要求4所述的光线不足条件下车道线检测方法,其特征在于,所述根据所述第二特征与所述第三特征的得到第四特征,进而获得每条预选车道线的最终定位,包括:
8.根据权利要求7所述的光线不足条件下车道线检测方法,其特征在于,为每条预选车道线输出预测车道线之前还包括:
9.根据权利要求1-8中任一项所述的光线不足条件下车道线检测方法,其特征在于,所述第二特征为外貌特征,所述第三特征为关系特征,所述第四特征为聚合特征。
10.根据权利要求1-8中任一项所述的光线不足条件下车道线检测方法,其特征在于,还包括:
11.一种光线不足条件下车道线检测系统,其特征在于,包括:
12.一种面向预期功能安全的车道线检测系统,其特征在于,包括以下模块:
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储计算机程序,其中,所述计算机程序使得计算机执行如权利要求1至10中任一项所述的光线不足条件下车道线检测方法。
14.一种车辆,其特征在于,包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序;