本发明属于智能车自动驾驶领域，涉及一种基于向量化地图与多任务特征嵌入的自动驾驶决策规划模型与设备。
背景技术：
1、随着人工智能与智慧交通的进一步发展，自动驾驶成为目前的研究热点。决策与规划模块作为自动驾驶系统的核心组成部分，是自动驾驶智能化的直接表现，负责结合感知信息与前进方向制定出未来的行为策略以及轨迹规划。传统基于规则的自动驾驶决策规划算法在面对高动态性、强交互性和不确定性的开放道路场景时，难以保证算法鲁棒性和决策安全性。因此，一系列基于深度学习神经网络的决策规划算法被广泛应用于智能驾驶控领域。
2、目前常见的自动驾驶系统通常将感知与决策规划作为单独的任务进行优化，这种方式采用层层递进的架构耦合，不同任务之间逻辑清晰，可解释性强。然而此类方法同样存在一定不足，例如不同模块之间单独优化，导致模块之间存在误差传递，难以实现全局最优；同时感知任务与决策模块单独存在，导致感知任务输出与决策模块存在冲突，进一步导致感知与决策脱节的情况存在。为克服上述问题，一系列科学研究者提出基于端到端的自动驾驶决策规划，直接采用传感器信息作为模型输入，输出未来的行为策略以及规划轨迹，采用深度学习模型同时优化感知与决策规划模块。然而简单的端到端自动驾驶模型存在着模型难以收敛，缺乏模型可解释性的缺点。为进一步克服上述问题，相关学者提出基于多任务学习的端到端自动驾驶决策模型，通过引入感知以及决策相关辅助任务，添加感知相关约束，提升模型对于周围环境感知能力的同时，增加模型输出的可解释性。针对此类多任务自动驾驶网络，如何选取合适的辅助任务感知环境信息以及如何构建高效的多任务耦合模块是构建安全高效的决策规划模型的重点与难点所在。
3、鉴于此，本发明提出了一种结合向量化地图与多任务特征嵌入的端到端自动驾驶决策规划模型。采用模仿学习的网络范式，结合向量化地图以及鸟瞰图空间下的目标作为感知辅助任务，提出一种多任务特征嵌入的方式耦合感知与决策模型，以实现充分考虑周边环境因素的决策规划模型，进一步提出多时序交叉融合模块，采用历史多帧信息，进一步增强决策模型的安全性以及稳定性。
技术实现思路
1、本发明提出一种基于向量化地图与多任务特征嵌入的自动驾驶决策规划模型。主要包括设计三部分：环境感知模块，多时序交叉注意力融合模块以及决策规划预测模块。具体包括以下内容：
2、步骤一，制作模仿学习数据集：借助carla-0.9.10.仿真模拟器，设置不同的交通场景以及驾驶任务，采用结合高精度地图的基于规则的专家驾驶算法进行数据采集。主要设置的传感器信息包括六个环视摄像头，gps导航。采集的数据类型主要包括：六个不同摄像头采集到的图像信息(i0，i1，i2，i3，i4，i5)，每个图像大小尺寸为(256，256，3)；当前时刻的速度信息；下一时刻的目标点；利用专家经验得到的未来t个时步的导航点信息以及每个时刻对应的期望速度输出；感知任务标签：包括每个时刻横向距离[32m，-32m]以及纵向距离[32m，-32m]内高精度地图向量信息以及此区间内鸟瞰图空间的其他交通参与者位置信息，前方视图的语义分割对应标签以及深度图对应的标签。
3、步骤二，搭建环境感知模块，主要包括三部分内容：1)搭建特征提取模块；2)搭建深度-语义-图像交叉注意力融合模块；3)搭建向量化地图以及鸟瞰图目标检测任务分支。
4、步骤三，针对步骤二中的特征提取模块，本发明采用resnet-50作为主要特征提取网络，并经过金字塔模块融合多尺度图像特征，当输入图像为(i0，i1，i2，i3，i4，i5)，经过特征提取模块提取得到分别对应的特征图为(f0，f1，f2，f3，f4，f5)。
5、步骤四，针对步骤二中的深度-语义-图像交叉注意力融合模块，将步骤三采集得到的特征图(f0，f1，f2，f3，f4，f5)。分别输入到深度信息提取网络以及语义信息提取网络中，得到对应的深度信息特征以及语义信息特征为确保提取到的信息中包含深度信息以及语义信息，采用1×1的维度卷积进行维度转换，并结合采集的语义分割标签以及深度信息标签进行监督，然后采用自注意力机制分别对图像特征深度信息特征以及语义信息特征进行进一步特征编码，三种不同信息的特征编码过程相似，以对图像特征编码为例其计算公式如下：
6、q＝wqfi,k＝wkfi,v＝wvfi
7、
8、其中，wq，wk，wv分别代表模型需要学习的权重参数，softmax代表激活函数，kt为k的转置矩阵。q代表输入fi的查询特征，k代表输入fi对应的键特征，v代表输入fi对应的值特征，qi代表自注意力的输出特征，d代表特征维度。针对深度编码以及语义编码，其计算过程类似，根据上述过程可以分别得到图像编码特征qi，深度编码特征qd以及语义编码特征qe。
9、为进一步将上述不同信息融合以实现明确图像特征、深度特征以及语义特征的鸟瞰图特征输出，本发明首先根据向量化地图输出以及目标检测输出初始化查询向量qs＝[qm,qo]，其中qm代表向量化地图查询向量，本发明设置其维度为100×256，代表假设周围32m范围内存在最多100条需要被定义的向量化地图信息，qo代表鸟瞰图下目标检测查询向量，本发明设置其维度为50×256，代表假设周围32m范围内存在最多50个其他交通参与者。首先将初始化的语义编码特征查询向量qs经过自注意力机制，其计算过程如下：
10、q0＝wq0qs,k0＝wk0qs,v0＝wv0qs
11、
12、其中，wq0，wk0，wv0代表模型需要学习的权重参数，q0代表qs对应的查询特征，k代表qs对应的键特征，v代表输入qs对应的值特征，softmax代表激活函数，q1为输出查询特征。随后将q1与深度特征qd进行交叉注意力融合：
13、q′1＝wq1q1,k′1＝wk1qd,v′1＝wv1qd
14、
15、其中，wq1，wk1，wv1代表模型需要学习的权重参数，q′1代表q1对应的查询特征，k′1代表qd对应的键特征，v′1代表输入qd对应的值特征，q2代表输出查询特征。将上述得到的输出查询特征q2与语义特征qe进行交叉注意力融合：
16、q′2＝wq2q2,k′2＝wk2qe,v′2＝wv2qe
17、
18、其中，wq2，wk2，wv2代表模型需要学习的权重参数，q′2代表q2对应的查询特征，k′2代表qe对应的键特征，v′2代表qe对应的值特征，q3代表输出查询特征。将上述得到的输出查询特征q3与图像特征qi进行交叉注意力融合：
19、q′3＝wq3q3,k′3＝wk3qi,v′3＝wv3qi
20、
21、其中，wq3，wk3，wv3代表模型需要学习的权重参数，q′3代表q3对应的查询特征，k′3代表qs对应的键特征，v′3代表输入qi对应的值特征，q4代表输出查询特征。通过上述交叉注意力机制，可以得到与深度信息以及语义信息充分融合的查询特征输出q4，再将q4通过前向传播神经网络中以增加模型的输出非线性，从而得到最终的查询特征输出qf。
22、步骤五，针对步骤二中的向量化地图以及鸟瞰图目标检测任务分支，构建不同任务的输出头，采用步骤四中查询特征qf作为输入，将qf按照步骤四中定义，划分为qo以及qm，其中目标检测输出头，采用全连接神经网络结合查询特征qo对周围的其他交通参与者进行预测，输出为其中n1＝50代表周围其他交通参与者的最大数量，输出po包含交通参与者的预测类别、鸟瞰图空间下的长和宽。针对矢量化地图，采用全连接神经网络结合查询特征qm对周围的矢量地图信息进行预测，输出为其中n2＝100，代表周围向量化地图信息最大预测数量，输出pm包含向量化地图的类别信息，以及十个点的预测位置信息。
23、步骤六，搭建多时序交叉注意力融合模块。在得到能有效感知周边环境信息的查询特征qf后，为进一步保证其有效性。本发明将其与历史时刻的特征信息进行交叉注意力融合，以实现明确历史信息的特征输出。具体而言，利用当前时刻的qf与历史时刻特征qh进行交叉注意力特征融合，其计算方式如下：
24、q′f＝wqfqf,k′h＝wkhqh,v′h＝wvhqh
25、
26、其中wqf，wkh，wvh代表模型需要学习的权重参数，q′f代表qf对应的查询特征，k′h代表qh对应的键特征，v′h代表输入qh对应的值特征，q″f为融合后的输出特征。根据上述交叉注意力机制可以得到当前时刻特征与历史时刻特征的融合，随后将上述特征q″f输入到前向反馈神经网络中，得到最终的智能体特征输出qa，同时更新历史时刻特征qh＝qa。
27、步骤七，搭建决策规划预测模块，输入为步骤六中时序融合后得到的智能体特征，主要包括两部分内容：1)期望速度预测模型、2)导航点预测模型。
28、步骤八，针对步骤七中的期望速度预测模型，采用基于transformer的模型解码器。具体而言，首先为得到用于预测期望速度的特征，设置期望速度查询特征并进行随机初始化，将其与得到的智能体特征qa进行交叉融合，其计算方式如下：
29、q′vp＝wqaqvp,k′vp＝wkaqa,v′vp＝wvaqa
30、
31、其中wqa，wka，wva代表模型需要学习的权重参数，q′vp代表qvp对应的查询特征，k′vp代表qa对应的键特征，v′vp代表输入qa对应的值特征，q″vp代表输出的期望速度特征，然后将q″vp输出到前方反馈神经网络以及全连接神经网络中，得到最终的期望速度预测。
32、步骤九，针对步骤七中的导航点预测模型，同样采用基于transformer的模型解码器。具体而言，首先为得到用于预测期导航点的特征，设置导航点查询特征并进行随机初始化，其中t代表导航点的未来预测时步，本发明设置为10。随后将其输入到自注意力模块中，其计算方式如下：
33、q′wp＝wqwqwp,k′kw＝wkaqwp,v′vw＝wvaqwp
34、
35、其中，wqw，wkw，wvw代表模型需要学习的权重参数，q′wp，k′kw，v′vw分别代表输入qwp对应的查询特征、健特征以及值特征，q″wp为输出的查询特征，并将其与得到的智能体特征qa进行交叉融合，其计算方式如下：
36、q″′wp＝w′qwq″wp,k″kw＝w′kwqa,v″vw＝w′vwqa
37、
38、其中，w′qw，w′kw，w′v代表模型需要学习的权重参数，q″′wp代表q″wp对应的查询特征，k″kw代表qa对应的键特征，v′vp代表输入qa对应的值特征，代表输出的导航点特征，然后将输出到前向反馈神经网络中增加特征的非线性，并输入到gru时序预测模型得到最终的导航点预测。
39、步骤十，针对步骤九中的gru时序预测模型：由十个gru预测单元构成，每个gru预测单元结合一层全连接神经网络输出一个对应时步的导航点输出。具体而言，针对其输入的导航点特征将其划分为不同时步的导航点特征将目标点wtar输入到全连接神经网络得到作为初始隐藏特征。随后将初始隐藏特征与初始时步导航点特征输入到第一个gru预测单元，得到输出特征h1，将其作为下一个时刻的隐藏特征，同时将输出特征h0输入到全连接神经网络中，得到初始时刻的导航点预测依此类推，从而得到未来十个时步的导航点输出
40、步骤十一，搭建控制执行模块，根据步骤八得到的期望速度预测以及步骤九得到的导航点预测作为输入，构建控制模型，主要包括用于控制油门以及刹车纵向控制以及用于控制方向盘转角的横向控制两部分。
41、步骤十二，针对纵向控制，首先设定一个阈值tv，当预测期望速度小于tv时，设置此时的刹车为1，实现制动控制，否则将预测得期望速度输入到pid控制器中得到此时的油门开度，实现加速控制。
42、步骤十三，针对横向控制，首先对导航点的预测输出求取平均值，并将其求反正切得到此时的预测角度ap：
43、
44、其中(xi,yi)为导航点的的坐标，再将求得的预测角度ap输入到pid控制器得到方向盘转角up。
45、步骤十三，对上述构建的端到端自动驾驶多任务决策规划模型进行训练。针对不同的任务模块构建对应的损失函数，其中深度估计任务、期望速度预测以及采用l1损失函数，语义分割采用交叉熵损失函数，对于目标检测以及向量化地图构建其损失函数包括两部分：类别预测的交叉熵损失函数，以及回归部分采用l1损失函数。从而可以得到整体的损失函数为：
46、
47、其中，分别代表语义分割，深度估计，向量化地图构建，目标检测，导航点预测以及期望速度预测损失函数。
48、本发明的有益效果：
49、(1)本发明提出一种基于多任务耦合的端到端自动驾驶决策规划模型，设计包含感知、决策以及控制等不同模块的六个任务分支。利用端到端自动驾驶框架减少不同模型传递之间的误差，利用多任务约束的方式增加模型的拟合能力。
50、(2)本发明结合向量化地图与鸟瞰图目标检测作为多任务模型的感知表征。提供了鸟瞰图空间下所需要的动态以及静态目标信息，同时将环境感知信息与决策的导航点输出统一到相同空间，提升模型预测精度。
51、(3)本发明采用一种多任务特征嵌入的耦合方式，利用不同任务之间的交叉注意力机制进行信息传递，克服传统多任务模型中简单共享特征图导致的训练冲突，实现不同任务之间的高效耦合。
1.一种结合向量化地图与多任务特征嵌入的端到端自动驾驶决策规划模型，其特征在于，由如下获得：
2.根据权利要求1所述的一种结合向量化地图与多任务特征嵌入的端到端自动驾驶决策规划模型，其特征在于，所述s1中：特征提取模块，采用resnet-50作为主特征提取网络，并经过金字塔模块融合多尺度图像特征，当输入图像为(i0，i1，i2，i3，i4，i5)，经过特征提取模块提取得到分别对应的特征图为(f0，f1，f2，f3，f4，f5)；
3.根据权利要求2所述的一种结合向量化地图与多任务特征嵌入的端到端自动驾驶决策规划模型，其特征在于，所述s1中的的向量化地图以及鸟瞰图目标检测任务分支模块，构建不同任务的输出头，将s3中查询特征qf作为输入，将qf划分为qo以及qm，其中目标检测输出头，采用全连接神经网络结合查询特征qo对周围的其他交通参与者进行预测，输出为其中n1＝50代表周围其他交通参与者的最大数量，输出po包含类别、鸟瞰图空间下的长和宽；针对矢量化地图，采用全连接神经网络结合查询特征qm对周围的矢量地图信息进行预测，输出为其中n2＝100，代表周围向量化地图信息最大预测数量，输出pm包含向量化地图的类别信息，以及十个点的预测位置信息。
4.根据权利要求1所述的一种结合向量化地图与多任务特征嵌入的端到端自动驾驶决策规划模型，其特征在于，所述s2的具体实现包括：
5.根据权利要求1所述的一种结合向量化地图与多任务特征嵌入的端到端自动驾驶决策规划模型，其特征在于，所述s3的期望速度预测模型，采用基于transformer的模型解码器，首先为得到用于预测期望速度的特征，设置期望速度查询特征并进行随机初始化，将其与得到的智能体特征qa进行交叉融合，其计算方式如下：
6.根据权利要求5所述的一种结合向量化地图与多任务特征嵌入的端到端自动驾驶决策规划模型，其特征在于，所述gru时序预测模型，包括十个gru预测单元，每个gru预测单元结合一层全连接神经网络输出一个对应时步的导航点输出；具体而言，针对其输入导航点特征将其划分为不同时步的导航点特征采用目标点wtar输入到全连接神经网络得到作为初始隐藏特征；随后将初始隐藏特征与初始时步导航点特征输入到第一个gru预测单元，得到输出特征h1，将其作为下一个时刻的隐藏特征，同时将输出特征h0输入到全连接神经网络中，得到初始时刻的导航点预测依此类推，从而得到未来十个时步的导航点输出
7.根据权利要求1所述的一种结合向量化地图与多任务特征嵌入的端到端自动驾驶决策规划模型，其特征在于，还包括s4，搭建控制执行模块，根据期望速度预测以导航点预测，实现油门、刹车的纵向控制以及方向盘转角的横向控制；
8.根据权利要求1所述的一种结合向量化地图与多任务特征嵌入的端到端自动驾驶决策规划模型，其特征在于，还包括制作模型训练的数据集：
9.根据权利要求8所述的一种结合向量化地图与多任务特征嵌入的端到端自动驾驶决策规划模型，其特征在于，还包括：利用制作的数据集对所述模型进行训练，针对不同的任务模块构建对应的损失函数，其中深度估计任务、期望速度预测采用l1损失函数，语义分割采用交叉熵损失函数，对于目标检测以及向量化地图构建其损失函数包括两部分：类别预测的交叉熵损失函数、以及回归部分采用l1损失函数，从而可以得到整体的损失函数为：
10.一种智能驾驶车用控制设备，其特征在于，所述设备内部署权利要求9训练好的结合向量化地图与多任务特征嵌入的端到端自动驾驶决策规划模型。
