本发明涉及自动驾驶的意图预测领域，具体是一种基于resnet的车辆换道意图预测方法及系统。
背景技术：
1、车辆行驶是一个高度交互的过程，自车行为往往受到周围交通参与者意图的影响。自动驾驶系统由感知、决策、控制这三大模块组成。在自动驾驶系统中，自车和周围车辆的交互需要感知模块和决策模块的共同参与，且依赖于对周围交通参与者未来意图的准确预测。意图预测是对感知信息的高层次抽象和进一步理解，预测结果被输入到决策模块，以协助做出合理、安全、舒适、可靠的轨迹规划。因此，对周围车辆意图的可靠预测是感知模块和决策模块之间的重要桥梁。车辆意图预测旨在通过驾驶员行为或车辆位置、速度变化、车道位置等历史运动状态来推测目标车辆的未来行为，其本质是分类任务。
2、现有的车辆换道意图预测方法涵盖生成模型、判别模型和深度神经网络。其中，以长短期记忆网络为代表的深度神经网络能学习到车辆行驶时的时间、空间特征，且具有较高的预测准确率，受到了广泛研究。然而，基于循环神经网络的车辆意图预测方法未考虑车辆大小，导致无法充分建模不同类型的车辆在交互行为上的差异以及车辆大小对交互产生的影响，限制了换道意图预测准确率的提升。
技术实现思路
1、有鉴于此，本发明提供了一种基于resnet的车辆换道意图预测方法，考虑目标车辆的运动特征、目标车辆和周围车辆的交互、道路结构和交通规则对目标车辆的限制，预测车辆在直行道路上的换道意图，该方法适用于多车道场景且考虑车辆大小带来的影响。
2、为达到上述目的，本发明的技术方案包括以下步骤：
3、步骤一：获取目标车辆和周围车辆信息以及道路信息。
4、步骤二：根据目标车辆的场景信息生成rgb图像，即用于意图预测的图像，多幅用于意图预测的图像组成训练集图像：
5、步骤三：将cbam嵌入resnet网络，搭建车辆意图预测模型；选择resnet-18作为主干网络，把cbam嵌入至在残差块的前后，即初始卷积层和第一个残差块之间以及最后一个残差块和输出处理层之间。
6、步骤四：利用训练集图像训练车辆意图预测模型，学习分类参数，获得训练好的车辆意图预测模型。
7、步骤五：根据待预测的场景信息生成对应rgb图像，将场景对应rgb图像输入至训练好的车辆意图预测模型中，得到预测的车辆换道意图。
8、进一步地，步骤一，所获取的信息包括：
9、获取目标车辆和周围车辆的信息，包括车辆的长度、宽度、以及车辆在当前和历史时刻的质心位置、所属车道；周围车辆包括在目标车辆的左邻车道、右邻车道、当前车道上位于目标车辆前、后方且距离最近的车辆。
10、道路信息包括可行驶区域、车道边界、左右相邻车道和当前车道的宽度。
11、可行驶区域定义为一系列车道的组合，车辆在可行驶区域内的车道之间进行变道或超车，可行驶区域的边界为道路实线或者路肩。
12、进一步地，步骤一中，从ngsim数据集获取对应信息，对ngsim数据集中数据进行如下处理：
13、1)更正车辆编号，即根据车辆编号、所处位置、时间戳信息对数据排序、分割并重新编号。
14、2)筛选roi内数据，依据车辆所属车道的编号变化来判断是否存在换道行为，将不包含匝道的部分视为roi区域，根据该区域内车道的编号筛选出待处理数据。
15、3)获取目标车辆换道点，将目标车辆中心位于道路边界的瞬间视为换道点，根据ngsim数据集提供的车辆所属车道编号来寻找各车最接近换道点的时刻。按照车辆编号遍历数据集，再依据时间从早到晚的顺序依次遍历目标车辆的运动序列，如果存在车道编号跳变的情况，则将跳变前的最后一个时间戳视为换道点，并根据车道编号变化的正负标记换道方向。
16、4)获取目标车辆到达换道点前的运动状态，对出现换道行为的车辆，保存其到达换道点前n秒的时间、位置、车道信息；对全程未换道的车辆，随机抽取一个时间戳，保存该时间戳的前n秒的时间、位置、车道信息。
17、5)筛选各目标车辆的周围车辆，记录其运动状态；遍历各目标车辆运动序列，获取各时间戳中目标车辆的位置和所处车道；根据时间戳和目标车辆所处车道，从数据集中筛选出位于目标车辆所处车道和相邻车道的所有车辆；对各车道上的车辆分别按照位置排序，筛选出距离目标车辆最近的前后车辆，并保存对应的时间、位置信息。
18、进一步地，步骤二：根据目标车辆的场景信息生成rgb图像，具体为：
19、分别获取目标车辆和周围车辆运动序列，确定图像大小。
20、依次在r、g、b通道生成目标车辆运动图像、周围车辆运动图像、道路图像。
21、最后融合三通道信息，得到用于意图预测的图像。
22、进一步地，步骤二中，分别获取目标车辆和周围车辆运动序列，确定图像大小，具体为：根据限制速度或平均车速、车道宽度等场景信息确定图像大小：
23、图像长度＝道路限速或车流平均速度×提前预测时间×2/各像素表示长度。
24、图像宽度＝以当前车道为中心的三车道宽度/各像素表示宽度。
25、进一步地，步骤二中，依次在r、g、b通道生成目标车辆运动图像、周围车辆运动图像、道路图像，具体包括：
26、在r通道中绘制目标车辆运动图像，即：在r通道存储目标车辆当前和历史运动位置，用矩形绘制车辆，矩形位置根据车辆位置、大小计算得到，矩形的颜色深浅表示该观测时刻距离最后观测时刻的远近。
27、在g通道中绘制周车运动图像，即在g通道存储周围车辆当前和历史运动位置，用矩形表示周围车辆，矩形位置根据车辆位置、大小计算得到，矩形的颜色深浅表示该观测时刻距离最后观测时刻的远近。
28、在b通道中绘制可行驶区域图像，即在b通道存储道路信息，用不同的填充值区分可行驶区域、不可行驶区域和车道边界。
29、优选地，在r通道中绘制目标车辆运动图像，具体为：
30、将最后一个时刻观测到的目标车辆置于图像中心，使得车辆几何中心与图像中心重合，用一个矩形表示车辆，目标车辆在时刻t的左上角坐标和右下角坐标分别为
31、
32、其中，x，y为车辆位置坐标，w为车辆宽度，l为车辆长度。
33、利用像素点的颜色深浅来表示观测时刻距当前时刻的远近，在长度为th的观测序列中，第t个观测时刻的车辆被填充为
34、
35、观测时刻越早，t越小，车辆的颜色越浅，反之，观测时刻越晚，车辆的颜色越深。
36、优选地，在b通道中绘制可行驶区域图像：可行驶区域的像素值为默认值0，不可行驶区域的值被设置为255，对应的，可行驶区域在图像中显示为黑色，不可行驶区域显示为蓝色；在此基础上绘制车道线，将各车道边界的b通道值设置为255。
37、进一步地，步骤三，搭建车辆意图预测模型的过程具体为：
38、车辆意图预测模型的输入是一张三通道图像，各通道分别存储目标车辆的运动状态、周围车辆的运动状态和车道边界信息。
39、把resnet-18作为主干网络，借助残差模块实现深层次特征的学习。
40、两个cbam被集成在残差块的前后，分别为初始卷积层conv1_x和第一个残差块conv2_x之间以及最后一个残差块conv5_x和输出处理层之间。
41、输出层是一个维度为3的全连接层，经softmax函数处理后，得到各意图的概率，并将概率最高的意图视为预测结果。
42、本发明另外一个实施例还提供了一种基于resnet的车辆换道意图预测系统，包括信息获取模块、输入图像生成模块、车辆意图预测模块、训练模块以及实时预测模块。
43、信息获取模块，用于获取目标车辆和周围车辆信息以及道路信息。
44、输入图像生成模块，用于根据目标车辆的场景信息生成rgb图像。
45、车辆意图预测模型，将cbam嵌入resnet网络获得车辆意图预测模型；选择resnet-18作为主干网络，把cbam嵌入至在残差块的前后，即初始卷积层和第一个残差块之间以及最后一个残差块和输出处理层之间。
46、训练模块，取已有数据集调用信息获取模块以及输入图像生成模块，生成rgb图像，作为训练图像，多幅训练图像组成训练集，利用训练集训练车辆意图预测模型，学习分类参数，获得训练好的车辆意图预测模型。
47、实时预测模块，根据待预测的场景信息调用信息获取模块以及输入图像生成模块，生成对应rgb图像，将场景对应rgb图像输入至训练好的车辆意图预测模型中，得到预测的车辆换道意图。
48、进一步地，信息获取模块，所获取的信息包括：
49、获取目标车辆和周围车辆的信息，包括车辆的长度、宽度、以及车辆在当前和历史时刻的质心位置、所属车道；周围车辆包括在目标车辆的左邻车道、右邻车道、当前车道上位于目标车辆前、后方且距离最近的车辆。
50、道路信息包括可行驶区域、车道边界、左右相邻车道和当前车道的宽度。
51、可行驶区域定义为一系列车道的组合，车辆在可行驶区域内的车道之间进行变道或超车，可行驶区域的边界为道路实线或者路肩。
52、进一步地，训练模块，所取的已有数据集为ngsim数据集，训练模块具体为：调用信息获取模块从ngsim数据集获取对应信息，对ngsim数据集中数据进行如下处理：
53、1)更正车辆编号，即根据车辆编号、所处位置、时间戳信息对数据排序、分割并重新编号。
54、2)筛选roi内数据，依据车辆所属车道的编号变化来判断是否存在换道行为，将不包含匝道的部分视为roi区域，根据该区域内车道的编号筛选出待处理数据。
55、3)获取目标车辆换道点，将目标车辆中心位于道路边界的瞬间视为换道点，根据ngsim数据集提供的车辆所属车道编号来寻找各车最接近换道点的时刻；按照车辆编号遍历数据集，再依据时间从早到晚的顺序依次遍历目标车辆的运动序列，如果存在车道编号跳变的情况，则将跳变前的最后一个时间戳视为换道点，并根据车道编号变化的正负标记换道方向。
56、4)获取目标车辆到达换道点前的运动状态，对出现换道行为的车辆，保存其到达换道点前n秒的时间、位置、车道信息；对全程未换道的车辆，随机抽取一个时间戳，保存该时间戳的前n秒的时间、位置、车道信息。
57、5)筛选各目标车辆的周围车辆，记录其运动状态；遍历各目标车辆运动序列，获取各时间戳中目标车辆的位置和所处车道；根据时间戳和目标车辆所处车道，从数据集中筛选出位于目标车辆所处车道和相邻车道的所有车辆；对各车道上的车辆分别按照位置排序，筛选出距离目标车辆最近的前后车辆，并保存对应的时间、位置信息。
58、进一步地，输入图像生成模块，用于根据目标车辆的场景信息生成rgb图像，具体执行如下步骤：
59、分别获取目标车辆和周围车辆运动序列，确定图像大小，具体为：根据限制速度或平均车速、车道宽度等场景信息确定图像大小：
60、图像长度＝道路限速或车流平均速度×提前预测时间×2/各像素表示长度。
61、图像宽度＝以当前车道为中心的三车道宽度/各像素表示宽度。
62、依次在r、g、b通道生成目标车辆运动图像、周围车辆运动图像、道路图像，具体包括：
63、在r通道中绘制目标车辆运动图像，即：在r通道存储目标车辆当前和历史运动位置，用矩形绘制车辆，矩形位置根据车辆位置、大小计算得到，矩形的颜色深浅表示该观测时刻距离最后观测时刻的远近。
64、在g通道中绘制周车运动图像，即在g通道存储周围车辆当前和历史运动位置，用矩形表示周围车辆，矩形位置根据车辆位置、大小计算得到，矩形的颜色深浅表示该观测时刻距离最后观测时刻的远近。
65、在b通道中绘制可行驶区域图像，即在b通道存储道路信息，用不同的填充值区分可行驶区域、不可行驶区域和车道边界。
66、最后融合三通道信息，得到用于意图预测的图像。
67、进一步地，车辆意图预测模型，其搭建过程具体为：
68、车辆意图预测模型的输入是一张三通道图像，各通道分别存储目标车辆的运动状态、周围车辆的运动状态和车道边界信息。
69、把resnet-18作为主干网络，借助残差模块实现深层次特征的学习。
70、两个cbam被集成在残差块的前后，分别为初始卷积层conv1_x和第一个残差块conv2_x之间以及最后一个残差块conv5_x和输出处理层之间。
71、输出层是一个维度为3的全连接层，经softmax函数处理后，得到各意图的概率，并将概率最高的意图视为预测结果。
72、有益效果：
73、相较于直接输入序列数据，本发明对场景的展示更加直观，对不同类型信息的可视化方式做出了区分，也体现了它们的交互关系，且可以充分考虑车辆体积对车车交互产生的影响。本方法表现出较高的意图预测准确率和极强的鲁棒性。
1.一种基于resnet的车辆换道意图预测方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种基于resnet的车辆换道意图预测方法，其特征在于，所述步骤一，所获取的信息包括：
3.如权利要求1所述的一种基于resnet的车辆换道意图预测方法，其特征在于，所述步骤一中，从ngsim数据集获取对应信息，对ngsim数据集中数据进行如下处理：
4.如权利要求1或2所述的一种基于resnet的车辆换道意图预测方法，其特征在于，所述步骤二：根据目标车辆的场景信息生成rgb图像，具体为：
5.如权利要求4所述的一种基于resnet的车辆换道意图预测方法，其特征在于，所述步骤二中，分别获取目标车辆和周围车辆运动序列，确定图像大小，具体为：根据限制速度或平均车速、车道宽度等场景信息确定图像大小：
6.如权利要求4所述的一种基于resnet的车辆换道意图预测方法，其特征在于，所述步骤二中，依次在r、g、b通道生成目标车辆运动图像、周围车辆运动图像、道路图像，具体包括：
7.如权利要求6中所述的一种基于resnet的车辆换道意图预测方法，其特征在于，所述在r通道中绘制目标车辆运动图像，具体为：
8.如权利要求6或7所述的一种基于resnet的车辆换道意图预测方法，其特征在于，所述在b通道中绘制可行驶区域图像：可行驶区域的像素值为默认值0，不可行驶区域的值被设置为255，对应的，可行驶区域在图像中显示为黑色，不可行驶区域显示为蓝色；在此基础上绘制车道线，将各车道边界的b通道值设置为255。
9.如权利要求1所述的一种基于resnet的车辆换道意图预测方法，其特征在于，所述步骤三，搭建车辆意图预测模型的过程具体为：
10.一种基于resnet的车辆换道意图预测系统，其特征在于，包括信息获取模块、输入图像生成模块、车辆意图预测模块、训练模块以及实时预测模块：
