本技术涉及数据处理领域,尤其涉及一种道路环境重建和障碍物预测方法、装置、设备及介质。
背景技术:
1、随着自动驾驶技术的进步和发展,对车辆的未来行进信息进行预测是一项关键技术。为提高所获取驾驶环境的准确性,现有技术在自动驾驶的过程中放弃了高精地图,选择了实时动态获取驾驶环境,以实现对道路拓扑环境的重建及障碍物的未来行进信息的预测。
2、相关技术中,通常通过先根据实时获取的驾驶环境进行环境拓扑重建,再根据环境拓扑重建的结果数据进行障碍物预测。然而,相关技术中障碍物运动信息的预测需要在环境拓扑重建之后才能进行,耗费大量运行资源及时间。
3、由此可见,相关技术中存在自动驾驶场景下环境拓扑重建和障碍物运动信息预测效率低的技术问题。
技术实现思路
1、本技术提供了一种道路环境重建和障碍物预测方法、装置、设备及介质,以解决现有技术中自动驾驶场景下环境拓扑重建和障碍物运动轨迹预测效率低的技术问题。
2、第一方面,本技术提供了一种道路环境重建和障碍物预测方法,包括:获取障碍物运动信息、道路环境信息和地图信息;将所述障碍物运动信息、所述道路环境信息和所述地图信息进行融合,得到融合信息,其中,所述融合信息包括所述障碍物运动信息、所述道路环境信息和所述地图信息之间的关联性特征;根据所述融合信息和所述地图信息进行道路环境重建操作,得到道路环境重建信息,并得到所述道路环境重建操作过程中产生的道路环境重建中间数据;根据所述融合信息、所述障碍物运动信息和所述道路环境重建中间信息生成障碍物预测信息。
3、进一步的,将所述障碍物运动信息、所述道路环境信息和所述地图信息进行融合,得到融合信息,包括:将所述障碍物运动信息输入障碍物运动编码器进行特征提取,得到障碍物运动特征;将所述道路环境信息输入道路环境编码器进行特征提取,得到道路环境特征;将所述地图信息输入地图编码器进行特征提取,得到地图特征;将所述障碍物运动特征、所述道路环境特征和所述地图特征输入特征融合器进行融合,得到融合信息。
4、进一步的,根据所述融合信息和所述地图信息生成道路环境重建信息,包括:将所述融合信息和所述地图信息输入第一子神经网络模型,得到道路环境重建信息;根据所述融合信息、所述障碍物运动信息和所述道路环境重建中间信息生成障碍物预测信息,包括:将所述融合信息、所述障碍物运动信息和所述道路环境重建中间信息输入第二子神经网络模型,得到障碍物预测信息。
5、进一步的,将所述融合信息和所述地图信息输入所述第一子神经网络模型,得到道路环境重建信息,包括:将所述融合信息输入所述第一子神经网络模型,得到初始道路关键点信息、初始道路中心线信息以及对应于所述初始道路中心线信息的初始道路关系信息,其中,所述初始道路关键点信息用于指示预设种类的道路关键点,所述初始道路中心线信息用于指示所对应的道路的位置,所述初始道路关系信息用于表征所述初始道路中心线信息指示的所有道路中心线之间的位置关系;根据所述地图信息对所述初始道路关键点信息进行增强,得到目标道路关键点信息;根据所述地图信息对所述初始道路中心线信息进行增强,得到目标道路中心线信息;根据所述地图信息对所述初始道路关系信息进行增强,得到对应于所述目标道路中心线信息目标道路关系信息。
6、进一步的,将所述融合信息、所述障碍物运动信息和所述道路环境重建中间信息输入所述第二子神经网络模型,得到障碍物预测信息,包括:将所述融合信息、所述障碍物运动信息和所述道路环境重建中间信息输入所述第二子神经网络模型;得到由所述第二子神经网络模型输出的、对应于将来时刻的障碍物占据图和障碍物占据流向图,其中,所述将来时刻的障碍物占据图用于表征与预测时间段中每个将来时刻对应的障碍物位置,所述障碍物占据流向图用于表征与所述每个将来时刻对应的障碍物流向。
7、进一步的,在所述根据所述融合信息、所述障碍物运动信息和所述道路环境重建中间信息生成障碍物预测信息之后,还包括:根据所述障碍物运动信息和当前障碍物占据图确定所述当前障碍物占据图中每个第一障碍物包含的像素点,并确定与所述每个第一障碍物对应的障碍物id,其中,所述当前障碍物占据图为当前时刻的所述障碍物占据图;循环执行以下循环操作,直至确定出每个障碍物占据图中的每个障碍物的障碍物id为止;根据目标障碍物占据图、下一障碍物占据流向图以及下一障碍物占据图,确定出所述下一障碍物占据图中的每个第二障碍物与所述目标障碍物占据图中的每个第一障碍物之间的对应关系,其中,在首次执行所述循环操作的情况下,所述目标障碍物占据图为所述当前障碍物占据图,所述下一障碍物占据流向图是位于所述目标障碍物占据图下一时刻的障碍物占据图;按照所述对应关系以及所述每个第一障碍物对应障碍物id,确定出与每个第二障碍物对应的障碍物id;将所述下一障碍物占据流向图作为所述当前障碍物占据图,将所述下一障碍物占据流向图的下一时刻的障碍物占据图作为所述下一障碍物占据流向图;按照每个障碍物占据图中的每个障碍物的障碍物id,将不同障碍物占据图中对应于同一个障碍物id的障碍物进行连接,得到与每个障碍物对应的预测轨迹信息。
8、进一步的,获取障碍物运动信息、道路环境信息和地图信息之前,所述方法还包括:获取初始障碍物运动信息,初始道路环境信息和初始地图信息;对所述初始障碍物运动信息进行预处理,得到预设格式的所述障碍物运动信息;对所述初始道路环境信息进行预处理,得到所述预设格式的所述道路环境信息;对所述初始地图信息进行预处理,得到所述预设格式的所述地图信息;其中,所述预设格式包括满足第一子神经网络模型和第二子神经网络模型输入要求的数据格式,所述第一子神经网络模型用于根据所述融合信息和所述地图信息生成所述道路环境重建信息,所述第二子神经网络模型用于根据所述融合信息、所述障碍物运动信息和所述道路环境重建中间信息生成所述障碍物预测信息。
9、第二方面,本技术提供了一种道路环境重建和障碍物预测装置,包括:信息获取模块,用于获取障碍物运动信息、道路环境信息和地图信息;信息融合模块,用于将所述障碍物运动信息、所述道路环境信息和所述地图信息进行融合,得到融合信息,其中,所述融合信息包括所述障碍物运动信息、所述道路环境信息和所述地图信息之间的关联性特征;环境重建模块,用于根据所述融合信息和所述地图信息进行道路环境重建操作,得到道路环境重建信息,并得到所述道路环境重建操作过程中产生的道路环境重建中间数据;障碍物预测模块,用于根据所述融合信息、所述障碍物运动信息和所述道路环境重建中间信息生成障碍物预测信息。
10、第三方面,本技术提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的道路环境重建和障碍物预测方法。
11、第四方面,本技术还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面所述的道路环境重建和障碍物预测方法。
12、第五方面,本技术还提供了一种移动工具,包括如第三方面所示的电子设备。
13、本技术实施例提供的上述技术方案与现有技术相比具有如下优点:本技术实施例获取障碍物运动信息、道路环境信息和地图信息,通过同时考虑和预测结果相关的动态信息和静态信息,保证了参考信息的多样性;将障碍物运动信息、道路环境信息和地图信息进行融合,得到融合信息,其中,融合信息包括障碍物运动信息、道路环境信息和地图信息之间的关联性特征,通过获取障碍物运动信息、道路环境信息和地图信息之间的关联性特征,将障碍物运动信息和道路环境信息进行对应,提高了预测结果的准确性;根据融合信息和地图信息进行道路环境重建操作,得到道路环境重建信息,并得到道路环境重建操作过程中产生的道路环境重建中间数据,通过地图信息对道路环境信息进行增强,提高了预测结果的准确性;根据融合信息、障碍物运动信息和道路环境重建中间信息生成障碍物预测信息,通过根据道路环境重建过程的中间数据、融合信息和障碍物运动信息生成障碍物预测信息,实现了在获取道路环境重建信息的同时生成障碍物预测信息,提高了预测效率,本技术实施例解决了现有技术在道路环境重建完成后才能进行障碍物预测,进而导致的预测效率低的技术问题,达到了准确高效的进行道路环境重建和障碍物预测的技术效果。
1.一种道路环境重建和障碍物预测方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,将所述障碍物运动信息、所述道路环境信息和所述地图信息进行融合,得到融合信息,包括:
3.根据权利要求1所述的方法,其特征在于,根据所述融合信息和所述地图信息生成道路环境重建信息,包括:
4.根据权利要求3所述的方法,其特征在于,将所述融合信息和所述地图信息输入所述第一子神经网络模型,得到道路环境重建信息,包括:
5.根据权利要求3所述的方法,其特征在于,将所述融合信息、所述障碍物运动信息和所述道路环境重建中间信息输入所述第二子神经网络模型,得到障碍物预测信息,包括:
6.根据权利要求5所述的方法,其特征在于,在所述根据所述融合信息、所述障碍物运动信息和所述道路环境重建中间信息生成障碍物预测信息之后,还包括:
7.根据权利要求1所述的方法,其特征在于,获取障碍物运动信息、道路环境信息和地图信息之前,所述方法还包括:
8.一种道路环境重建和障碍物预测装置,其特征在于,包括:
9.一种电子设备,其特征在于,包括:
10.一种移动工具,其特征在于,包括如权利要求9所示的电子设备。
