基于环视图像的无人驾驶车辆鲁棒位置识别方法

专利2025-05-01  29


本发明属于车辆定位领域,涉及一种基于环视图像的无人驾驶车辆鲁棒位置识别方法。


背景技术:

1、近年来,同步定位与建图(simultaneous localization and mapping, slam)技术已成为导航领域的一项关键技术。slam技术能够在未知的复杂环境中实时提供精确的定位服务,并创建一致的环境地图,而无需依赖外部信号,在无法获取gnss信号的环境中,slam仍然能够实现高精度和高连续性的定位,从而为车辆定位提供了一种可靠的替代方案。

2、此外slam在自动驾驶、数字孪生、增强现实、搜救行动以及工业巡检机器人等领域也展现出了广泛且重要的应用价值。视觉识别在slam中具有不可替代的作用,其主要贡献在于增强环境理解能力、实现实时数据处理以及适应多变的外部环境,这些因素共同塑造了视觉识别在slam系统中的核心地位。尽管如此,视点变化带来的挑战不容忽视,因为物体在图像中的方位和位置改变所产生的视差会对视觉识别的准确性造成影响,从而影响定位准确性。


技术实现思路

1、本发明的目的在于提出一种基于环视图像的无人驾驶车辆鲁棒位置识别方法,通过结合360°环视图像采集与经过改良的mamba模块,利于实现对目标区域的全面覆盖,无遗漏地捕捉空间信息,以克服视觉识别中的视点差异问题,从而提高位置识别的鲁棒性和准确性。

2、本发明为了实现上述目的,采用如下技术方案:

3、基于环视图像的无人驾驶车辆鲁棒位置识别方法,包括如下步骤:

4、步骤1. 首先获取多组360度环视图像,并构建数据集;

5、其中,获取的360度环视图像由车辆上搭载的m个摄像头采集得到的,m为自然数;

6、步骤2. 搭建基于环视图像的鲁棒位置识别模型,该模型包括环视图像特征编码模块、垂直压缩模块、改进的mamba模块、gem模块以及eca模块;

7、环视图像特征编码模块包括多路图像权重共享的编码器支路,用于捕获多层次、多通道的细粒度特征;其中编码器支路的数量与摄像头的数量相等;

8、环视图像特征编码模块的输入为m个摄像头采集的360度环视图像作为输入数据,且每一路编码器支路对应提取一个摄像头采集的图像数据的视觉图像特征;

9、每路编码器支路中的图像编码器均采用densenet网络处理图像特征;

10、环视图像特征编码模块中各路编码器支路的输出特征沿着宽度维度进行拼接,将拼接后的特征量输入垂直压缩模块进行特征压缩操作,得到压缩后特征;

11、接着将特征压缩后的特征输入到改进的mamba模块,其中,改进的mamba模块对卷积编码的环视图像特征进行全局信息提取,并减少通道冗余降低复杂度;

12、将改进的mamba模块的输出结果再依次送到gem池化模块和eca模块,捕获多视角图像之间的关联并生成最终的用于位置识别的一维全局描述符;

13、步骤3. 基于步骤1构建的数据集对步骤2搭建的鲁棒位置识别模型进行训练,进一步利用训练好的模型,实现基于环视图像的视角不变鲁棒位置识别。

14、本发明具有如下优点:

15、如上所述,本发明提出了一种基于环视图像的无人驾驶车辆鲁棒位置识别方法,在该方法中构建了适用于环视图像的鲁棒位置识别模型。其中,在模型输入方面,本发明通过引入360°环视图像,使得鲁棒位置识别模型能够全面覆盖目标区域,有效捕捉空间信息,克服视角差异带来的识别挑战。在模型结构方面,该模型包含环视图像特征编码模块、垂直压缩模块、改进的mamba模块、gem模块及eca模块。环视图像特征编码模块采用多路图像权重共享的编码器分支,能够捕获多层次、多通道的细粒度特征。各编码器分支使用densenet网络处理图像特征,以增强信息传递,降低冗余,提高特征的表达能力,从而更好地反映场景细节。本发明中的改进mamba模块结合了空间注意力机制,通过引入关键结构设计点来有效补偿视角变化,确保对目标的精确关注,增强模型的空间信息捕捉能力。通过对模型输入和网络结构的有机结合,本发明实现了目标区域的全面覆盖,确保无遗漏地捕捉空间信息,显著克服了视觉识别中的视角变化问题,提升了车辆位置识别的鲁棒性和准确性。



技术特征:

1.基于环视图像的无人驾驶车辆鲁棒位置识别方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的基于环视图像的无人驾驶车辆鲁棒位置识别方法,其特征在于,

3.根据权利要求2所述的基于环视图像的无人驾驶车辆鲁棒位置识别方法,其特征在于,

4.根据权利要求1所述的基于环视图像的无人驾驶车辆鲁棒位置识别方法,其特征在于,

5.根据权利要求4所述的基于环视图像的无人驾驶车辆鲁棒位置识别方法,其特征在于,

6.根据权利要求5所述的基于环视图像的无人驾驶车辆鲁棒位置识别方法,其特征在于,

7.根据权利要求4所述的基于环视图像的无人驾驶车辆鲁棒位置识别方法,其特征在于,

8.根据权利要求1所述的基于环视图像的无人驾驶车辆鲁棒位置识别方法,其特征在于,

9.根据权利要求1所述的基于环视图像的无人驾驶车辆鲁棒位置识别方法,其特征在于,

10.根据权利要求1所述的基于环视图像的无人驾驶车辆鲁棒位置识别方法,其特征在于,所述步骤3中,实现基于环视图像的视角不变鲁棒位置识别的过程如下:


技术总结
本发明属于车辆定位技术领域,具体公开了一种基于环视图像的无人驾驶车辆鲁棒位置识别方法,该方法中提出了一种基于改进的Mamba模块的位置识别模型。在模型输入方面,引入了360°环视图像;在模型结构方面,模型中的环视图像特征编码模块采用了多路图像权重共享的编码器支路,用于捕获多层次、多通道的细粒度特征,各路编码器均采用DenseNet网络处理图像特征,通过改进的Mamba模块捕获多视角图像之间的关联,并生成最终的用于位置识别的一维全局描述符,本发明方法利于实现对目标区域的全面覆盖,无遗漏地捕捉空间信息,以克服视觉识别中的视点差异问题,从而提高了位置识别的鲁棒性和准确性。

技术研发人员:董海荣,孔栋,张硕,张立业,李中正,孙晓宇,周敏
受保护的技术使用者:山东科技大学
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-24019.html