本发明涉及无人驾驶、人工智能领域,具体而言,涉及一种车辆的感知方法、装置、电子设备及存储介质。
背景技术:
1、矿山无人驾驶领域要求全天候高效率作业,并且由于矿山环境复杂,存在很多不安全因素,如矿石、设备、车辆等,所以需要对障碍物进行识别,避免碰撞和事故的发生。
2、通常无人驾驶矿车使用不同传感器采集到感知数据,基于采集到的感知数据进行障碍物识别。由于矿山自动驾驶的场景特性,车辆应具备在恶劣天气下进行作业的能力。然而,在恶劣天气条件下,由于雨、雪、雾、扬尘中粒子的影响,导致进行障碍物识别时,存在将噪声误识别成目标物,或遗漏噪声中的目标物的问题,进而导致车辆对障碍物的感知准确率较低,无法保障无人驾驶的安全性和效率。
3、针对上述的问题,目前尚未提出有效的解决方案。
技术实现思路
1、本发明实施例提供了一种车辆的感知方法、装置、电子设备及存储介质,以至少解决恶劣天气下,由于天气因素干扰造成的车辆对障碍物的感知准确率较低的技术问题。
2、根据本发明实施例的一个方面,提供了一种车辆的感知方法,包括:获取作业车辆感知到的多个模态的原始数据,其中,多个模态的原始数据由作业车辆上安装的多种类型的传感器分别对作业车辆周围环境进行采集得到,多种类型的传感器包括以下至少两种:视觉传感器、激光雷达传感器和毫米波雷达传感器;根据不同模态的原始数据的模态类型,确定对应模态的原始数据对应的数据增强策略和对应的数据增强概率,其中,数据增强概率用于表征针对对应模态的原始数据采用对应数据增强策略进行数据增强的概率;基于不同模态的原始数据对应的数据增强策略,对对应模态的原始数据按照对应数据增强概率进行数据增强,得到不同模态的增强数据;对不同模态的增强数据进行特征融合,得到感知结果。
3、根据本发明实施例的另一方面,还提供了一种车辆的感知装置,包括:数据获取模块,用于获取作业车辆感知到的多个模态的原始数据,其中,多个模态的原始数据由作业车辆上安装的多种类型的传感器分别对作业车辆周围环境进行采集得到,多种类型的传感器包括以下至少两种:视觉传感器、激光雷达传感器和毫米波雷达传感器;策略确定模块,用于根据不同模态的原始数据的模态类型,确定对应模态的原始数据对应的数据增强策略和对应的数据增强概率,其中,数据增强概率用于表征针对对应模态的原始数据采用对应数据增强策略进行数据增强的概率;数据增强模块,用于基于不同模态的原始数据对应的数据增强策略,对对应模态的原始数据按照对应数据增强概率进行数据增强,得到不同模态的增强数据;特征融合模块,用于对不同模态的增强数据进行特征融合,得到感知结果。
4、根据本发明实施例的另一方面,还提供了一种电子设备,包括:存储器,存储有可执行程序;处理器,用于运行程序,其中,程序运行时执行本发明各个实施例中的方法。
5、根据本发明实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的可执行程序,其中,在可执行程序运行时控制计算机可读存储介质所在设备执行本发明各个实施例中的方法。
6、在本发明实施例中,获取作业车辆感知到的多个模态的原始数据;根据不同模态的原始数据的模态类型,确定对应模态的原始数据对应的数据增强策略和对应的数据增强概率;基于不同模态的原始数据对应的数据增强策略,对对应模态的原始数据按照对应数据增强概率进行数据增强,得到不同模态的增强数据;对不同模态的增强数据进行特征融合,得到感知结果。容易注意到的是,根据原始数据的模态类型确定对应模态的原始数据对应的数据增强策略和对应的数据增强概率,对车辆感知到的多个模态的原始数据进行数据增强,使用数据增强后的数据进行特征融合,可以使用于特征融合的数据具备更强的真实性,覆盖恶劣天气下的多种干扰因素,更加真实的模拟恶劣天气下的传感器异常和雨、雪、雾、扬尘中粒子对车辆感知造成的影响,提高车辆感知的准确率,进而解决了恶劣天气下,由于天气因素干扰造成的车辆对障碍物的感知准确率较低的技术问题。
1.一种车辆的感知方法,其特征在于,包括:
2.根据权利要求1所述的车辆的感知方法,其特征在于,基于所述不同模态的原始数据对应的数据增强策略,对所述对应模态的原始数据按照所述对应数据增强概率进行数据增强,得到不同模态的增强数据,包括:
3.根据权利要求1所述的车辆的感知方法,其特征在于,在所述对应模态的原始数据对应的数据增强策略包含多个数据增强策略情况下,所述对应数据增强概率包括:所述多个数据增强策略对应的概率;基于所述不同模态的原始数据对应的数据增强策略,对所述对应模态的原始数据按照所述对应数据增强概率进行数据增强,得到不同模态的增强数据,包括:
4.根据权利要求3所述的车辆的感知方法,其特征在于,
5.根据权利要求1至4中任意一项所述的车辆的感知方法,其特征在于,对所述不同模态的增强数据进行特征融合,得到感知结果,包括:
6.根据权利要求5所述的车辆的感知方法,其特征在于,所述特征融合模型是通过如下方式训练得到的:
7.根据权利要求1至6中任意一项所述的车辆的感知方法,其特征在于,所述视觉传感器包括:安装在所述作业车辆的车头上的第一相机,安装在所述作业车辆的车头和车尾的多个第二相机,以及安装在作业车辆的车头上的多个第三相机,其中,所述第三相机的焦距大于所述第二相机的焦距,且小于所述第一相机的焦距,所述第三相机的视角大于所述第一相机的视角,且小于所述第二相机的视角,所述多个第三相机的朝向不同;和/或,
8.一种车辆的感知装置,其特征在于,包括:
9.一种电子设备,其特征在于,包括:
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的可执行程序,其中,在所述可执行程序运行时控制所述存储介质所在设备执行权利要求1至7中任意一项所述的车辆的感知方法。
