基于激光雷达和深度相机的路径规划及避障的方法及系统与流程

专利2024-07-07  59


本发明涉及激光slam、路径最优化算法、自主避障算法等众多领域技术,致力于开发一种基于激光雷达和深度相机的路径规划及避障的方法及系统。



背景技术:

目前,同时定位与地图构建,通常是指在agv小车或者其他载体上,通过对各种传感器数据进行采集和计算,生成对其自身位置姿态的定位和场景地图信息的系统。slam技术对于agv小车或其他智能体的行动和交互能力至为关键,它在自动驾驶、服务型agv小车、无人机、ar/vr等领域有着广泛的应用,可以说凡是拥有一定行动能力的智能体都拥有某种形式的slam系统。激光雷达的出现和普及使得测量更快更准,信息更丰富,激光雷达距离测量比较准确,误差模型简单,在强光直射以外的环境中运行稳定,点云的处理也比较容易。同时,激光slam理论研究也相对成熟,落地产品更丰富。但随着数字化工业的发展,单纯的slam建图已无法满足工业各场景下对agv小车自主化、智能化等高水平功能的需求,例如在无人车间中,不仅要求agv小车需按照固定轨迹进行货物运输、调配,更要求小车可在出现意外情况时进行及时的调整调度,尽可能减小由于意外发生发来的经济损失,这就要求agv小车具备路径自主规划、自主避障、智能控制等全方位智能化的功能。

鉴于以上对agv小车自主化、智能化的要求,本发明旨在开发一种基于激光雷达和深度相机的路径规划及避障的方法与方法。



技术实现要素:

本发明旨在开发一种基于激光雷达和深度相机的路径规划及避障的方法与方法,所述系统包括激光雷达、深度相机、agv小车运动平台、中央处理器组成,激光雷达可对位置环境进行重建,为agv小车的安全运行提供环境布局数据;深度相机实时获取不同视角下的场景图片,实时监控设备的整体运行状况;agv小车运动平台主要功能为搭载深度相机与激光雷达,提供所有硬件使用的电源、刹车、转向等核心功能。上述所有模块共同实现agv运动平台在未知环境下的地图重建、路径规划及动态避障。

作为本发明的一种实施例,一种基于激光雷达和深度相机的路径规划及动态避障方法,其特征在于,包括:

将激光雷达和深度相机装置在agv小车运动平台上,并根据所述agv小车运动平台内预设的中央处理系统,获取agv小车运动轨迹模型;

根据所述激光雷达,对位置环境进行重建,并获取环境布局数据;

根据所述深度相机,监控所述agv小车运动平台的周围环境的整体运行情况;

基于激光雷达和深度相机,根据所述环境布局数据和整体运行情况,构建所述agv小车运动平台自主避障算法,确定目标最优路径。

作为本发明的一种实施例,所述将激光雷达和深度相机装置在agv小车运动平台上,并根据所述agv小车运动平台内预设的中央处理系统,获取agv小车运动轨迹模型,包括:

将激光雷达和深度相机装置在agv小车运动平台上;其中,

所述激光雷达由单束窄带激光器和接收器构成,并安置在agv小车的顶部平台区域;其中,

所述单束窄带激光器用于发射光脉冲,获取发射时间t1;

所述接收器用于接收光脉冲,获取接收时间t2;

所述深度相机由一个rgb摄像头和一个深度摄像头组成;其中,

所述rgb摄像头用于采集所述被拍摄物品的光线图像;

所述深度摄像头用于获取图像的三维结构;

根据所述agv小车运动平台内预设的中央处理系统,确定动态窗口算法;

根据动态窗口算法,确定agv小车的运动模型;其中,

设两轮移动agv小车的轨迹是一段一段的圆弧或者直线(旋转速度为0时),一对(vt,wt)就代表一个圆弧轨迹,具体推导如下:假设不是全向运动agv小车,它做圆弧运动的半径为:

r=v/w

当旋转速度w不等于0时,agv小车坐标为:

θt=θt+wδi

根据所述agv小车的运动模型,模拟agv小车的轨迹,并获取agv小车运动轨迹模型。

作为本发明的一种实施例,所述根据所述深度相机,监控所述agv小车运动平台的周围环境的整体运行情况,包括:

根据所述深度相机的rgb摄像头,获取所述agv小车移动平台的周围环境的光线信号;

根据所述深度相机的深度摄像头,获取所述agv小车移动平台的周围环境的图像信息;

根据所述光线信号和图像信息,采集所述周围环境图像的不同深度区域图像,获取不同的图像相位信息;

根据所述不同的图像相位信息,确定相位数据;

通过预设的算法计算所述相位数据,确定所述agv小车移动平台的周围环境的深度信息;

根据所述深度信息,确定所述agv小车移动平台的周围环境的三维结构;

根据所述三维结构,确定所述agv小车移动平台的周围环境的整体运行情况。

作为本发明的一种实施例,所述根据所述激光雷达,对位置环境进行重建,并获取环境布局数据,包括:

基于激光雷达,对所述agv小车运动平台的运行状态建模,一个状态估计算法,即:

xk=f(xk-1,uk)+vk(1)

zk=h(xk)+wk(2)

其中,公式(1)为运动方程,表示在k时刻,agv小车运动平台的pose(x(k))由k-1时刻的pose(x(k-1))和k时刻的运动输入(u(k))所决定,由于实际物理环境总会引入误差,所以添加一个噪声量(v(k))对状态变化形成一定约束,公式(2)为观测方程,表示k时刻的agv小车运动平台传感器观测(z(k)),由当前时刻的agv小车运动平台pose所决定。同理,因为物理环境的影响,会带入一定的观测误差,即w(k);

通过附近地面站内的惯性导航系统或北斗卫星gps定位系统,确定三维导航坐标轴;

根据所述三维导航坐标轴,确定所述激光雷达及周围环境的位置坐标信息,并获取所述激光雷达离地面的高度、激光雷达的扫描角度以扫描方向;

通过所述激光雷达向周围环境发射光脉冲,根据所述发射时间和接收时间,获取所述传播时间;

根据所述传播时间,确定所述激光雷达和周围物品的距离;

根据所述激光雷达离地面的高度、激光雷达的扫描角度和扫描方向,确定以激光雷达为原点的目标三维导航坐标轴;

根据所述目标三维导航坐标轴,确定激光雷达的周围环境的目标位置坐标信息;

根据所述目标位置坐标信息,对位置环境进行重建,并获取环境布局数据。

作为本发明的一种实施例,所述基于激光雷达和深度相机,根据所述环境布局数据和整体运行情况,构建所述agv小车运动平台自主避障算法,确定目标最优路径,包括:

基于激光雷达和深度相机,获取slam方案,并将所述slam方案划分为两个模块,获取前端模块和后端模块;

根据前端模块,获得所述agv小车不同运行状态下连帧的pose;

在agv小车运动中,对比前后两帧的激光变化,获取agv小车的相对运动的pose数据;

将所述pose分解为三个维度,即x轴,y轴,角度轴,并构建三层for循环,分别对x方向、y方向、旋转角度方向进行遍历搜索,获取最优的pose遍历结果;

根据所述最优pose遍历结果,匹配所述相对运动的pose数据,获取状态估计结果;

根据后端模块,判断所述agv小车的pose和历史的pose重合数据,构建闭环约束;

通过非线性优化,获取运动过程中的误差,并将所述误差分散到参与优化的每个pose中,消除误差累积,获取所述agv小车运行速度;

根据所述agv小车运行速度,对每个速度所形成的每条轨迹进行评价,采用的评价函数如下:

g(v,w)=σ(α·heading(v,w)+β·dist(v,w)+γ·velocity(v,w))

中央处理器通过g值的大小判断轨迹是否为最优路径,并启动路径重新规划算法,获取目标最优路径。

如附图2所示,一种基于激光雷达和深度相机的路径规划及避障的方法,其特征在于,包括:

获取轨迹模块:将激光雷达和深度相机装置在agv小车运动平台上,并根据所述agv小车运动平台内预设的中央处理系统,获取agv小车运动轨迹模型;

激光雷达模块:根据所述激光雷达,对位置环境进行重建,并获取环境布局数据;

深度相机模块:根据所述深度相机,监控所述agv小车运动平台的周围环境的整体运行情况;

自主避障和最优路径模块:基于激光雷达和深度相机,根据所述环境布局数据和整体运行情况,构建所述agv小车运动平台自主避障算法,确定目标最优路径。

作为本发明的一种实施例,所述获取轨迹模块,包括:

agv小车运动平台单元:将激光雷达和深度相机装置在agv小车运动平台上;其中,

激光雷达第一子单元:所述激光雷达由单束窄带激光器和接收器构成,并安置在agv小车的顶部平台区域;其中,

单束窄带激光器第二子单元:所述单束窄带激光器用于发射光脉冲,获取发射时间t1;

接收器第二子单元:所述接收器用于接收光脉冲,获取接收时间t2;

深度相机单元:所述深度相机由一个rgb摄像头和一个深度摄像头组成;其中,

rgb摄像头子单元:所述rgb摄像头用于采集所述被拍摄物品的光线图像;

深度摄像头子单元:所述深度摄像头用于获取图像的三维结构;

动态窗口算法单元:根据所述agv小车运动平台内预设的中央处理系统,确定动态窗口算法;

运动模型单元:根据动态窗口算法,确定agv小车的运动模型;其中,

设两轮移动agv小车的轨迹是一段一段的圆弧或者直线(旋转速度为0时),一对(vt,wt)就代表一个圆弧轨迹,具体推导如下:假设不是全向运动agv小车,它做圆弧运动的半径为:

r=v/w

当旋转速度w不等于0时,agv小车坐标为:

θt=θt+wδi

运动轨迹模型单元:根据所述agv小车的运动模型,模拟agv小车的轨迹,并获取agv小车运动轨迹模型。

作为本发明的一种实施例,所述激光雷达模块,包括:

光线信号获取单元:根据所述深度相机的rgb摄像头,获取所述agv小车移动平台的周围环境的光线信号;

图像信息获取单元:根据所述深度相机的深度摄像头,获取所述agv小车移动平台的周围环境的图像信息;

图像相位信息获取单元:根据所述光线信号和图像信息,采集所述周围环境图像的不同深度区域图像,获取不同的图像相位信息;

相位数据确定单元:根据所述不同的图像相位信息,确定相位数据;

深度信息确定单元:通过预设的算法计算所述相位数据,确定所述agv小车移动平台的周围环境的深度信息;

三维结构确定单元:根据所述深度信息,确定所述agv小车移动平台的周围环境的三维结构;

整体运行情况确定单元:根据所述三维结构,确定所述agv小车移动平台的周围环境的整体运行情况。

作为本发明的一种实施例,所述深度相机模块,包括:

建模单元:基于激光雷达,对所述agv小车运动平台的运行状态建模,一个状态估计算法,即:

xk=f(xk-1,uk)+vk(1)

zk=h(xk)+wk(2)

其中,公式(1)为运动方程,表示在k时刻,agv小车运动平台的pose(x(k))由k-1时刻的pose(x(k-1))和k时刻的运动输入(u(k))所决定,由于实际物理环境总会引入误差,所以添加一个噪声量(v(k))对状态变化形成一定约束,公式(2)为观测方程,表示k时刻的agv小车运动平台传感器观测(z(k)),由当前时刻的agv小车运动平台pose所决定。同理,因为物理环境的影响,会带入一定的观测误差,即w(k);

三维导航坐标轴确定单元:通过附近地面站内的惯性导航系统或北斗卫星gps定位系统,确定三维导航坐标轴;

获取信息单元:根据所述三维导航坐标轴,确定所述激光雷达及周围环境的位置坐标信息,并获取所述激光雷达离地面的高度、激光雷达的扫描角度以扫描方向;

获取传播时间单元:通过所述激光雷达向周围环境发射光脉冲,根据所述发射时间和接收时间,获取所述传播时间;

确定距离单元:根据所述传播时间,确定所述激光雷达和周围物品的距离;

目标三维导航坐标轴确定单元:根据所述激光雷达离地面的高度、激光雷达的扫描角度和扫描方向,确定以激光雷达为原点的目标三维导航坐标轴;

目标位置坐标信息确定单元:根据所述目标三维导航坐标轴,确定激光雷达的周围环境的目标位置坐标信息;

获取环境布局数据单元:根据所述目标位置坐标信息,对位置环境进行重建,并获取环境布局数据。

作为本发明的一种实施例,所述自主避障和最优路径模块,包括:

slam划分单元:基于激光雷达和深度相机,获取slam方案,并将所述slam方案划分为两个模块,获取前端模块和后端模块;

pose单元:根据前端模块,获得所述agv小车不同运行状态下连帧的pose;

pose数据单元:在agv小车运动中,对比前后两帧的激光变化,获取agv小车的相对运动的pose数据;

pose遍历结果单元:将所述pose分解为三个维度,即x轴,y轴,角度轴,并构建三层for循环,分别对x方向、y方向、旋转角度方向进行遍历搜索,获取最优的pose遍历结果;

状态估计结果单元:根据所述最优pose遍历结果,匹配所述相对运动的pose数据,获取状态估计结果;

闭环约束单元:根据后端模块,判断所述agv小车的pose和历史的pose重合数据,构建闭环约束;

agv小车运行速度单元:通过非线性优化和所述闭环约束,获取运动过程中的误差,并将所述误差分散到参与优化的每个pose中,消除误差累积,获取所述agv小车运行速度;

目标最优路径单元:根据所述agv小车运行速度,对每个速度所形成的每条轨迹进行评价,确定路径重新规划算法,采用的评价函数如下:

g(v,w)=σ(α·heading(v,w)+β·dist(v,w)+γ·velocity(v,w))

判断g值的大小轨迹是否为最优路径,获取目标最优路径。

本发明的有益效果在于:本发明公开了一种基于imu与北斗系统的高精度定位系统与方法,所述系统包括运动系统、激光雷达、激光雷达安装架、dtu、imu、车载移动电源、信号天线。所述系统通过信号天线可以收集到北斗卫星的定位数据,通过结合imu惯性单元所采集的运动系统参数,提高定位精度,同时利用激光雷达对周围环境进行实时感知、重建,保障运动系统可实时感知周围环境,以实现对路径上障碍物的躲避,并做出及时的安全性处理,从而实现高精度定位及自主避障。

本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:

图1为本发明实施例中一种基于激光雷达和深度相机的路径规划及避障的方法的方法流程图;

图2为本发明实施例中一种基于激光雷达和深度相机的路径规划及避障的系统的系统组成图;

具体实施方式

以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。

实施例1:

如附图1所示,一种基于激光雷达和深度相机的路径规划及避障的方法,包括以下步骤:

步骤100:将激光雷达和深度相机装置在agv小车运动平台上,并根据所述agv小车运动平台内预设的中央处理系统,获取agv小车运动轨迹模型;

步骤101:根据所述激光雷达,对位置环境进行重建,并获取环境布局数据;

步骤102:根据所述深度相机,监控所述agv小车运动平台的周围环境的整体运行情况;

步骤103:基于激光雷达和深度相机,根据所述环境布局数据和整体运行情况,构建所述agv小车运动平台自主避障算法,确定目标最优路径。

本发明的原理和有益效果在于:激光雷达可对位置环境进行重建,为agv小车的安全运行提供环境布局数据;深度相机实时获取不同视角下的场景图片,实时监控设备的整体运行状况;agv小车运动平台主要功能为搭载深度相机与激光雷达,提供所有硬件使用的电源、刹车、转向等核心功能;上述所有模块共同实现agv运动平台在未知环境下的地图重建、路径规划及动态避障。

作为本发明的一种实施例,所述将激光雷达和深度相机装置在agv小车运动平台上,并根据所述agv小车运动平台内预设的中央处理系统,获取agv小车运动轨迹模型,包括:

将激光雷达和深度相机装置在agv小车运动平台上;其中,

所述激光雷达由单束窄带激光器和接收器构成,并安置在agv小车的顶部平台区域;其中,

所述单束窄带激光器用于发射光脉冲,获取发射时间t1;

所述接收器用于接收光脉冲,获取接收时间t2;

所述深度相机由一个rgb摄像头和一个深度摄像头组成;其中,

所述rgb摄像头用于采集所述被拍摄物品的光线图像;

所述深度摄像头用于获取图像的三维结构;

根据所述agv小车运动平台内预设的中央处理系统,确定动态窗口算法;

根据动态窗口算法,确定agv小车的运动模型;其中,

设两轮移动agv小车的轨迹是一段一段的圆弧或者直线(旋转速度为0时),一对(vt,wt)就代表一个圆弧轨迹,具体推导如下:假设不是全向运动agv小车,它做圆弧运动的半径为:

r=v/w

当旋转速度w不等于0时,agv小车坐标为:

θt=θt+wδi

根据所述agv小车的运动模型,模拟agv小车的轨迹,并获取agv小车运动轨迹模型。

本发明的原理和有益效果在于:所述agv小车车体由车架和相应的机械装置所组成,是agv的基础部分,其他总成部件的安装基础;蓄电和充电装置——agv常采用24v和48v直流蓄电池为动力,蓄电池供电一般应保持连续工作8小时以上的需要;驱动装置——由车轮、减速器、制动器、驱动电机及速度控制器等部分组成,是控制agv正常运行的装置;其运行指令由计算机或人工控制齐发出,运行速度、方向、制动的调节分别由计算机控制。为了安全,在断电时制动装置能靠机械实现制动;导向装置——接受导引系统的方向信息,通过转向装置来实现转向动作;车上控制器——接受控制中心的指令并执行相应的指令,同时将本身的状态(如位置、速度等)及时反馈给控制中心;通信装置——实现agv与地面控制站及地面监控设备之间的信息交换;安全保护装置——包括对agv本身的保护、对人或其他设备的保护等方面;移载装置——与所搬运货物直接接触,实现货物转载的装置;信息传输与处理装置——对agv进行监控,监控agv所处的地面状态,并与地面控制站实时进行信息传递。

作为本发明的一种实施例,所述根据所述深度相机,监控所述agv小车运动平台的周围环境的整体运行情况,包括:

根据所述深度相机的rgb摄像头,获取所述agv小车移动平台的周围环境的光线信号;

根据所述深度相机的深度摄像头,获取所述agv小车移动平台的周围环境的图像信息;

根据所述光线信号和图像信息,采集所述周围环境图像的不同深度区域图像,获取不同的图像相位信息;

根据所述不同的图像相位信息,确定相位数据;

通过预设的算法计算所述相位数据,确定所述agv小车移动平台的周围环境的深度信息;

根据所述深度信息,确定所述agv小车移动平台的周围环境的三维结构;

根据所述三维结构,确定所述agv小车移动平台的周围环境的整体运行情况。

本发明的原理和有益效果在于:所述深度相机由一个rgb摄像头和一个深度摄像头组成,结构光,英文叫做structuredlight,其原理是基本原理是,通过近红外激光器,将具有一定结构特征的光线投射到被拍摄物体上,再由专门的红外摄像头进行采集。这种具备一定结构的光线,会因被摄物体的不同深度区域,而采集不同的图像相位信息,然后通过运算单元将这种结构的变化换算成深度信息,以此来获得三维结构。简单来说就是,通过光学手段获取被拍摄物体的三维结构,再将获取到的信息进行更深入的应用。通常采用特定波长的不可见的红外激光作为光源,它发射出来的光经过一定的编码投影在物体上,通过一定算法来计算返回的编码图案的畸变来得到物体的位置和深度信息。

作为本发明的一种实施例,所述根据所述激光雷达,对位置环境进行重建,并获取环境布局数据,包括:

基于激光雷达,对所述agv小车运动平台的运行状态建模,一个状态估计算法,即:

xk=f(xk-1,uk)+vk(1)

zk=h(xk)+wk(2)

其中,公式(1)为运动方程,表示在k时刻,agv小车运动平台的pose(x(k))由k-1时刻的pose(x(k-1))和k时刻的运动输入(u(k))所决定,由于实际物理环境总会引入误差,所以添加一个噪声量(v(k))对状态变化形成一定约束,公式(2)为观测方程,表示k时刻的agv小车运动平台传感器观测(z(k)),由当前时刻的agv小车运动平台pose所决定。同理,因为物理环境的影响,会带入一定的观测误差,即w(k);

通过附近地面站内的惯性导航系统或北斗卫星gps定位系统,确定三维导航坐标轴;

根据所述三维导航坐标轴,确定所述激光雷达及周围环境的位置坐标信息,并获取所述激光雷达离地面的高度、激光雷达的扫描角度以扫描方向;

通过所述激光雷达向周围环境发射光脉冲,根据所述发射时间和接收时间,获取所述传播时间;

根据所述传播时间,确定所述激光雷达和周围物品的距离;

根据所述激光雷达离地面的高度、激光雷达的扫描角度和扫描方向,确定以激光雷达为原点的目标三维导航坐标轴;

根据所述目标三维导航坐标轴,确定激光雷达的周围环境的目标位置坐标信息;

根据所述目标位置坐标信息,对位置环境进行重建,并获取环境布局数据。

本发明的原理和有益效果在于:所述激光雷达被安置在agv小车的顶部平台区域,该区域四面应无其他硬件设施遮挡,lidar系统包括一个单束窄带激光器和一个接收系统。(装置)激光器产生并发射一束光脉冲,打在物体上并反射回来,最终被接收器所接收。接收器准确地测量光脉冲从发射到被反射回的传播时间。(t)因为光脉冲以光速传播,所以接收器总会在下一个脉冲发出之前收到前一个被反射回的脉冲。鉴于光速是已知的,传播时间即可被转换为对距离的测量。(距离)结合激光器的高度,激光扫描角度,从gps得到的激光器的位置和从ins得到的激光发射方向,就可以准确地计算出每一个地面光斑的坐标x,y,z。激光束发射的频率可以从每秒几个脉冲到每秒几万个脉冲。

作为本发明的一种实施例,所述基于激光雷达和深度相机,根据所述环境布局数据和整体运行情况,构建所述agv小车运动平台自主避障算法,确定目标最优路径,包括:

基于激光雷达和深度相机,获取slam方案,并将所述slam方案划分为两个模块,获取前端模块和后端模块;

根据前端模块,获得所述agv小车不同运行状态下连帧的pose;

在agv小车运动中,对比前后两帧的激光变化,获取agv小车的相对运动的pose数据;

将所述pose分解为三个维度,即x轴,y轴,角度轴,并构建三层for循环,分别对x方向、y方向、旋转角度方向进行遍历搜索,获取最优的pose遍历结果;

根据所述最优pose遍历结果,匹配所述相对运动的pose数据,获取状态估计结果;

根据后端模块,判断所述agv小车的pose和历史的pose重合数据,构建闭环约束;

通过非线性优化,获取运动过程中的误差,并将所述误差分散到参与优化的每个pose中,消除误差累积,获取所述agv小车运行速度;

根据所述agv小车运行速度,对每个速度所形成的每条轨迹进行评价,采用的评价函数如下:

g(v,w)=σ(α·heading(v,w)+β·dist(v,w)+γ·velocity(v,w))

中央处理器通过g值的大小判断轨迹是否为最优路径,并启动路径重新规划算法,获取目标最优路径。

本发明的原理和有益效果在于:agv小车在获得目的地信息后,首先经过全局路径规划规划出一条大致可行的路线,然后调用局部路径规划器根据这条路线及costmap的信息规划出agv小车在局部时做出具体行动策略。dwa算法全称为dynamicwindowapproach,其原理主要是在速度空间(v,w)中采样多组速度,并模拟这些速度在一定时间内的运动轨迹,再通过一个评价函数对这些轨迹打分,最优的速度被选择出来发送给下位机。agv小车的轨迹运动模型有了,根据速度就可以推算出轨迹。因此只需采样很多速度,推算轨迹。(一)移动agv小车受自身最大速度最小速度的限制(二)移动agv小车受电机性能的影响:由于电机力矩有限,存在最大的加減速限制,因此移动agv小车軌迹前向模拟的周期sim_period内,存在一个动态窗口,在该窗口内的速度是agv小车能够实际达到的速度:

vd={(v,w)|v∈[vc-vbδtc+vaδt]∩w∈[wbδtcwc+waδt]}

(三)基于移动agv小车安全的考虑:为了能够在碰到障碍物前停下来,因此在最大减速度条件下,速度有一个范围:

最优化路径已经生成,但是由于外界不可控因素可能导致运动小车在原规定路径下正常行驶时,路径上出现障碍物,障碍物的突然出现会被小车的激光雷达及深度相机系统及时捕获到,并得到点云图。此时,小车的制动系统起作用,并发出制动的信号,及时让小车停在原地。同时,中央处理器启动路径重新规划算法,系统将安装1)-3)步重新规划路径,使小车按照新的最优化路径到达目的地。

作为本发明的一种实施例:一种基于激光雷达和深度相机的路径规划及避障的系统,其特征在于,包括:

获取轨迹模块:将激光雷达和深度相机装置在agv小车运动平台上,并根据所述agv小车运动平台内预设的中央处理系统,获取agv小车运动轨迹模型;

激光雷达模块:根据所述激光雷达,对位置环境进行重建,并获取环境布局数据;

深度相机模块:根据所述深度相机,监控所述agv小车运动平台的周围环境的整体运行情况;

自主避障和最优路径模块:基于激光雷达和深度相机,根据所述环境布局数据和整体运行情况,构建所述agv小车运动平台自主避障算法,确定目标最优路径。

作为本发明的一种实施例,所述获取轨迹模块,包括:

agv小车运动平台单元:将激光雷达和深度相机装置在agv小车运动平台上;其中,

激光雷达第一子单元:所述激光雷达由单束窄带激光器和接收器构成,并安置在agv小车的顶部平台区域;其中,

单束窄带激光器第二子单元:所述单束窄带激光器用于发射光脉冲,获取发射时间t1;

接收器第二子单元:所述接收器用于接收光脉冲,获取接收时间t2;

深度相机单元:所述深度相机由一个rgb摄像头和一个深度摄像头组成;其中,

rgb摄像头子单元:所述rgb摄像头用于采集所述被拍摄物品的光线图像;

深度摄像头子单元:所述深度摄像头用于获取图像的三维结构;

动态窗口算法单元:根据所述agv小车运动平台内预设的中央处理系统,确定动态窗口算法;

运动模型单元:根据动态窗口算法,确定agv小车的运动模型;其中,

设两轮移动agv小车的轨迹是一段一段的圆弧或者直线(旋转速度为0时),一对(vt,wt)就代表一个圆弧轨迹,具体推导如下:假设不是全向运动agv小车,它做圆弧运动的半径为:

r=v/w

当旋转速度w不等于0时,agv小车坐标为:

θt=θt+wδi

运动轨迹模型单元:根据所述agv小车的运动模型,模拟agv小车的轨迹,并获取agv小车运动轨迹模型。

作为本发明的一种实施例,所述激光雷达模块,包括:

光线信号获取单元:根据所述深度相机的rgb摄像头,获取所述agv小车移动平台的周围环境的光线信号;

图像信息获取单元:根据所述深度相机的深度摄像头,获取所述agv小车移动平台的周围环境的图像信息;

图像相位信息获取单元:根据所述光线信号和图像信息,采集所述周围环境图像的不同深度区域图像,获取不同的图像相位信息;

相位数据确定单元:根据所述不同的图像相位信息,确定相位数据;

深度信息确定单元:通过预设的算法计算所述相位数据,确定所述agv小车移动平台的周围环境的深度信息;

三维结构确定单元:根据所述深度信息,确定所述agv小车移动平台的周围环境的三维结构;

整体运行情况确定单元:根据所述三维结构,确定所述agv小车移动平台的周围环境的整体运行情况。

作为本发明的一种实施例,所述深度相机模块,包括:

建模单元:基于激光雷达,对所述agv小车运动平台的运行状态建模,一个状态估计算法,即:

xk=f(xk-1,uk)+vk(1)

zk=h(xk)+wk(2)

其中,公式(1)为运动方程,表示在k时刻,agv小车运动平台的pose(x(k))由k-1时刻的pose(x(k-1))和k时刻的运动输入(u(k))所决定,由于实际物理环境总会引入误差,所以添加一个噪声量(v(k))对状态变化形成一定约束,公式(2)为观测方程,表示k时刻的agv小车运动平台传感器观测(z(k)),由当前时刻的agv小车运动平台pose所决定。同理,因为物理环境的影响,会带入一定的观测误差,即w(k);

三维导航坐标轴确定单元:通过附近地面站内的惯性导航系统或北斗卫星gps定位系统,确定三维导航坐标轴;

获取信息单元:根据所述三维导航坐标轴,确定所述激光雷达及周围环境的位置坐标信息,并获取所述激光雷达离地面的高度、激光雷达的扫描角度以扫描方向;

获取传播时间单元:通过所述激光雷达向周围环境发射光脉冲,根据所述发射时间和接收时间,获取所述传播时间;

确定距离单元:根据所述传播时间,确定所述激光雷达和周围物品的距离;

目标三维导航坐标轴确定单元:根据所述激光雷达离地面的高度、激光雷达的扫描角度和扫描方向,确定以激光雷达为原点的目标三维导航坐标轴;

目标位置坐标信息确定单元:根据所述目标三维导航坐标轴,确定激光雷达的周围环境的目标位置坐标信息;

获取环境布局数据单元:根据所述目标位置坐标信息,对位置环境进行重建,并获取环境布局数据。

作为本发明的一种实施例,所述自主避障和最优路径模块,包括:

slam划分单元:基于激光雷达和深度相机,获取slam方案,并将所述slam方案划分为两个模块,获取前端模块和后端模块;

pose单元:根据前端模块,获得所述agv小车不同运行状态下连帧的pose;

pose数据单元:在agv小车运动中,对比前后两帧的激光变化,获取agv小车的相对运动的pose数据;

pose遍历结果单元:将所述pose分解为三个维度,即x轴,y轴,角度轴,并构建三层for循环,分别对x方向、y方向、旋转角度方向进行遍历搜索,获取最优的pose遍历结果;

状态估计结果单元:根据所述最优pose遍历结果,匹配所述相对运动的pose数据,获取状态估计结果;

闭环约束单元:根据后端模块,判断所述agv小车的pose和历史的pose重合数据,构建闭环约束;

agv小车运行速度单元:通过非线性优化和所述闭环约束,获取运动过程中的误差,并将所述误差分散到参与优化的每个pose中,消除误差累积,获取所述agv小车运行速度;

目标最优路径单元:根据所述agv小车运行速度,对每个速度所形成的每条轨迹进行评价,确定路径重新规划算法,采用的评价函数如下:

g(v,w)=σ(α·heading(v,w)+β·dist(v,w)+γ·velocity(v,w))

判断g值的大小轨迹是否为最优路径,获取目标最优路径。

显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。


技术特征:

1.一种基于激光雷达和深度相机的路径规划及避障的方法,其特征在于,包括:

将激光雷达和深度相机安装在agv小车运动平台上,并根据所述agv小车运动平台内预设的中央处理系统,获取agv小车运动轨迹模型;

根据所述激光雷达,对位置环境进行重建,并获取环境布局数据;

根据所述深度相机,监控所述agv小车运动平台的周围环境的整体运行情况;

基于激光雷达和深度相机,根据所述环境布局数据和整体运行情况,构建所述agv小车运动平台自主避障算法,确定目标最优路径。

2.根据所述权利要求1所述的一种基于激光雷达和深度相机的路径规划及避障的方法,其特征在于,所述将激光雷达和深度相机装置在agv小车运动平台上,并根据所述agv小车运动平台内预设的中央处理系统,获取agv小车运动轨迹模型,还包括:

将激光雷达和深度相机装置在agv小车运动平台上;其中,

所述激光雷达由单束窄带激光器和接收器构成,并安置在agv小车的顶部平台区域;其中,

所述单束窄带激光器用于发射光脉冲,获取发射时间t1;

所述接收器用于接收光脉冲,获取接收时间t2;

所述深度相机由一个rgb摄像头和一个深度摄像头组成;其中,

所述rgb摄像头用于采集所述被拍摄物品的光线图像;

所述深度摄像头用于获取图像的三维结构;

根据所述agv小车运动平台内预设的中央处理系统,确定动态窗口算法;

根据动态窗口算法,确定agv小车的运动模型;其中,

设两轮移动agv小车的轨迹是一段一段的圆弧或者直线(旋转速度为0时),一对(vt,wt)就代表一个圆弧轨迹,具体推导如下:假设不是全向运动agv小车,它做圆弧运动的半径为:

r=v/w

当旋转速度w不等于0时,agv小车坐标为:

θt=θt+wδi

根据所述agv小车的运动模型,模拟agv小车的轨迹,并获取agv小车运动轨迹模型。

3.根据所述权利要求2所述的一种基于激光雷达和深度相机的路径规划及避障的方法,其特征在于,所述根据所述深度相机,监控所述agv小车运动平台的周围环境的整体运行情况,包括:

根据所述深度相机的rgb摄像头,获取所述agv小车移动平台的周围环境的光线信号;

根据所述深度相机的深度摄像头,获取所述agv小车移动平台的周围环境的图像信息;

根据所述光线信号和图像信息,采集所述周围环境图像的不同深度区域图像,获取不同的图像相位信息;

根据所述不同的图像相位信息,确定相位数据;

通过预设的算法计算所述相位数据,确定所述agv小车移动平台的周围环境的深度信息;

根据所述深度信息,确定所述agv小车移动平台的周围环境的三维结构;

根据所述三维结构,确定所述agv小车移动平台的周围环境的整体运行情况。

4.根据所述权利要求3所述的一种基于激光雷达和深度相机的路径规划及避障的方法,其特征在于,所述根据所述激光雷达,对位置环境进行重建,并获取环境布局数据,包括:

基于激光雷达,对所述agv小车运动平台的运行状态建模,一个状态估计算法,即:

xk=f(xk-1,uk)+vk(1)

zk=h(xk)+wk(2)

其中,公式(1)为运动方程,表示在k时刻,agv小车运动平台的pose(x(k))由k-1时刻的pose(x(k-1))和k时刻的运动输入(u(k))所决定,由于实际物理环境总会引入误差,所以添加一个噪声量(v(k))对状态变化形成一定约束,公式(2)为观测方程,表示k时刻的agv小车运动平台传感器观测(z(k)),由当前时刻的agv小车运动平台pose所决定。同理,因为物理环境的影响,会带入一定的观测误差,即w(k);

通过附近地面站内的惯性导航系统或北斗卫星gps定位系统,确定三维导航坐标轴;

根据所述三维导航坐标轴,确定所述激光雷达及周围环境的位置坐标信息,并获取所述激光雷达离地面的高度、激光雷达的扫描角度以扫描方向;

通过所述激光雷达向周围环境发射光脉冲,根据所述发射时间和接收时间,获取传播时间;

根据所述传播时间,确定所述激光雷达和周围物品的距离;

根据所述激光雷达离地面的高度、激光雷达的扫描角度和扫描方向,确定以激光雷达为原点的目标三维导航坐标轴;

根据所述目标三维导航坐标轴,确定激光雷达的周围环境的目标位置的坐标信息;

根据所述目标位置的坐标信息,对位置环境进行重建,并获取环境布局数据。

5.根据所述权利要求2所述的一种基于激光雷达和深度相机的路径规划及避障的方法,其特征在于,所述基于激光雷达和深度相机,根据所述环境布局数据和整体运行情况,构建所述agv小车运动平台自主避障算法,确定目标最优路径,包括:

基于激光雷达和深度相机,获取slam方案,并将所述slam方案划分为两个模块,获取前端模块和后端模块;

根据前端模块,获得所述agv小车不同运行状态下连帧的pose;

在agv小车运动中,对比前后两帧的激光变化,获取agv小车的相对运动的pose数据;

将所述pose分解为三个维度,即x轴,y轴,角度轴,并构建三层for循环,分别对x方向、y方向、旋转角度方向进行遍历搜索,获取最优的pose遍历结果;

根据所述最优pose遍历结果,匹配所述相对运动的pose数据,获取状态估计结果;

根据后端模块,判断所述agv小车的pose和历史的pose重合数据,构建闭环约束;

通过非线性优化,获取运动过程中的误差,并将所述误差分散到参与优化的每个pose中,消除误差累积,获取所述agv小车运行速度;

根据所述agv小车运行速度,对每个速度所形成的每条轨迹进行评价,采用的评价函数如下:

g(v,w)=σ(α·heading(v,w)+β·dist(v,w)+γ·velocity(v,w))

中央处理器通过g值的大小判断轨迹是否为最优路径,并启动路径重新规划算法,获取目标最优路径。

6.一种基于激光雷达和深度相机的路径规划及避障的系统,其特征在于,包括:

获取轨迹模块:将激光雷达和深度相机装置在agv小车运动平台上,并根据所述agv小车运动平台内预设的中央处理系统,获取agv小车运动轨迹模型;

激光雷达模块:根据所述激光雷达,对位置环境进行重建,并获取环境布局数据;

深度相机模块:根据所述深度相机,监控所述agv小车运动平台的周围环境的整体运行情况;

自主避障和最优路径模块:基于激光雷达和深度相机,根据所述环境布局数据和整体运行情况,构建所述agv小车运动平台自主避障算法,确定目标最优路径。

7.根据所述权利要求6所述的一种基于激光雷达和深度相机的路径规划及避障的系统,其特征在于,所述获取轨迹模块,包括:

agv小车运动平台单元:将激光雷达和深度相机装置在agv小车运动平台上;其中,

激光雷达第一子单元:所述激光雷达由单束窄带激光器和接收器构成,并安置在agv小车的顶部平台区域;其中,

单束窄带激光器第二子单元:所述单束窄带激光器用于发射光脉冲,获取发射时间t1;

接收器第二子单元:所述接收器用于接收光脉冲,获取接收时间t2;

深度相机单元:所述深度相机由一个rgb摄像头和一个深度摄像头组成;其中,

rgb摄像头子单元:所述rgb摄像头用于采集所述被拍摄物品的光线图像;

深度摄像头子单元:所述深度摄像头用于获取图像的三维结构;

动态窗口算法单元:根据所述agv小车运动平台内预设的中央处理系统,确定动态窗口算法;

运动模型单元:根据动态窗口算法,确定agv小车的运动模型;其中,

设两轮移动agv小车的轨迹是一段一段的圆弧或者直线(旋转速度为0时),一对(vt,wt)就代表一个圆弧轨迹,具体推导如下:假设不是全向运动agv小车,它做圆弧运动的半径为:

r=v/w

当旋转速度w不等于0时,agv小车坐标为:

θt=θt+wδi

运动轨迹模型单元:根据所述agv小车的运动模型,模拟agv小车的轨迹,并获取agv小车运动轨迹模型。

8.根据所述权利要求6所述的一种基于激光雷达和深度相机的路径规划及避障的系统,其特征在于,所述激光雷达模块,包括:

光线信号获取单元:根据所述深度相机的rgb摄像头,获取所述agv小车移动平台的周围环境的光线信号;

图像信息获取单元:根据所述深度相机的深度摄像头,获取所述agv小车移动平台的周围环境的图像信息;

图像相位信息获取单元:根据所述光线信号和图像信息,采集所述周围环境图像的不同深度区域图像,获取不同的图像相位信息;

相位数据确定单元:根据所述不同的图像相位信息,确定相位数据;

深度信息确定单元:通过预设的算法计算所述相位数据,确定所述agv小车移动平台的周围环境的深度信息;

三维结构确定单元:根据所述深度信息,确定所述agv小车移动平台的周围环境的三维结构;

整体运行情况确定单元:根据所述三维结构,确定所述agv小车移动平台的周围环境的整体运行情况。

9.根据所述权利要求6所述的一种基于激光雷达和深度相机的路径规划及避障的系统,其特征在于,所述深度相机模块,包括:

建模单元:基于激光雷达,对所述agv小车运动平台的运行状态建模,一个状态估计算法,即:

xk=f(xk-1,uk)+vk(1)

zk=h(xk)+wk(2)

其中,公式(1)为运动方程,表示在k时刻,agv小车运动平台的pose(x(k))由k-1时刻的pose(x(k-1))和k时刻的运动输入(u(k))所决定,由于实际物理环境总会引入误差,所以添加一个噪声量(v(k))对状态变化形成一定约束,公式(2)为观测方程,表示k时刻的agv小车运动平台传感器观测(z(k)),由当前时刻的agv小车运动平台pose所决定。同理,因为物理环境的影响,会带入一定的观测误差,即w(k);

三维导航坐标轴确定单元:通过附近地面站内的惯性导航系统或北斗卫星gps定位系统,确定三维导航坐标轴;

获取信息单元:根据所述三维导航坐标轴,确定所述激光雷达及周围环境的位置坐标信息,并获取所述激光雷达离地面的高度、激光雷达的扫描角度以扫描方向;

获取传播时间单元:通过所述激光雷达向周围环境发射光脉冲,根据所述发射时间和接收时间,获取所述传播时间;

确定距离单元:根据所述传播时间,确定所述激光雷达和周围物品的距离;

目标三维导航坐标轴确定单元:根据所述激光雷达离地面的高度、激光雷达的扫描角度和扫描方向,确定以激光雷达为原点的目标三维导航坐标轴;

目标位置坐标信息确定单元:根据所述目标三维导航坐标轴,确定激光雷达的周围环境的目标位置坐标信息;

获取环境布局数据单元:根据所述目标位置坐标信息,对位置环境进行重建,并获取环境布局数据。

10.根据所述权利要求6所述的一种基于激光雷达和深度相机的路径规划及避障的系统,其特征在于,所述自主避障和最优路径模块,包括:

slam划分单元:基于激光雷达和深度相机,获取slam方案,并将所述slam方案划分为两个模块,获取前端模块和后端模块;

pose单元:根据前端模块,获得所述agv小车不同运行状态下连帧的pose;

pose数据单元:在agv小车运动中,对比前后两帧的激光变化,获取agv小车的相对运动的pose数据;

pose遍历结果单元:将所述pose分解为三个维度,即x轴,y轴,角度轴,并构建三层for循环,分别对x方向、y方向、旋转角度方向进行遍历搜索,获取最优的pose遍历结果;

状态估计结果单元:根据所述最优pose遍历结果,匹配所述相对运动的pose数据,获取状态估计结果;

闭环约束单元:根据后端模块,判断所述agv小车的pose和历史的pose重合数据,构建闭环约束;

agv小车运行速度单元:通过非线性优化和所述闭环约束,获取运动过程中的误差,并将所述误差分散到参与优化的每个pose中,消除误差累积,获取所述agv小车运行速度;

目标最优路径单元:根据所述agv小车运行速度,对每个速度所形成的每条轨迹进行评价,确定路径重新规划算法,采用的评价函数如下:g(v,w)=σ(α·heading(v,w)+β·dist(v,w)+γ·velocity(v,w))

判断g值的大小轨迹是否为最优路径,获取目标最优路径。

技术总结
本发明提供了一种基于激光雷达和深度相机的路径规划及避障的方法及系统,包括,将激光雷达和深度相机装置在AGV小车运动平台上,并根据所述AGV小车运动平台内预设的中央处理系统,获取AGV小车运动轨迹模型;根据所述激光雷达,对位置环境进行重建,并获取环境布局数据;根据所述深度相机,监控所述AGV小车运动平台的周围环境的整体运行情况;基于激光雷达和深度相机,根据所述环境布局数据和整体运行情况,构建所述AGV小车运动平台自主避障算法,确定目标最优路径。

技术研发人员:郭彦彬;王国平;刘迎宾;叶韶华
受保护的技术使用者:华中科技大学鄂州工业技术研究院;华中科技大学
技术研发日:2020.10.29
技术公布日:2021.04.06

转载请注明原文地址:https://xbbs.6miu.com/read-20204.html