本发明涉及传感器，尤其涉及基于多传感器标定的行车吊物安全检测方法及系统。
背景技术：
1、在行车携带吊物移动的场景中需要关注吊物附近人员的安全问题，此时需要计算人员是否在报警范围中。
2、通过将多种传感器的数据融合能够结合不同传感器的优点，起到扬长避短的效果，多传感器标定是数据融合的基础，即将相机像素坐标系、激光雷达坐标系进行坐标统一。
3、现有的基于多传感器融合的定位系统在复杂环境下可能会受到干扰，导致定位精度和稳定性下降。在处理大量传感器数据和数据同步时可能出现延迟，导致在行车携带吊物移动的场景中吊物附近人员安全问题。
技术实现思路
1、(一)发明目的
2、为解决背景技术中存在的技术问题，本发明提出基于多传感器标定的行车吊物安全检测方法及系统，可以有效提高行车携带吊物移动的场景中吊物附近人员的安全问题。
3、(二)技术方案
4、为解决上述问题，本发明第一方面提供了基于多传感器标定的行车吊物安全检测方法，包括：
5、步骤s01，对多传感器与多传感器单元进行变换矩阵标定，完成三维重建后的点云融合拼接，以实现坐标统一；
6、步骤s02，对最大点云平面的平面方程参数进行提取，计算出点云到指定平面的变换矩阵，作为先验参数并进行保存；
7、步骤s03，输入算法软同步的相机和激光雷达点云数据，将雷达点云通过已标定的相机雷达外参矩阵反投影到像素平面并进行上采样得到稠密的深度图；
8、步骤s04，利用获取的所述深度图提取人员、吊臂和钢卷的语义信息，并对所述语义信息进行跟踪；
9、步骤s05，对获取的语义信息进行语义三维重建，以生成带有人员、吊臂和钢卷语义信息的实例点云；
10、步骤s06，利用特征点法和多视图几何约束对行车和吊臂的运动方向进行检测；
11、步骤s07，获取吊臂、吊物前进方向的障碍物高度触发避障机制；
12、步骤s08，对人员所在平面的点云进行提取，计算人员逃生空间；
13、步骤s09，计算人员到吊物外轮廓的距离；
14、步骤s10，计算每个人员点云质心到钢卷外轮廓的最近距离，并与预设的安全距离阈值进行比对，输出报警结果。
15、优选的，在所述步骤s01中，所述标定包括手动标定和自动标定，其中，手动标定指激光雷达的点云投影在二维平面，利用手动调节欧拉角的方式使得点云特征与图像特征一一匹配，得到变换矩阵。
16、优选的，在所述步骤s03中，所述深度图的获取包括：
17、以每个相机图像为校准时间戳；
18、将接收到的雷达点云数据按所述时间戳在相机图像前后排序；
19、定义一个相机图像时间戳前后一定时间范围内的雷达点云数据作为对应的同步数据；
20、将多个同步的雷达点云数据叠加投影到像素平面进而得到深度图。
21、优选的，在所述步骤s06中，在提取吊臂语义后，包括：
22、对输入的安装在行车上的相机的前后两帧的图像的特定区域分别做特征点提取和匹配；
23、使用多视图几何约束筛选匹配的特征点；
24、通过特征点向量单独计算出行车和吊臂的运动方向。
25、优选的，在步骤s07中，包括输入吊臂、吊物点云和环境点云，在吊臂运动方向上截取同一高度的点云，若运动方向上存在障碍物点云，则触发避障机制，反之则正常运行。
26、优选的，在所述步骤s08中，输入重建的三维点云，使用基于ransac平面提取算法对每个人员所在的平面进行提取作为可通行区域，在该区域中搜索是否存在到吊物外轮廓的距离大于设定的安全距离阈值的区域。
27、优选的，在步骤s09中，包括对输入的吊物点云数据进行欧式聚类、半径滤波和统计滤波得到去除噪点的点云数据，通过主成分分析法计算吊物点云的主向量、质心和长宽，将吊物点云投影到同一平面，使用最近邻搜索算法查找点云到人员质心最近点，最后将该距离作为人员到吊物外轮廓最近点的水平距离。
28、优选的，还包括根据预先设定，根据吊物高度、是否存在逃生空间划分不同的安全范围，当人员到吊物外轮廓的距离小于安全距离阈值时，触发连续的报警警示，直至检测到的人员离开危险范围停止。
29、本发明第二方面提出了基于多传感器标定的行车吊物安全检测系统，包括：
30、标定模块，用于对多传感器与多传感器单元进行变换矩阵标定，完成三维重建后的点云融合拼接，以实现坐标统一；
31、地面提取模块，用于对最大点云平面的平面方程参数进行提取，计算出点云到指定平面的变换矩阵，作为先验参数并进行保存；
32、第一生成模块，用于输入算法软同步的相机和激光雷达点云数据，将雷达点云通过已标定的相机雷达外参矩阵反投影到像素平面并进行上采样得到稠密的深度图；
33、语义模块，用于利用获取的所述深度图提取人员、吊臂和钢卷的语义信息，并对所述语义信息进行跟踪；
34、第二生成模块，用于对获取的语义信息进行语义三维重建，以生成带有人员、吊臂和钢卷语义信息的实例点云；
35、检测模块，用于利用特征点法和多视图几何约束对行车和吊臂的运动方向进行检测；
36、避障模块，用于获取吊臂、吊物前进方向的障碍物高度触发避障机制；
37、第一计算模块，用于对人员所在平面的点云进行提取，计算人员逃生空间；
38、第二计算模块，用于计算人员到吊物外轮廓的距离；
39、第三计算模块，用于计算每个人员点云质心到钢卷外轮廓的最近距离，并与预设的安全距离阈值进行比对，输出报警结果。
40、本发明的上述技术方案具有如下有益的技术效果：
41、本发明能根据行车两端的视觉雷达传感器所采集到的图像和点云信息，精准捕捉计算出行人、吊臂和钢卷的位置，通过目标检测算法与多目标跟踪算法计算出行人、吊臂和钢卷的相关参数。当行人移动到进入所吊钢卷的危险范围内时，行车控制板卡上的报警器自动发出响铃警示，当行人离开危险范围时报警声解除。
1.基于多传感器标定的行车吊物安全检测方法，其特征在于，包括：
2.根据权利要求1所述的基于多传感器标定的行车吊物安全检测方法，其特征在于，在所述步骤s01中，所述标定包括手动标定和自动标定，其中，手动标定指激光雷达的点云投影在二维平面，利用手动调节欧拉角的方式使得点云特征与图像特征一一匹配，得到变换矩阵。
3.根据权利要求1所述的基于多传感器标定的行车吊物安全检测方法，其特征在于，在所述步骤s03中，所述深度图的获取包括：
4.根据权利要求1所述的基于多传感器标定的行车吊物安全检测方法，其特征在于，在所述步骤s06中，在提取吊臂语义后，包括：
5.根据权利要求1所述的基于多传感器标定的行车吊物安全检测方法，其特征在于，在步骤s07中，包括输入吊臂、吊物点云和环境点云，在吊臂运动方向上截取同一高度的点云，若运动方向上存在障碍物点云，则触发避障机制，反之则正常运行。
6.根据权利要求1所述的基于多传感器标定的行车吊物安全检测方法，其特征在于，在所述步骤s08中，输入重建的三维点云，使用基于ransac平面提取算法对每个人员所在的平面进行提取作为可通行区域，在该区域中搜索是否存在到吊物外轮廓的距离大于设定的安全距离阈值的区域。
7.根据权利要求1所述的基于多传感器标定的行车吊物安全检测方法，其特征在于，在步骤s09中，包括对输入的吊物点云数据进行欧式聚类、半径滤波和统计滤波得到去除噪点的点云数据，通过主成分分析法计算吊物点云的主向量、质心和长宽，将吊物点云投影到同一平面，使用最近邻搜索算法查找点云到人员质心最近点，最后将该距离作为人员到吊物外轮廓最近点的水平距离。
8.根据权利要求7所述的基于多传感器标定的行车吊物安全检测方法，其特征在于，还包括根据预先设定，根据吊物高度、是否存在逃生空间划分不同的安全范围，当人员到吊物外轮廓的距离小于安全距离阈值时，触发连续的报警警示，直至检测到的人员离开危险范围停止。
9.基于多传感器标定的行车吊物安全检测系统，其特征在于，包括：
