本发明涉及智能机器人，具体为基于ai视觉的智能码垛机器人安全管理系统及方法。
背景技术：
1、码垛机器人凭借其高效、灵活、低成本的优势，已在仓储、物流、制造等领域得到广泛应用，大大提高了货物装卸和堆垛的自动化水平。然而由于码垛作业环境的复杂性、动态性和不确定性，传统的码垛机器人在安全性和智能化方面还存在诸多不足，难以满足日益提高的作业要求。
2、传统码垛机器人主要依赖预先设置的作业路径和固定的安全区域，缺乏对环境和目标物的实时感知与动态适应能力。它们无法准确获取和理解作业现场的实时状态，难以对环境变化和意外情况做出及时反应和灵活调整。当作业环境出现人员闯入、障碍物出现、货物位置变化等干扰因素时，机器人往往无法及时作出正确决策和应对措施，极易发生碰撞、夹伤、误操作等安全事故，给现场作业人员和设备设施带来严重的安全隐患。
3、传统码垛货物的状态监测和质量检查也大多依赖人工巡检和干预，缺乏智能化的解决方案。由于码垛货物种类繁多、形状多样、堆放不规则，很难通过常规的自动化设备进行有效监测。作业人员需要频繁地对货垛进行目视检查，需要人工识别和处理倾斜、散乱、破损等异常情况。这种低效、耗时的人工监管模式不仅劳动强度大、成本高昂，而且容易受到人为因素的影响，出现漏检、误判等问题，给货物安全和码垛质量带来极大的不确定性风险。
4、鉴于此，本发明提出基于ai视觉的智能码垛机器人安全管理系统及方法。
技术实现思路
1、为实现上述目的，本发明提供基于ai视觉的智能码垛机器人安全管理系统及方法，具体技术方案如下：
2、基于ai视觉的智能码垛机器人安全管理方法，包括：
3、获取码垛作业区的多模态数据，对码垛作业区进行三维融合感知，通过数据同步与配准，构建码垛作业区的三维模型；
4、构建基于深度学习的目标检测算法，对三维模型进行实时检测并识别多类型目标；
5、基于在码垛作业区内识别出的目标类别和位置信息，对码垛作业区进行动态安全区域划分；
6、根据动态安全区域划分结果，构建移动路径规划策略，控制码垛机器人在码垛工作区内进行移动路径规划；
7、当码垛机器人获取到码垛作业区内的码垛货物状态时，通过ai视觉模型对码垛货物状态进行检测，当检测到码垛异常的货物时，码垛机器人自动触发报警并采取安全措施。
8、优选的，所述多模态数据包括采用深度相机拍摄的码垛作业区图像数据以及采用激光雷达扫描的码垛作业区激光点云数据；将所述深度相机和所述激光雷达分别固定在码垛机器人的顶部，深度相机和激光雷达在码垛机器人顶部进行转动，获取码垛机器人360°范围内的图像数据和激光点云数据；
9、采用多视角点云拼接算法，将不同时刻激光雷达采集的点云数据进行配准和拼接，并对图像数据和点云数据进行时间同步；
10、对融合后的点云进行下采样和体素滤波，去除融合后点云的噪点和离群点；
11、所述下采样包括，对拼接后的点云进行下采样处理，使用体素化网格方法将点云划分为均匀的小体素；
12、所述体素滤波包括，使用体素滤波算法对点云进行滤波，基于设定的体素大小，保留每个体素内的重心点，获得均匀的点云数据；
13、将深度相机获得的彩色图像与点云进行配准，为每个点云点赋予对应的rgb颜色信息；
14、使用贪婪三角化算法对融合后的彩色点云进行表面重建，根据点云的空间分布和法向量信息生成三角网格；
15、对重建的三角网格进行简化和平滑处理，减少网格面片的数量，获得码垛作业区的三维模型。
16、优选的，采用yolov5算法对码垛作业区的三维模型进行实时目标检测，将目标检测结果与激光雷达点云进行融合，通过最近邻匹配获取目标的三维模型坐标位置；最近邻匹配通过计算检测目标与点云集合之间的距离来找到最佳匹配；
17、采用deep sort算法实现多目标跟踪；deep sort算法使用匈牙利算法解决目标关联问题，通过最大化跟踪目标与检测目标之间的相似度来优化关联矩阵；
18、在基于三维模型识别出的多目标类型后，为每个类型目标赋予不同的风险影响系数，进行动态安全区域划分。
19、优选的，将码垛作业区划分成均匀的网格，形成格栅地图；在格栅地图中，每个网格的风险值由网格周围目标的位置和影响范围决定，网格风险值计算公式为：
20、
21、其中，r(x,y)表示在(x,y)位置处的风险值，i是目标物体的索引；(xi,yi)是第i个目标物体的位置坐标；αi是第i个目标的风险影响系数，表示第9个目标的危险程度；σi表示第i个目标影响范围大小的参数；
22、在格栅地图中根据安全阈值将格栅地图分为安全区域和危险区域，所述安全区域包括低风险区域，所述危险区域包括中风险区域和高风险区域；
23、设定格栅地图安全阈值tr1和tr2，且tr2>tr1；当r(x,y)<tr1时，将网格区域划分为低风险区域，当tr1≤r(x,y)≤tr2时，将网格区域划分为中风险区域；当r(x,y)>tr2时，将网格区域划分为高风险区域；
24、设定固定时间间隔δt，每当经过δt时间后，重新对网格区域进行风险值计算，并根据重新计算的网格风险值，进行安全区域划分。
25、优选的，基于划分出的安全区域和危险区域，采用优化的a*算法对码垛机器人在码垛作业区进行分层移动路径规划；所述分层移动路径规划包括第一层移动路径规划、第二层移动路径规划和第三层移动路径规划；
26、所述第一层移动路径规划包括，在低风险区域内使用a*算法搜索最优路径，将起点和目标点设为a*算法的输入，并将低风险区域作为可通行区域；
27、所述第二层移动路径规划包括，若在低风险区域内无法找到可行路径，则将中风险区域加入可通行区域，再次使用a*算法搜索路径；
28、所述第三层移动路径规划包括，若在低、中风险区域内无法找到可行路径，则将高风险区域加入可通行区域，再次使用a*算法搜索路径；
29、若在所有风险区域内都无法找到可行路径，则触发路径规划失败警报；
30、所述优化的a*算法包括，对a*算法得到的初始路径进行局部优化，使用bezier曲线对路径进行平滑，优化目标为：
31、
32、其中，(xa,ya)是路径上第a个采样点的坐标，是第h个控制点的坐标，m和n分别是采样点数和控制点数，λ是平滑度权重系数；
33、每当经过δt时间后，当格栅地图的网格风险值发生变化，则重新通过优化的a*算法对码垛机器人的移动路径进行规划。
34、优选的，基于深度相机获取图片数据，对码垛的货物进行识别，当识别到码垛的货物时，同时获取激光雷达扫描码垛货物时的点云数据，将获取的点云数据标记为货物点云，对货物点云进行法向量和曲率计算，得到货物点云中每个点的法向量和曲率cp值；
35、设置正常状态下的货物的法向量和曲率参考值cref，以及异常曲率上限cmax；
36、计算货物点云中每个点的异常指标a(p)：
37、
38、其中，wn是法向量偏离的权重系数，wc是曲率偏高的权重系数；
39、设置异常阈值ta，用于判断单个点是否异常；当点的异常指标a(p)大于ta时，判定点处于异常状态，当a(p)大于ta的点数占比超过百分比阈值tpa时，判定货物码垛的状态异常。
40、优选的，根据货物点云中异常点的分布和聚类情况，判定货物码垛异常类型，所述货物码垛异常类型包括倾斜和散乱；
41、对货物点云进行下采样，得到均匀分布的核心点；计算核心点的协方差矩阵c：
42、
43、其中，h是核心点数量,pz是第z个核心点的坐标；是核心点的中心坐标；
44、对c进行特征值分解：c＝uλut；得到特征向量其中u是特征向量矩阵，λ是特征值矩阵，ut是特征向量矩阵的转置；
45、将特征向量作为码垛货物的主方向，表示码垛货物位姿；计算码垛货物的核心点的中心坐标作为货物的位置；
46、根据货物的位姿和异常类型，在预定义的策略库中查找对应的纠正策略；若找到匹配的纠正策略，则进入自动纠正流程；否则，触发报警；所述纠正策略包括沿方向平移和旋转货物，调整异常码垛货物位姿；根据和目标位置，计算异常码垛货物的平移向量；将纠正策略转换为码垛机器人的运动控制指令；
47、纠正完成后，扫描货物，重新获取货物点云数据；并检测纠正后的码垛货物状态和位姿；若码垛货物异常状态消除，则码垛机器人在码垛工作区内继续正常作业；否则，触发报警。
48、基于ai视觉的智能码垛机器人安全管理系统，其用于实现基于ai视觉的智能码垛机器人安全管理方法，包括：数据获取模块、目标检测模块、区域划分模块、路径规划模块以及异常纠正模块；
49、数据获取模块，用于获取码垛作业区的多模态数据，对码垛作业区进行三维融合感知，通过数据同步与配准，构建码垛作业区的三维模型；
50、目标检测模块，用于构建基于深度学习的目标检测算法，对三维模型进行实时检测并识别多类型目标；
51、区域划分模块，用于基于在码垛作业区内识别出的目标类别和位置信息，对码垛作业区进行动态安全区域划分；
52、路径规划模块，用于根据动态安全区域划分结果，构建移动路径规划策略，控制码垛机器人在码垛工作区内进行移动路径规划；
53、异常纠正模块，用于当码垛机器人获取到码垛作业区内的码垛货物状态时，通过ai视觉模型对码垛货物状态进行检测，当检测到码垛异常的货物时，码垛机器人自动采取安全措施并触发报警。
54、一种电子设备，包括：处理器和存储器，其中，所述存储器中存储有可供处理器调用的计算机程序；所述处理器通过调用所述存储器中存储的计算机程序，执行所述的基于ai视觉的智能码垛机器人安全管理方法。
55、一种存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行所述的基于ai视觉的智能码垛机器人安全管理方法。
56、本发明的有益效果：本发明构建码垛作业区的三维模型，为后续的目标检测、风险评估和路径规划提供全面、精确的环境信息。
57、本发明通过深度学习算法实现多类型目标的实时检测和识别，提高感知系统的鲁棒性和泛化能力。
58、本发明动态划分安全区域，根据作业现场的实时变化灵活调整机器人的工作空间，在保证安全的同时提高作业效率。
59、本发明结合安全区域划分结果进行移动路径规划，选择风险最低、最节能的运动路线，提高码垛作业的效率和安全性。
60、本发明利用ai视觉模型实现码垛货物状态的智能检测，自动识别异常情况并触发报警，及时采取安全措施防止出现码垛作业事故。
1.基于ai视觉的智能码垛机器人安全管理方法，其特征在于，包括：
2.根据权利要求1所述的基于ai视觉的智能码垛机器人安全管理方法，其特征在于，所述多模态数据包括采用深度相机拍摄的码垛作业区图像数据以及采用激光雷达扫描的码垛作业区激光点云数据；将所述深度相机和所述激光雷达分别固定在码垛机器人的顶部，深度相机和激光雷达在码垛机器人顶部进行转动，获取码垛机器人360°范围内的图像数据和激光点云数据；
3.根据权利要求2所述的基于ai视觉的智能码垛机器人安全管理方法，其特征在于，采用yolov5算法对码垛作业区的三维模型进行实时目标检测，将目标检测结果与激光雷达点云进行融合，通过最近邻匹配获取目标的三维模型坐标位置；最近邻匹配通过计算检测目标与点云集合之间的距离来找到最佳匹配；
4.根据权利要求3所述的基于ai视觉的智能码垛机器人安全管理方法，其特征在于，将码垛作业区划分成均匀的网格，形成格栅地图；在格栅地图中，每个网格的风险值由网格周围目标的位置和影响范围决定，网格风险值计算公式为：
5.根据权利要求4所述的基于ai视觉的智能码垛机器人安全管理方法，其特征在于，基于划分出的安全区域和危险区域，采用优化的a*算法对码垛机器人在码垛作业区进行分层移动路径规划；所述分层移动路径规划包括第一层移动路径规划、第二层移动路径规划和第三层移动路径规划；
6.根据权利要求5所述的基于ai视觉的智能码垛机器人安全管理方法，其特征在于，基于深度相机获取图片数据，对码垛的货物进行识别，当识别到码垛的货物时，同时获取激光雷达扫描码垛货物时的点云数据，将获取的点云数据标记为货物点云，对货物点云进行法向量和曲率计算，得到货物点云中每个点的法向量和曲率cp值；
7.根据权利要求6所述的基于ai视觉的智能码垛机器人安全管理方法，其特征在于，根据货物点云中异常点的分布和聚类情况，判定货物码垛异常类型，所述货物码垛异常类型包括倾斜和散乱；
8.基于ai视觉的智能码垛机器人安全管理系统，其用于实现权利要求1至7任一项所述的基于ai视觉的智能码垛机器人安全管理方法，其特征在于，包括：数据获取模块、目标检测模块、区域划分模块、路径规划模块以及异常纠正模块；
9.一种电子设备，其特征在于，包括：处理器和存储器，其中，所述存储器中存储有可供处理器调用的计算机程序；所述处理器通过调用所述存储器中存储的计算机程序，执行权利要求1至7任一项所述的基于ai视觉的智能码垛机器人安全管理方法。
10.一种存储介质，其特征在于，储存有指令，当所述指令在计算机上运行时，使得计算机执行权利要求1至7任一项所述的基于ai视觉的智能码垛机器人安全管理方法。
