本发明涉及生产设备控制,具体涉及oht天车的智能控制系统。
背景技术:
1、oht天车是一种自动化运输系统,全称为overhead hoist transport,直译为高空提升传送器。它是一种在高空轨道上行驶的运输工具,具有提升和传输功能。oht天车通过皮带驱动的提升部件直接进入保管设备或工艺设备的装卸口,实现物料在工序区内部及工序区间或工厂间的运输。这种系统广泛应用于半导体生产线,通过空中铺设的轨道,小车在轨道上行走,进行生产物料的自动搬运和设备上下料。oht天车的特性包括高空运行(对于室内环境,即天花板),具有提升动作(从地面吊装或放置,具有伸缩、升降等机构),以及传输动作(在轨道上运动,具有电机、驱动、滚轮等机构)。oht天车的组成一般包括小车、导轨机构、物料载具和非接触式供电系统等。这种系统通过提高物料运输效率,降低人力成本和减少污染风险,从而在很大程度上改善了整体生产流程。
2、在led屏幕生产过程中,常需要用到oht天车进行屏幕组件的运输工作。现有oht天车的物料载具多为固定结构,在进行屏幕组件运输时,适用范围不够广,进而无法通过对物料载具的控制进而适用于不同规格或类型屏幕组件的运输工作。为此,提出oht天车的智能控制系统。
技术实现思路
1、本发明所要解决的技术问题在于:如何解决现有oht天车的物料载具多为固定结构,在进行屏幕组件运输时,适用范围不够广,进而无法通过对物料载具的控制进而适用于不同规格或类型屏幕组件的运输工作的问题,提供了oht天车的智能控制系统。
2、本发明是通过以下技术方案解决上述技术问题的,本发明包括位置校正模块、吸盘坐标确定模块、吸盘选定模块与吸附模块;
3、所述位置校正模块,用于在小车到达初始位置后,获取第一图像并根据第一图像对物料载具的水平位置进行校正;
4、所述吸盘坐标确定模块,用于在物料载具的水平位置校正完成后,确定各真空吸盘在水平面上的坐标;
5、所述吸盘选定模块,用于在各真空吸盘在水平面上的坐标确定后,获取第二图像并根据第二图像确定本次抓取所需要的真空吸盘;
6、所述吸附模块,用于根据确定的本次抓取所需要的真空吸盘,驱动各个所需要的真空吸盘同步下降至设定位置,进行屏幕组件的吸附工作,进而实现对屏幕组件的抓取。
7、更进一步地,所述位置校正模块包括第一图像获取单元、第一图像预处理单元、第一目标识别单元、调整距离计算单元与水平位置调整单元;所述第一图像获取单元用于在小车到达初始位置后,利用物料载具上设置的摄像头对下方的屏幕组件进行拍摄,获取第一图像;所述第一图像预处理单元用于对第一图像进行预处理;所述第一目标识别单元用于利用已训练的目标检测模型对预处理后的第一图像进行识别,获取屏幕组件检测框及其在图像中的位置信息;所述调整距离计算单元用于根据屏幕组件检测框在图像中的位置信息计算获取物料载具在水平面上的两轴距离差;所述水平位置调整单元用于利用oht天车的导轨机构,并根据两轴距离差对物料载具的水平位置进行调整;其中,摄像头的光轴垂直于水平面,竖直向下拍摄,屏幕组件检测框在图像中的位置信息即屏幕组件检测框在预处理后的第一图像中的左上角点和右下角点坐标。
8、更进一步地,在所述调整距离计算单元中,具体处理过程如下:
9、s11:根据屏幕组件检测框在预处理后的第一图像中的左上角点和右下角点坐标,获取屏幕组件检测框的中心点坐标,该中心点记为c1;
10、s12:在预处理后的第一图像中,获取图像中心点坐标,该中心点记为c0;
11、s13:将图像中心点c0与屏幕组件检测框中心点c1之间的线段c0c1分别向图像坐标系的x轴、y轴投影,得到其在x轴、y轴上的投影线段以及投影线段上的各点坐标,x轴、y轴上的投影线段分别记为lx、ly;
12、s14:根据预先标定的世界坐标系与图像坐标系之间的坐标变换关系,将投影线段lx、ly上的各点坐标变换到世界坐标系下,计算得到投影长度lx、ly在世界坐标系中x轴、y轴的实际长度值,记为disx、disy,即得到物料载具在水平面上的两轴距离差。
13、更进一步地,在所述水平位置调整单元中,根据世界坐标系中x轴、y轴的实际长度值disx、disy,利用oht天车的导轨机构以及小车对物料载具的水平位置进行调整,调整过后第一图像的图像中心点c0与屏幕组件检测框中心点c1重合。
14、更进一步地,所述吸盘坐标确定模块的具体处理过程如下:
15、s21:当对物料载具的水平位置进行校正完成后,记录摄像头在世界坐标下的坐标,记为(xs,ys,zs),摄像头下端面中心点在世界坐标下的坐标即作为摄像头在世界坐标下的坐标,摄像头下端面中心点位于摄像头轴线上;
16、s22:根据设计资料获取各真空吸盘轴线与摄像头轴线在水平面上的实际距离di和角度θi,根据距离di和角度θi以及摄像头在世界坐标下的坐标(xs,ys,zs),计算得到各真空吸盘轴线在水平面上的投影点在世界坐标下的x轴、y轴坐标值,记为(xi,yi),(xi,yi)即作为各真空吸盘在水平面上的坐标,其中i为真空吸盘的编号,表示第i个真空吸盘。
17、更进一步地,所述吸盘选定模块包括第二图像获取单元、第二图像预处理单元、第二目标识别单元、真空吸盘确定单元;所述第二图像获取单元用于利用物料载具上设置的摄像头再次对下方的屏幕组件进行拍摄,获取第二图像;所述第二图像预处理单元用于对第二图像进行预处理;所述第二目标识别单元用于利用已训练的目标检测模型对预处理后的第二图像进行识别,获取屏幕组件检测框及其在图像中的位置信息;所述真空吸盘确定单元用于对屏幕组件检测框中的屏幕组件进行轮廓检测,获取屏幕组件外轮廓线在图像中的位置数据,然后根据屏幕组件外轮廓线在图像中的位置数据以及各真空吸盘在水平面上的坐标,确定本次抓取所需要的真空吸盘;摄像头的光轴垂直于水平面,竖直向下拍摄,屏幕组件检测框在图像中的位置信息即屏幕组件检测框在预处理后的第二图像中左上角点和右下角点坐标。
18、更进一步地,在所述真空吸盘确定单元中,具体处理过程如下:
19、s31:利用opencv中的轮廓检测函数对屏幕组件检测框中的屏幕组件进行轮廓检测,获取屏幕组件外轮廓线上各点在图像中的坐标,即屏幕组件外轮廓线在图像中的位置数据;
20、s32:根据预先标定的世界坐标系与图像坐标系之间的坐标变换关系,将屏幕组件外轮廓线上各点在图像中的坐标变换到世界坐标系下,得到世界坐标系下的实际外轮廓线上各点坐标;
21、s33:将世界坐标系下的实际外轮廓线上各点投影到水平面上,得到水平面上各投影点在世界坐标系下的x轴、y轴坐标值,记为(xk,yk),其中k为投影点的编号,表示第k个水平面上的投影点;
22、s34:根据水平面上各投影点在世界坐标系下的x轴、y轴坐标值得到水平面上的实际外轮廓线投影区域a0;
23、s35:利用修正因子q对实际外轮廓线投影区域a0上的各点坐标进行修正,修正时各点坐标值均乘以修正因子q,得到修正后的各点坐标值,进而得到修正后的外轮廓线投影区域a1;
24、s36:对各真空吸盘在水平面上的坐标(xi,yi)进行遍历判断,当坐标落入修正后的外轮廓线投影区域a1范围内,则保留对应真空吸盘的编号,所有保留的真空吸盘的编号形成一个集合t,集合t中即包含本次抓取所需要的真空吸盘的编号,集合t之外的真空吸盘不进行后续的下降及吸附动作。
25、更进一步地,第一图像与第二图像的图像坐标系中的x轴、y轴与世界坐标系中的x轴、y轴对应平行,图像坐标系中x轴、y轴与世界坐标系中x轴、y轴均处于水平面上,世界坐标系中的z轴位于竖直方向上。
26、本发明相比现有技术具有以下优点:该oht天车的智能控制系统,通过设置的位置校正模块,能够方便地对物料载具的水平位置进行校正,进而使下方的屏幕组件能够在物料载具中吸盘阵列所形成的吸附区域边界范围内;通过设置的吸盘选定模块,根据屏幕组件外轮廓线在图像中的位置数据以及各真空吸盘在水平面上的坐标,进而确定本次抓取所需要的真空吸盘,能够根据需要选择相应位置的真空吸盘进行后续的吸附工作,从而能够适用于不同规格或类型屏幕组件的运输工作。
1.oht天车的智能控制系统,其特征在于,包括:位置校正模块、吸盘坐标确定模块、吸盘选定模块与吸附模块;
2.根据权利要求1所述的oht天车的智能控制系统,其特征在于:所述位置校正模块包括第一图像获取单元、第一图像预处理单元、第一目标识别单元、调整距离计算单元与水平位置调整单元;所述第一图像获取单元用于在小车到达初始位置后,利用物料载具上设置的摄像头对下方的屏幕组件进行拍摄,获取第一图像;所述第一图像预处理单元用于对第一图像进行预处理;所述第一目标识别单元用于利用已训练的目标检测模型对预处理后的第一图像进行识别,获取屏幕组件检测框及其在图像中的位置信息;所述调整距离计算单元用于根据屏幕组件检测框在图像中的位置信息,计算获取物料载具在水平面上的两轴距离差;所述水平位置调整单元用于利用oht天车的导轨机构,并根据两轴距离差对物料载具的水平位置进行调整;其中,摄像头的光轴垂直于水平面,竖直向下拍摄,屏幕组件检测框在图像中的位置信息即屏幕组件检测框在预处理后的第一图像中的左上角点和右下角点坐标。
3.根据权利要求2所述的oht天车的智能控制系统,其特征在于:在所述调整距离计算单元中,具体处理过程如下:
4.根据权利要求3所述的oht天车的智能控制系统,其特征在于:在所述水平位置调整单元中,根据世界坐标系中x轴、y轴的实际长度值disx、disy,利用oht天车的导轨机构以及小车对物料载具的水平位置进行调整,调整过后第一图像的图像中心点c0与屏幕组件检测框中心点c1重合。
5.根据权利要求1或4所述的oht天车的智能控制系统,其特征在于:所述吸盘坐标确定模块的具体处理过程如下:
6.根据权利要求5所述的oht天车的智能控制系统,其特征在于:所述吸盘选定模块包括第二图像获取单元、第二图像预处理单元、第二目标识别单元、真空吸盘确定单元;所述第二图像获取单元用于利用物料载具上设置的摄像头再次对下方的屏幕组件进行拍摄,获取第二图像;所述第二图像预处理单元用于对第二图像进行预处理;所述第二目标识别单元用于利用已训练的目标检测模型对预处理后的第二图像进行识别,获取屏幕组件检测框及其在图像中的位置信息;所述真空吸盘确定单元用于对屏幕组件检测框中的屏幕组件进行轮廓检测,获取屏幕组件外轮廓线在图像中的位置数据,然后根据屏幕组件外轮廓线在图像中的位置数据以及各真空吸盘在水平面上的坐标,确定本次抓取所需要的真空吸盘;摄像头的光轴垂直于水平面,竖直向下拍摄,屏幕组件检测框在图像中的位置信息即屏幕组件检测框在预处理后的第二图像中左上角点和右下角点坐标。
7.根据权利要求6所述的oht天车的智能控制系统,其特征在于:在所述真空吸盘确定单元中,具体处理过程如下:
8.根据权利要求7所述的oht天车的智能控制系统,其特征在于:第一图像与第二图像的图像坐标系中的x轴、y轴与世界坐标系中的x轴、y轴对应平行,图像坐标系中x轴、y轴与世界坐标系中x轴、y轴均处于水平面上,世界坐标系中的z轴位于竖直方向上。
