本发明涉及机器人抓取生产,尤其涉及一种应用于消音器产品盖子的3d视觉引导抓取方法及装置。
背景技术:
1、现有的消音器产品盖子都是采用钓鱼结构或者机械振动盘的方式提取消音器产品盖子到传输带,钓鱼机构其实现方式是采用磁吸机构,通过缠线方式控制滑轮,而采用钓鱼结构存在以下的缺点:取料的可靠性不高,通过钓鱼机构方式的取料,每次取到的消音器盖子数量不确定;因为通过磁吸的方式,导致了通磁机构吸取到的物料的姿态是不确定的,有一定的概率吸取到消音盖是竖直姿态,导致了物料在上升过程中,因为吸取不稳而掉落回取料处;因为取料的姿态不确定,增加了后面其理料的处理难度;钓鱼结构方式的取料运行效率不高;需要多机构协同处理,容易在生产过程中因为各机构的不协同而出现卡住物料的现象;每次换不同物料进行生产,都要进行机构的调整,延误生产效率;容易出现误判正反的情形。
2、机械振动盘方式是通过振动盘把料进行分离,控制料最后一个一个的传送到上料皮带,而采用机械振动盘存在以下的缺点:由于产品型号众多,规格各异,设备在每天的生产过程中需要频繁的切换产品,但该上料方式调整产品就需要员工凭经验和记忆去调整过料机构,导致生产有很大不稳定性,稼动率很高,严重影响生产。因此,设计一种应用于消音器产品盖子的3d视觉引导抓取方法,解决了以上问题。
技术实现思路
1、本发明的目的在于针对现有技术的不足而提供一种应用于消音器产品盖子的3d视觉引导抓取方法及装置,该3d视觉引导抓取方法及装置可以提升对目标抓取的可靠性,有效的提高生产节拍,提高生产效率。
2、为达到上述目的,本发明通过以下技术方案来实现。
3、一种应用于消音器产品盖子的3d视觉引导抓取方法,包括有以下步骤:
4、步骤一,上位机触发3d相机对消音器目标进行图像采集,并将采集到的目标图像传输至所述上位机;
5、步骤二,所述上位机将接收到的目标图像转换为3d点云,并进行去噪处理,获得降噪后目标图像;
6、步骤三,对所述降噪后目标图像中的消音器目标在像素坐标系下的消音器目标位姿进行提取处理,获得消音器目标位姿信息;
7、步骤四,利用所述消音器目标位姿信息与在所述上位机上保存的物理空间关系信息进行数学算法转换处理,获得机器人对应的位置信息;
8、步骤五,所述上位机基于所述机器人对应的位置信息及所述消音器目标位姿信息生成所述机器人的乱序抓取动作规划指令;
9、步骤六,所述机器人基于所述乱序抓取动作规划指令执行消音器目标在乱序中的抓取任务。
10、其中,所述上位机触发3d相机对消音器目标进行图像采集,并将采集到的目标图像传输至所述上位机,所述上位机生成触发指令,并将所述触发指令基于tcp网络协议发送至所述3d相机;所述3d相机基于所述触发指令触发对所述消音器目标进行图像采集;所述3d相机将采集到的目标图像基于tcp网络协议传输至所述上位机。
11、其中,所述上位机将接收到的目标图像转换为目标3d点云,并进行去噪处理,获得降噪后目标图像,所述上位机将所述目标图像转换为目标3d点云,将所述目标3d点云进行滤波降噪处理,形成降噪后的目标3d点云;将降噪后的目标3d点云重新转换为图像,获得降噪后目标图像。
12、其中,所述对所述降噪后目标图像中的消音器目标图像坐标系下的消音器目标位姿进行提取处理,获得消音器目标位姿信息,利用所述降噪后目标图像中的消音器目标与在所述上位机存储的姿态模板进行匹配处理,并基于匹配结果获得所述消音器目标的姿态信息;将所述降噪后目标图像中的消音器目标以标定板的像素坐标系为基准进行消音器目标的像素坐标提取处理,获得消音器目标的像素坐标;基于所述消音器目标的姿态信息及所述消音器目标的像素坐标获得所述消音器目标位姿信息。
13、其中,所述利用所述降噪后目标图像中的消音器目标与在所述上位机存储的姿态模板进行匹配处理,对所述降噪后目标图像进行消音器目标提取处理,获得消音器目标;利用所述消音器目标与在所述上位机存储的姿态模板进行匹配处理。
14、其中,所述上位机上保存的物理空间关系信息为以预设目标图像姿态信息及预设机器人位置信息通过算法转换得到。
15、其中,所述预设目标图像姿态信息的获得方式,在所述3d相机的视野范围内放入所述标定板;所述上位机触发所述3d相机对所述标定板进行拍照处理,获得标定板图像;提取所述标定板在所述像素坐标系下的目标位置的位姿信息,将提取到的位姿信息在所述上位机上记录,并作为预设目标图像姿态信息。
16、其中,所述预设机器人位置信息的获得方式,移动所述机器人,使所述机器人在工具坐标系下的中心对准标定板的目标位置;在对准标定板的目标位置时,获得所述机器人的位置信息,并将所述机器人的位置信息传输至上位机记录;在所述上位机中将所述机器人的位置信息设为预设机器人位置信息。
17、其中,所述上位机基于所述机器人对应的位置信息及所述消音器目标位姿信息生成所述机器人的乱序抓取动作规划指令,所述上位机基于所述机器人对应的位置信息及所述消音器目标位姿信息规划生成所述机器人的乱序抓取路径;基于所述机器人的乱序抓取路径生成所述机器人的乱序抓取动作规划指令。
18、本发明还提供了一种基于图像识别的消音器3d乱序抓取装置,包括有图像采集模块、去噪模块、提取模块、转换计算模块、指令生成模块及指令执行模块;
19、图像采集模块用于上位机触发3d相机对消音器目标进行图像采集,并将采集到的目标图像传输至所述上位机;
20、去噪模块用于所述上位机将接收到的目标图像转换为3d点云,并进行去噪处理,获得降噪后目标图像;
21、提取模块用于对所述降噪后目标图像中的消音器目标在标定板的像素坐标系下的消音器目标位姿进行提取处理,获得消音器目标位姿信息;
22、转换计算模块用于利用所述消音器目标位姿信息与在所述上位机上保存的物理空间关系信息进行数学算法转换处理,获得机器人对应的位置信息;
23、指令生成模块用于所述上位机基于所述机器人对应的位置信息及所述消音器目标位姿信息生成所述机器人的乱序抓取动作规划指令;
24、指令执行模块用于所述机器人基于所述乱序抓取动作规划指令执行消音器目标在乱序中的抓取任务。
25、本发明的有益效果为:本发明所述的一种应用于消音器产品盖子的3d视觉引导抓取方法及装置,通过3d相机进行图像采集,并在上位机上对图像进行识别;上位机控制机器人执行乱序抓取任务;取料的可靠性大大提高;同时在机器人执行抓取之后,可直接进行转配,将大大提升了生产节拍,提供了生产效率;同时通过图像识别,即可直接识别目标的正反面,不需要专门的硬件去进行正反检测和翻转机构实现翻转功能。
1.一种应用于消音器产品盖子的3d视觉引导抓取方法,其特征在于:包括有以下步骤:
2.根据权利要求1所述的消音器3d乱序抓取方法,其特征在于:所述上位机触发3d相机对消音器目标进行图像采集,并将采集到的目标图像传输至所述上位机,所述上位机生成触发指令,并将所述触发指令基于tcp网络协议发送至所述3d相机;所述3d相机基于所述触发指令触发对所述消音器目标进行图像采集;所述3d相机将采集到的目标图像基于tcp网络协议传输至所述上位机。
3.根据权利要求1所述的消音器3d乱序抓取方法,其特征在于:所述上位机将接收到的目标图像转换为目标3d点云,并进行去噪处理,获得降噪后目标图像,所述上位机将所述目标图像转换为目标3d点云,将所述目标3d点云进行滤波降噪处理,形成降噪后的目标3d点云;将降噪后的目标3d点云重新转换为图像,获得降噪后目标图像。
4.根据权利要求1所述的消音器3d乱序抓取方法,其特征在于:所述对所述降噪后目标图像中的消音器目标图像坐标系下的消音器目标位姿进行提取处理,获得消音器目标位姿信息,利用所述降噪后目标图像中的消音器目标与在所述上位机存储的姿态模板进行匹配处理,并基于匹配结果获得所述消音器目标的姿态信息;将所述降噪后目标图像中的消音器目标以标定板的像素坐标系为基准进行消音器目标的像素坐标提取处理,获得消音器目标的像素坐标;基于所述消音器目标的姿态信息及所述消音器目标的像素坐标获得所述消音器目标位姿信息。
5.根据权利要求4所述的消音器3d乱序抓取方法,其特征在于:所述利用所述降噪后目标图像中的消音器目标与在所述上位机存储的姿态模板进行匹配处理,对所述降噪后目标图像进行消音器目标提取处理,获得消音器目标;利用所述消音器目标与在所述上位机存储的姿态模板进行匹配处理。
6.根据权利要求1所述的消音器3d乱序抓取方法,其特征在于:所述上位机上保存的物理空间关系信息为以预设目标图像姿态信息及预设机器人位置信息通过算法转换得到。
7.根据权利要求6所述的消音器3d乱序抓取方法,其特征在于:所述预设目标图像姿态信息的获得方式,在所述3d相机的视野范围内放入所述标定板;所述上位机触发所述3d相机对所述标定板进行拍照处理,获得标定板图像;提取所述标定板在所述像素坐标系下的目标位置的位姿信息,将提取到的位姿信息在所述上位机上记录,并作为预设目标图像姿态信息。
8.根据权利要求6所述的消音器3d乱序抓取方法,其特征在于:所述预设机器人位置信息的获得方式,移动所述机器人,使所述机器人在工具坐标系下的中心对准标定板的目标位置;在对准标定板的目标位置时,获得所述机器人的位置信息,并将所述机器人的位置信息传输至上位机记录;在所述上位机中将所述机器人的位置信息设为预设机器人位置信息。
9.根据权利要求1所述的消音器3d乱序抓取方法,其特征在于:所述上位机基于所述机器人对应的位置信息及所述消音器目标位姿信息生成所述机器人的乱序抓取动作规划指令,所述上位机基于所述机器人对应的位置信息及所述消音器目标位姿信息规划生成所述机器人的乱序抓取路径;基于所述机器人的乱序抓取路径生成所述机器人的乱序抓取动作规划指令。
10.一种基于图像识别的消音器3d乱序抓取装置,其特征在于:包括有图像采集模块、去噪模块、提取模块、转换计算模块、指令生成模块及指令执行模块;