本发明涉及药盒识别,更具体地说,涉及一种基于图像模型匹配识别的药盒取药方法和药盒存取装置。
背景技术:
1、现有的图像识别方法大多是基于卷积神经网络识别,对于一些外包装相似度非常高的药盒,比如同种品牌同种药盒但是不同规格的药盒而言,这种基于卷积神经网络识别的方法有不确定性,其识别的精准度只能达到98%左右,而对于药盒来说,即便是有2%的误差也是难以接受的,因此需要一种能够毫无误差的准确识别药盒的识别方法。
技术实现思路
1、本发明要解决的技术问题在于,针对现有技术的上述缺陷,提供一种基于图像模型匹配识别的药盒取药方法和药盒存取装置。
2、一方面,本发明解决其技术问题所采用的技术方案是:一种基于图像模型匹配识别的药盒取药方法,其中,包括以下步骤:
3、在药盒识别区通过第一摄像头采集药盒特征明显的一个面或多个面并学习每个面上的关键特征值,然后通过关键特征值绑定药盒的名称和型号信息,建立特征数据库;
4、将需要补货的药盒信息录入后,根据药盒的多个关键特征值对药盒进行分类管理,然后将同品牌同种类的药盒按不同的规格放置在不同的托盘内;
5、对托盘内的药盒再次进行拍照确定药盒的种类,然后根据数据库中对应的药盒信息与拍摄的药盒图像的关键特征值进行比对识别再次确定托盘中的药盒,若比对结果相同,则进行药盒上架,若比对结果不同,则退回到待料区;
6、托盘上架后,控制第二摄像头对托盘以及托盘上的药盒进行拍照,利用棋盘格标定板标定,将标定的图像的特征点坐标与实际托盘的坐标关系叠加重合,获得托盘内所有药盒在图像中的二维坐标;将图像上药盒的二维平面坐标转化为三维空间坐标后,根据目标药盒的三维坐标寻找取货路径最短的线路进行取药;
7、本发明所述的基于图像模型匹配识别的药盒取药方法,其中,所述第二摄像头配合其周围的一个或多个补光灯对所述托盘上的药盒的同一个面连续拍摄多张曝光度不同的图像;
8、将采集到的多张曝光度不同的图像进行预处理,并通过图像配准算法将多张曝光度不同的图像配准变换到同一坐标系下;
9、将配准后的多张图像通过融合算法进行融合得到当前表面反馈的图像数据;然后将图像数据与数据库中药盒的信息进行对照以此确定目标药盒;
10、本发明所述的基于图像模型匹配识别的药盒取药方法,其中,将图像上药盒的二维平面坐标转化为三维空间坐标的方法步骤如下:
11、通过测距传感器识别药盒的高度,然后将药盒的高度以及图像上药盒的二维平面坐标进行空间计算得到当前药盒的三维坐标;
12、本发明所述的基于图像模型匹配识别的药盒取药方法,其中,所述测距传感器可设置于识别区内,提前将药盒的高度以及相关的关键特征值绑定存入所述特征数据库中。
13、本发明所述的基于图像模型匹配识别的药盒取药方法,其中,根据第二摄像头高度参数、焦距参数、视角参数以及第二摄像头本身的激光系数进行变形计算,获得第二摄像头的内参及畸变参数,生成图像变形规律;所述第二摄像头对托盘内的药盒全景拍照后,根据图像变形规律对摄像头所拍的全景图像进行修正,获得图像内所有药盒实际的位置。
14、本发明所述的基于图像模型匹配识别的药盒取药方法,其中,所述托盘设有唯一的识别码;所述药盒放入所述托盘前,获取所述托盘的识别码并将药盒信息与所述识别码相关联后生成当前托盘内药盒的列表清单。
15、本发明所述的基于图像模型匹配识别的药盒取药方法,其中,所述关键特征值包括图案、品牌logo、颜色、尺寸、形状、条形码或二维码中的一项或多项。
16、另一方面,本发明还提供一种药盒存取装置,其中,包括:
17、采集模块,在药盒识别区通过第一摄像头采集药盒特征明显的一个面或多个面并学习每个面上的关键特征值,然后通过关键特征值绑定药盒的名称和型号信息,建立特征数据库;
18、分类模块,将需要补货的药盒信息录入后,根据药盒的多个关键特征值对药盒进行分类管理,然后将同品牌同种类的药盒按不同的规格放置在不同的托盘内;
19、比对识别模块,对托盘内的药盒再次进行拍照确定药盒的种类,然后根据数据库中对应的药盒信息与拍摄的药盒图像的关键特征值进行比对识别再次确定托盘中的药盒,若比对结果相同,则进行药盒上架,若比对结果不同,则退回到待料区;
20、分析执行模块,控制第二摄像头对托盘以及托盘上的药盒进行拍照,利用棋盘格标定板标定,将标定的图像的特征点坐标与实际托盘的坐标关系叠加重合,获得托盘内所有药盒在图像中的二维坐标;将图像上药盒的二维平面坐标转化为三维空间坐标后,根据目标药盒的三维坐标寻找取货路径最短的线路进行取药。
21、本发明所述的药盒存取装置,其中,所述药盒存取装置还包括:多级曝光融合模块,用于控制摄像头配合其周围的一个或多个补光灯对所述托盘上的药盒的同一个面连续拍摄多张曝光度不同的图像,然后将采集到的多张曝光度不同的图像进行预处理,并通过图像配准算法将多张曝光度不同的图像配准变换到同一坐标系下;将配准后的多张图像通过融合算法进行融合得到当前药盒表面反馈的唯一补光参数;最后将补光参数与数据库中药盒的信息进行对照以此确定目标药盒;
22、生成模块,用于根据第二摄像头高度参数、焦距参数、视角参数以及摄像头本身的激光系数进行变形计算,获得第二摄像头的内参及畸变参数,生成图像变形规律;
23、修正模块,用于对第二摄像头所拍的全景图像进行修正,获得图像内所有药盒实际的位置。
24、本发明所述的药盒存取装置,其中,所述药盒存取装置还包括:
25、获取模块,用于获取托盘的识别码以及药盒信息,并将关联所述托盘的识别码和托盘内多个药盒的信息,并生成当前托盘内药盒的列表清单。
26、运输模块,用于将取下的药盒运输到药篮中。
27、本发明的有益效果在于:该基于图像模型匹配识别的药盒取药方法以及药盒存取装置设计巧妙,提取和学习药盒的多个面上的关键特征值与药盒进行绑定并上传到药盒数据库中,然后将相似度比较高的药盒,例如将同品牌同种类的药盒按不同的规格放置在不同的托盘内摆放,能够减少识别误差,通过第一摄像头对托盘内的药盒再次进行拍照确定药盒的种类,然后根据数据库中对应的药盒信息与拍摄的药盒图像的关键特征值进行比对识别再次确定托盘中的药盒,以此提前确定托盘上药盒的种类,然后将托盘上架,第二摄像头拍摄得到托盘上药盒的二维坐标信息再结合药盒的高度信息通过空间计算转化为药盒的三维坐标信息,然后根据目标药盒的三维坐标寻找取货路径最短的线路即可取药,确保准确无误的抓取药盒,大大增加了抓取药盒的准确率。
1.一种基于图像模型匹配识别的药盒取药方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的药盒取药方法,其特征在于,抓取药前还包括以下步骤:
3.根据权利要求1或2所述的药盒取药方法,其特征在于,将图像上药盒的二维平面坐标转化为三维空间坐标的方法步骤如下:
4.根据权利要求3所述的药盒取药方法,其特征在于,所述测距传感器可设置于识别区内,提前将药盒的高度以及相关的关键特征值绑定存入所述特征数据库中。
5.根据权利要求3所述的药盒取药方法,其特征在于,根据第二摄像头高度参数、焦距参数、视角参数以及第二摄像头本身的激光系数进行变形计算,获得第二摄像头的内参及畸变参数,生成图像变形规律;所述第二摄像头对托盘内的药盒全景拍照后,根据图像变形规律对摄像头所拍的全景图像进行修正,获得图像内所有药盒实际的位置。
6.根据权利要求1所述的药盒取药方法,其特征在于,所述托盘设有唯一的识别码;所述药盒放入所述托盘前,获取所述托盘的识别码并将药盒信息与所述识别码相关联后生成当前托盘内药盒的列表清单。
7.根据权利要求1所述的药盒取药方法,其特征在于,所述关键特征值包括图案、品牌logo、颜色、尺寸、形状、条形码或二维码中的一项或多项。
8.一种药盒存取装置,其特征在于,包括:
9.根据权利要求8所述的药盒存取装置,其特征在于,所述药盒存取装置还包括:
10.根据权利要求9所述的药盒存取装置,其特征在于,所述药盒存取装置还包括: