本发明涉及缺陷检查装置。
背景技术:
1、以往,为了各种产品的制造工序中的质量管理,进行外观的目视检查。关于目视检查,检查项目较多,另一方面,对检查人员要求熟练的检查技能,因此难以实现效率化。因此,要求将目视检查自动化的技术(例如,专利文献1~3)。
2、专利文献1:日本特开2010-216870号公报
3、专利文献2:日本特开2023-032374号公报
4、专利文献3:日本特开2013-195368号公报
5、在检查流经生产线的车身的表面中的缺陷的情况下,对拍摄车身的表面而得到的拍摄图像实施伴随着车身的移动的校正(移动校正)。由此,需要获取车身的表面的同一部位的像素值的时间序列数据。在该时间序列数据中产生位置偏移的情况下,成为由车身的表面的不同部位的像素值的数据构成的时间序列数据,缺陷的检测精度大幅降低。车身的表面是复杂的曲面形状,因此为了获取车身的表面的同一部位的像素值的时间序列数据,需要更高精度的移动校正。
6、对于高精度的移动校正,需要利用多个相机拍摄车身的表面而得到的拍摄图像中的以帧为单位的移动校正。伴随于此,缺陷检查系统的导入中的多个相机的设定需要大量的劳动力。
7、在专利文献1所记载的发明中,被检查面是大体平坦的钢板,未假定被检查面是复杂的曲面形状的情况。
8、在专利文献2所记载的发明中,检查对象是用手臂抓握那样的小的物品,因此未假定进行伴随着流经生产线的车身的移动的校正。
9、在专利文献3所记载的发明中,检查对象不移动,因此未假定进行伴随着流经生产线的车身的移动的校正。
技术实现思路
1、本发明的目的在于提供能够高效地进行高精度的缺陷检查的缺陷检查装置。
2、为了解决上述课题,技术方案1所记载的缺陷检查装置基于一边使照明工件表面的照明状态变化一边拍摄上述工件表面而得到的拍摄图像来检测上述工件表面的缺陷,其中,上述缺陷检查装置具备:
3、测定部,测定工件的位置;
4、转换部,基于由上述测定部测定出的上述工件的位置、以及基于工件模型的三维数据和拍摄模型的工件模型表面的位置与在多个照明状态下拍摄到的各拍摄图像上的位置之间的对应关系,将上述工件表面的位置与多个上述拍摄图像上的位置建立对应;
5、获取部,根据上述工件表面的位置与多个上述拍摄图像上的位置之间的对应,在上述工件表面的各位置,从相对应的拍摄图像分别获取多个照明状态下的亮度信息;以及
6、缺陷检测部,基于由上述获取部获取到的上述亮度信息来检测上述工件表面的缺陷。
7、技术方案2所记载的发明是在技术方案1所记载的缺陷检查装置中,
8、具备计算部,上述计算部计算上述亮度信息中的特征量,
9、上述缺陷检测部基于由上述计算部计算出的上述特征量来检测上述缺陷。
10、技术方案3所记载的发明是在技术方案1所记载的缺陷检查装置中,
11、上述转换部通过基于上述工件模型的三维数据和上述拍摄模型,进行上述工件模型的三维坐标与作为上述拍摄图像的坐标的图像坐标之间的坐标转换,来将上述工件模型表面的位置与上述拍摄图像上的位置建立对应,并且通过基于上述工件的位置校正上述工件模型表面的位置与上述拍摄图像上的位置之间的对应关系,来将上述工件表面的位置与多个上述拍摄图像上的位置建立对应。
12、技术方案4所记载的发明是在权利要求1所记载的缺陷检查装置中,
13、上述转换部基于上述工件的位置校正上述工件模型的坐标,并且基于校正坐标后的上述工件模型的三维数据和上述拍摄模型,将上述工件表面的位置与多个上述拍摄图像上的位置建立对应。
14、技术方案5所记载的发明是在技术方案4所记载的缺陷检查装置中,
15、上述转换部基于上述工件的位置校正上述工件模型的坐标,并且基于校正坐标后的上述工件模型的三维数据和作为上述拍摄模型的照射到上述工件表面的照明光的光线追踪,将上述工件表面的位置与多个上述拍摄图像上的位置建立对应。
16、技术方案6所记载的发明是在技术方案1所记载的缺陷检查装置中,
17、上述转换部生成表示工件坐标与图像坐标之间的对应的表,上述工件坐标表示上述工件表面的位置,上述图像坐标表示多个上述拍摄图像上的位置。
18、技术方案7所记载的发明是在技术方案6所记载的缺陷检查装置中,
19、上述表仅针对一部分上述图像坐标储存有上述工件坐标与上述图像坐标之间的对应,
20、上述转换部将基于与其它图像坐标相对应的上述对应而内插的工件坐标与未储存于上述表中的上述图像坐标建立对应,上述其它图像坐标储存于上述表中并且包含最接近未储存于上述表中的上述图像坐标的图像坐标。
21、技术方案8所记载的发明是在技术方案1所记载的缺陷检查装置中,
22、上述拍摄模型包含与拍摄上述拍摄图像的拍摄部具有的拍摄光学系统的焦距、位置以及姿势相关的信息。
23、技术方案9所记载的发明是在技术方案1所记载的缺陷检查装置中,
24、上述转换部将表示上述工件表面的位置的工件坐标与表示上述拍摄图像上的位置的图像坐标建立对应,并且将预先决定的上述工件坐标与不存在与上述工件表面相对应的坐标的上述图像坐标建立对应。
25、技术方案10所记载的发明是在技术方案2所记载的缺陷检查装置中,
26、上述计算部通过将不同的上述照明状态下的亮度信息按照上述照明状态的变化顺序排列来生成上述亮度信息的序列,并且根据该序列计算两个以上的特征量,
27、上述缺陷检测部通过将上述两个以上的特征量逐个输入到不同的多个通道来生成多通道图像,并且通过机器学习模型检测在该多通道图像中出现的缺陷的特征。
28、技术方案11所记载的发明是在技术方案2所记载的缺陷检查装置中,
29、上述计算部通过内插或者压缩来将上述亮度信息转换为规定的维数的向量,并且计算上述向量中的上述特征量。
30、技术方案12所记载的发明是在技术方案11所记载的缺陷检查装置中,
31、上述计算部对上述向量进行规定的加权。
32、技术方案13所记载的发明是在技术方案2所记载的缺陷检查装置中,
33、上述计算部通过将不同的上述照明状态下的亮度信息按照上述照明状态的变化顺序排列来生成上述亮度信息的序列,并且根据该序列计算一个特征量,
34、上述缺陷检测部基于上述特征量生成特征量图像,并且通过机器学习模型检测在该特征量图像中出现的缺陷的特征。
35、技术方案14所记载的发明是在技术方案1所记载的缺陷检查装置中,
36、上述转换部仅针对上述拍摄图像的像素中的、具有规定的阈值以上或者规定的范围内的像素值的像素,将上述工件表面的位置与多个上述拍摄图像上的位置建立对应。
37、技术方案15所记载的发明是在技术方案1所记载的缺陷检查装置中,
38、上述测定部测定上述工件的姿势,
39、上述转换部基于由上述测定部测定出的上述工件的位置及姿势、以及上述工件模型表面的位置与在多个照明状态下拍摄到的各拍摄图像上的位置之间的对应关系,将上述工件表面的位置与多个上述拍摄图像上的位置建立对应。
40、技术方案16所记载的发明是在技术方案2所记载的缺陷检查装置中,
41、上述缺陷检测部对上述特征量执行规定的处理,通过调整该规定的处理中的阈值来调整缺陷的检测灵敏度。
42、技术方案17所记载的发明是在技术方案6所记载的缺陷检查装置中,
43、在上述表中,将与缺陷的检测灵敏度相关的变量与上述工件坐标建立对应,
44、上述缺陷检测部通过调整上述变量,来调整与规定的工件坐标相对应的上述缺陷的检测灵敏度。
45、技术方案18所记载的发明是在技术方案1所记载的缺陷检查装置中,
46、上述转换部从根据照射到上述工件表面的照明光的光线追踪得到的光线信息中获取光线反射特性,并且将分别与上述工件模型表面的位置相对应的上述光线反射特性与上述工件模型表面的位置建立对应。
47、技术方案19所记载的发明是在技术方案1所记载的缺陷检查装置中,
48、上述转换部在上述工件模型的三维数据上设定检查对象区域、检查对象以外区域、或者这双方。
49、技术方案20所记载的发明是在技术方案10或13所记载的缺陷检查装置中,
50、上述机器学习模型输出表示上述缺陷的准确度的估计值,
51、上述缺陷检测部通过调整上述估计值中的阈值来调整缺陷的检测灵敏度。
52、技术方案21所记载的发明是在技术方案1所记载的缺陷检查装置中,
53、上述转换部基于在设置拍摄上述拍摄图像的拍摄部之后使用基准图测定的上述拍摄部的位置信息以及姿势信息,来校正上述拍摄模型。
54、根据本发明,能够高效地进行高精度的缺陷检查。
1.一种缺陷检查装置,基于一边使照明工件表面的照明状态变化一边拍摄所述工件表面而得到的拍摄图像来检测所述工件表面的缺陷,其中,所述缺陷检查装置具备:
2.根据权利要求1所述的缺陷检查装置,其中,
3.根据权利要求1所述的缺陷检查装置,其中,
4.根据权利要求1所述的缺陷检查装置,其中,
5.根据权利要求4所述的缺陷检查装置,其中,
6.根据权利要求1所述的缺陷检查装置,其中,
7.根据权利要求6所述的缺陷检查装置,其中,
8.根据权利要求1所述的缺陷检查装置,其中,
9.根据权利要求1所述的缺陷检查装置,其中,
10.根据权利要求2所述的缺陷检查装置,其中,
11.根据权利要求2所述的缺陷检查装置,其中,
12.根据权利要求11所述的缺陷检查装置,其中,
13.根据权利要求2所述的缺陷检查装置,其中,
14.根据权利要求1所述的缺陷检查装置,其中,
15.根据权利要求1所述的缺陷检查装置,其中,
16.根据权利要求2所述的缺陷检查装置,其中,
17.根据权利要求6所述的缺陷检查装置,其中,
18.根据权利要求1所述的缺陷检查装置,其中,
19.根据权利要求1所述的缺陷检查装置,其中,
20.根据权利要求10或13所述的缺陷检查装置,其中,
21.根据权利要求1所述的缺陷检查装置,其中,
