本公开涉及用于生成三维(3d)对象的数字表示的系统和方法。具体而言，本公开涉及用于通过光图案扫描3d对象以采集对象的图像并生成对象的数字表示的牙科扫描系统。本公开还涉及用于采集对象的图像并生成对象的数字表示的牙科扫描系统。
背景技术：
1、数字牙科越来越受欢迎，并且与非数字技术相比具有多种优势。数字牙科扫描系统通常利用扫描装置(例如口内3d扫描装置)来生成受试者口内三维对象/表面的三维数字表示。扫描装置内存在各种不同的技术，例如基于三角测量的扫描、共焦扫描、聚焦扫描、超声扫描、x射线扫描、立体视觉和光学相干断层扫描(oct)。
2、光学扫描装置通常具有投影仪单元，用于将照明图案投射到3d对象的表面上，以及图像传感器，用于采集被照明对象的一个或多个图像。在聚焦扫描装置中，投影仪单元和相机通常沿着同一光轴定位。然而，对于基于三角测量的扫描装置，投影仪单元和相机偏移，使得它们与被照明对象表面上的给定点形成三角形。通常，计算机立体视觉和基于光学三角测量的3d扫描装置使用三角测量来确定对象的空间尺寸和/或几何形状。投射到被扫描对象上的结构光图案的密度对于成像质量很重要。光图案的更高密度可以提供对表面的增加采样、更高分辨率，并且能够更好地拼接从多个图像获得的表面。然而，高密度的光图案通常会导致更复杂的图像生成，特别是由于所谓的对应问题。在采用三角测量的扫描系统中，中心任务是解决对应问题。给定从不同视点获取的同一3d对象的两个或更多个图像，对应问题是指在一个图像中找到可以在另一图像中被识别为相同的点的一组点的任务。为此，将一个图像中的点或特征与另一图像中的对应点或对应特征进行匹配。当投射的光图案的密度增加时，要解决对应问题的斑点(spot)的数量会增加，并且变得复杂得多。
3、为了生成被扫描对象(例如人的牙齿)的三维数字表示，通常需要解决对应问题，至少在使用基于三角测量的扫描装置采集对象的图像时需要解决该问题。通常，希望实时生成3d数字表示，或者至少以用户(例如牙医)感知为实时的方式生成3d数字表示。因此，3d表示通常与图像/扫描数据的采集同时生成，使得用户可以在扫描患者时立即查看生成的3d表示。3d表示可以被实时生成。这也被认为是对用户的重要反馈，因为当新的扫描数据添加到数字3d表示时，会非常明显/清楚。
4、3d扫描装置的光学系统通常通过数学几何模型内部建模，该模型对光学系统的所有光学部件进行建模。几何模型通常包括相机和投影仪相对于彼此的相对位置和取向的信息。光学部件(例如相机和投影仪)的布置通常被假设为在时间上是固定的。然而，实际上，由于例如热膨胀，所述光学部件的布置可能会随着时间的推移而发生一些变化。开发这样一种扫描装置是有意义的，该扫描装置能够在数学上考虑到扫描装置中光学部件的物理配置的变化。
技术实现思路
1、因此，开发用于生成3d对象的数字3d表示的改进的系统和方法是有意义的。特别地，希望开发能够利用当前公开的改进的对应问题解的扫描系统。此外，开发这样一种扫描装置也是有意义的，其中，可以动态更新该扫描装置的光学系统的几何模型，从而能够进行动态校准。
2、本发明人已经以快速可靠的方式解决了对应问题，通过添加针对其已解决对应问题的图像特征集合，能够实现快速生成3d表示。因此，不是逐个特征地解决对应问题，而是可以针对特征集合解决对应问题，使得可以对于集合内的所有特征找到一致且可靠的解(solution)，也如本文中详细描述的那样。此外，本发明人已经意识到，通过在被投射图案内包括密度较低的图案，例如通过在图案内具有多个基准标记，则可以初始针对密度较低的图案解决对应问题。随后，可以将该问题的解用作用于更新扫描装置的数学几何模型的输入，从而可以动态校准扫描装置。
3、因此，本发明涉及用于扫描对象(例如牙科对象)的3d扫描系统，该系统包括：
4、-口内3d扫描装置，该口内3d扫描装置包括：
5、-至少一个投影仪单元，其配置为沿着投影仪光轴将预定密度的光图案投射到牙科对象上；
6、-一个或多个相机，例如至少两个相机，其沿着不同的相机光轴(以及沿着投影仪光轴)具有至少部分重叠的视场，所述相机光轴中的每一个与投影仪光轴限定角度，相机光轴中的每一个包括具有像素阵列的图像传感器，以及
7、-一个或多个处理器，其中，至少一个处理器配置为基于相机与光图案之间的三角测量生成牙科对象的数字三维表示。
8、优选地，所述相机光轴中的每一个与投影仪光轴限定至少3度的角度，例如约5到15度，优选地5到10度，甚至更优选地8到10度。
9、当前公开的扫描系统的优选实施例采用一个或多个投影仪单元，其配置为沿着投影仪光轴将具有预定密度的静态光图案投射到牙科对象上。使用静态光图案的优点在于，用于投射静态光图案的投影仪中不需要移动部件。用于生成静态光图案的相关电子器件可以保持相当简单。静态光图案使得能够使用一个或多个滚动快门相机。静态光图案使得能够实现成像系统中的高对比度。并且，用于生成静态光图案的投影仪可以做得非常小，从而例如可以集成在口内扫描装置的端头中，从而减小端头和/或口内扫描装置的外形尺寸。投射静态图案的另一优点在于，允许同时捕获所有图像数据，从而防止由于扫描装置和对象之间的移动而导致的扭曲。
10、特别地，已经发现如果选择被投射光图案的密度(即特征的密度)，使得被投射光图案的密度度量高于预定阈值，则是有利的，因为高密度图案提高了生成的数字表示的分辨率并捕获被扫描对象的数量增加的特征。高密度图案可理解为包括超过3000个图案特征的图案。通常，密集的光图案会导致更复杂的对应问题，因为有大量特征需要解决对应问题。此外，如下所述，由于小特征，高密度图案更难解析，这因此对扫描装置的光学器件提出了很高的要求。发明人发现，包括超过3000个图案特征的图案提供了被扫描对象的对应3d表示的非常好的分辨率，因为大量特征可提供大量3d点。
11、对于光学系统(例如投影仪单元)的短工作距离，投射具有大焦深(即在大聚焦范围内)的高密度图案具有挑战性。通常，被投射特征将不被扫描装置成像为理想点，而是在被扫描装置成像时它们将有一定的扩散(模糊)。特征的扩散程度可以通过点扩散函数(psf)来描述。3d表示的分辨率受由psf描述的特征扩散的限制，因为特征需要在图像中锐利才能准确确定用于生成3d表示的3d点。在某些情况下，特征由具有等于或小于100μm(例如等于或小于50μm)的艾里斑半径的psf描述。图案中的最小特征大小受扫描装置的光学器件的成像分辨能力的限制。成像分辨率主要受以下三种效应的限制：散焦、透镜像差和衍射。小光圈(aperture)有利于最大限度地减少散焦和透镜像差的负面影响，因为具有小光圈的相机或投影仪对散焦具有很高的容忍度。然而，小光圈会导致更多的衍射，这会对成像分辨率产生负面影响。因此，难以通过改变光圈的大小来优化成像分辨率，因为这三种效应受光圈大小的影响不同。
12、通过发明人执行的实验，已经确定具有0.0035至0.015之间的数值孔径(numerical aperture)的光学系统(例如包括本文公开的投影仪单元和/或(一个或多个)相机)，能够实现在10mm至50mm之间的聚焦范围(例如12mm至36mm之间)内分辨大小在50-200μm之间的非常精细的细节的能力。在一些应用中，光学系统配置为具有15mm至50mm之间的工作距离，例如投影仪单元和/或(一个或多个)相机的工作距离。在某些情况下，工作距离可以长于50mm，例如，在扫描装置包括布置在扫描装置远端的反射镜的情况下。相反，如果提供扫描装置中没有反射镜的扫描单元，则工作距离在某些情况下可以短于15mm。0.0035至0.015之间的数值孔径可以对应于提供0.2mm至0.7mm之间的瞳孔直径的光圈。因此，选择数值孔径的技术效果是这提供了投射高密度图案的能力，其中，图案在非常靠近扫描装置的相对宽的聚焦范围内聚焦，并且其中，图案特征的模糊低于给定的容差，例如由前面提到的艾里斑给出的容差。
13、因此，可以生成更准确的3d表示，因为可以更准确地确定3d点的位置，即不确定性更小，并且还因为较小的特征允许在图案中存在更多特征，从而导致包括更多3d点的3d表示。
14、在优选实施例中，光图案包括预定数量的相似图案特征和/或多边形，如黑白正方形交替的棋盘图案中所知。在本文的棋盘(checkerboard)上下文中，术语“正方形(square)”和“棋盘格(checker)”可互换使用。棋盘图案是可以承载特别高数量的图案特征的图案的示例，因为每个黑色正方形被白色正方形包围，并且每个白色正方形被黑色正方形包围。图案可以包括1000至50000之间的图案特征，例如3000至25000之间的图案特征。在当前公开的扫描装置的优选实施例中，图案特征的总数至少为3000，优选地至少为10000，甚至更优选地至少为19000。例如，这将通过使用具有140x140个棋盘格的棋盘光图案来实现，这对应于总数为19600的图案特征。这样的高密度光图案从未在牙科领域中使用过。作为示例，投射在测量约20x20mm2面积上的140x140棋盘图案意味着棋盘图案中的每个正方形约为或小于0.15x0.15mm。这样的图案中特征的高密度导致数字表示的前所未有的细节水平。
15、本公开还涉及一种计算机程序，该计算机程序包括指令，当该程序由一个或多个处理器执行时，该指令使(一个或多个)处理器执行本文公开的任何计算机实现的方法。(一个或多个)处理器可以是扫描装置或计算机系统的一部分。本公开还涉及一种计算机可读介质，其上存储有该计算机程序。
16、优选地，(一个或多个)处理器配置为连续执行(一个或多个)计算机实现的方法的步骤，使得在扫描会话中的图像采集期间连续更新数字表示。更优选地，(一个或多个)处理器能够实时或近实时地执行该方法的步骤，使得可以与用户操作扫描装置以采集对象的图像同时地实时生成3d对象的数字表示。理想情况下，在执行该方法期间，图像组(例如，在四个相机的情况下，一组四个图像)的处理速度非常快，以至于在采集一组新图像时处理就已经完成，其中，图像以预定的帧速率被采集，例如25帧每秒(fps)或更高。这样的情景是实时处理的示例。
17、在一个实施例中，口内3d扫描系统包括：
18、-至少一个投影仪单元，其配置为沿着投影仪光轴将光图案投射到牙科对象上，该光图案包括多个图案特征，其中，图案包括预定数量的基准标记；
19、-一个或多个相机，例如至少两个相机，其具有沿着不同相机光轴并沿着投影仪光轴至少部分重叠的视场，所述相机光轴中的每一个与投影仪光轴限定至少3度的角度，该相机中的每一个包括用于采集一个或多个图像的图像传感器，以及
20、-一个或多个处理器，其中，至少一个处理器配置为基于相机与光图案之间的三角测量生成牙科对象的数字三维表示。
21、本公开还涉及一种用于生成牙科对象的数字三维表示的方法，该方法包括以下步骤：
22、-使用口内扫描装置将图案投射到牙科对象的表面上；
23、-采集一组或多组图像，其中，每组图像包括至少两个图像，其中每个图像包括被投射图案的至少一部分；
24、-确定每组图像内的一个或多个图像特征；
25、-使用三角测量法解决每组图像内的对应问题，使得基于图像特征确定3d空间中的点，其中，所述点形成对应问题的解，其中，针对图像特征组解决对应问题；以及
26、-生成牙科对象的数字三维表示，其中，对应问题的解用于生成该三维表示。
27、本公开还涉及一种3d扫描系统，包括：
28、-用于扫描牙科对象的口内扫描装置，该扫描装置包括：
29、-一个或多个投影仪单元，其配置为将图案投射在牙科对象的表面上，其中，该图案包括预定数量的基准标记；
30、-用于每个投影仪单元的两个或更多个相机，其中，该相机配置为采集一组或多组图像，其中，每组图像包括来自每个相机的至少一个图像，其中，每个图像包括被投射图案的至少一部分，所述部分包括所述基准标记中的至少一个；
31、-一个或多个处理器，其配置为：
32、-在采集的图像组中的至少一组图像内识别一个或多个基准标记；
33、-解决与识别的基准标记相关的对应问题，其中，解决对应问题使得基于识别的基准标记确定3d空间中的点，其中，所述点形成对应问题的解；和
34、-通过调整与扫描装置关联的数学几何模型的一个或多个参数来校准扫描装置，其中，该调整基于对应问题的解。
35、本公开还涉及一种校准口内扫描装置的方法，该方法包括以下步骤：
36、-使用口内扫描装置将图案投射到牙科对象的表面上，其中，该图案包括预定数量的基准标记；
37、-采集一组或多组图像，其中，每组图像包括至少两个图像，其中，每个图像包括被投射图案的至少一部分，所述部分包括所述基准标记中的至少一个；
38、-在第一组采集的图像内识别一个或多个基准标记；
39、-解决与基准标记相关的对应问题，其中，解决对应问题使得基于识别的基准标记确定3d空间中的点，其中，所述点形成对应问题的解；和
40、-通过调整与扫描装置关联的数学几何模型的一个或多个参数来校准扫描装置，其中，该调整基于对应问题的解。
41、在一些实施例中，校准扫描装置的步骤包括以下步骤：在数学上在3d空间中一起投射一个或多个相机射线和投影仪射线，所述射线与基准标记关联；和通过动态调整数学几何模型的一个或多个参数来最小化相机射线与给定关联投影仪射线之间的距离。
1.一种用于扫描牙科对象的3d扫描系统，包括：
2.根据权利要求1所述的3d扫描系统，其中，所述投影仪单元的数值孔径在0.0035和0.015之间。
3.根据前述权利要求中任一项所述的3d扫描系统，其中，所述投影仪单元包括具有预定大小的光圈，使得其提供在0.2mm至0.7mm之间的瞳孔直径。
4.根据前述权利要求中任一项所述的3d扫描系统，其中，所述投影仪单元和/或给定相机的工作距离在15mm和50mm之间。
5.根据前述权利要求中任一项所述的3d扫描系统，其中，所述投影仪单元配置为以预定频率顺序地打开和关闭光源，其中，所述光源打开预定时间段。
6.根据权利要求5所述的3d扫描系统，其中，所述时间段在4毫秒(ms)和8毫秒(ms)之间，并且其中，所述频率在25hz和35hz之间，例如约30hz。
7.根据前述权利要求中任一项所述的3d扫描系统，其中，所述图像传感器是滚动快门图像传感器。
8.根据前述权利要求中任一项所述的3d扫描系统，其中，所述静态光图案是包括多个多边形的多边形图案，其中，所述多边形由边和角组成，其中，所述图案特征对应于所述图案中的角。
9.根据权利要求8所述的3d扫描系统，其中，所述多边形从以下组中选择：三角形、矩形、正方形、五边形、六边形和/或其组合，并且其中，所述多边形以预定的方式在整个图案中重复。
10.根据前述权利要求中任一项所述的3d扫描系统，其中，所述图案是包括交替的黑色和白色正方形的棋盘图案，并且其中，所述棋盘图案包括至少100×100个正方形，使得所述图案包括至少10000个图案特征。
11.根据前述权利要求中任一项所述的3d扫描系统，其中，所述图案包括预定数量的基准标记。
12.根据权利要求11所述的3d扫描系统，其中，所述相机配置为采集一组或多组图像，其中，每组图像包括来自每个相机的至少一个图像，其中，每个图像包括被投射图案的至少一部分。
13.根据权利要求12所述的3d扫描系统，其中，给定一组图像中的图像被同时采集，其中，每个相机为所述一组图像贡献一个图像。
14.根据权利要求12-13中任一项所述的3d扫描系统，其中，所述部分包括所述基准标记中的至少一个。
15.根据权利要求11-14中任一项所述的3d扫描系统，其中，所述图案对于每100个图案特征包括至少一个基准标记。
16.根据权利要求11-15中任一项所述的3d扫描系统，其中，所述基准标记选自以下组：小点、三角形、矩形、正方形、五边形、六边形和/或其组合。
17.根据权利要求11-16中任一项所述的3d扫描系统，其中，所述静态光图案是包括交替的黑色和白色正方形的棋盘图案，并且其中，所述图案对于所述棋盘图案中的每100个正方形包括至少一个基准标记。
18.根据权利要求11-17中任一项所述的3d扫描系统，其中，所述一个或多个处理器包括第一处理器，所述第一处理器配置为识别被投射图案中的所述基准标记，其中，所述第一处理器配置为使用神经网络识别所述基准标记。
19.根据权利要求18所述的3d扫描系统，其中，所述第一处理器是神经处理单元(npu)。
20.根据权利要求11-19中任一项所述的3d扫描系统，其中，所述一个或多个处理器还配置为：
21.根据权利要求20所述的3d扫描系统，其中，所述数学几何模型的一个或多个参数从以下组中选择：相机的位置、相机的取向、相机的固有参数和/或其组合。
22.根据权利要求20-21中任一项所述的3d扫描系统，其中，所述一个或多个处理器配置为在扫描所述牙科对象期间实时执行所述校准。
23.根据权利要求20-22中任一项所述的3d扫描系统，其中，校准所述扫描装置的步骤包括以下步骤：
