本公开涉及运动补偿的激光散斑对比成像，并且特别地但不排他地涉及用于运动补偿的激光散斑对比成像的方法和系统、用于激光散斑对比成像系统和方法中的运动补偿的模块以及使得计算机系统能够执行这样的方法的计算机程序产品。
背景技术：
1、激光散斑对比成像(laser speckle contrast imaging，lsci)提供了用于确定活生物组织的二维(2d)灌注图的快速、全场和体内成像方法。灌注可以是组织活力的指标，因此可以为诊断和手术提供有价值的信息。例如，在肠手术期间，选择高灌注介入部位可以减少吻合口瘘。
2、lsci基于以下原理：来自用相干激光照射的组织的反向散射光由于光路长度的差异而在检测器处形成随机干涉图案。所得到的干涉图案被称为散斑图案，并且可以使用数码相机对其实时成像。颗粒在组织内的运动引起该散斑图案的波动，导致在发生灌注的图像的那些部分中散斑的模糊。
3、例如，如果波动是由红细胞的运动引起的，则这种模糊可能与血流有关。这样，能够以相对简单的方式在活组织中对血液灌注进行成像。在w.heeman等人的综述文章“clinical applications of laser speckle contrast imaging:a review(激光散斑对比成像的临床应用：综述)”,j.biomed.opt.24:8(2019)中描述了通过lsci的现有技术临床灌注成像方案的示例。可以以类似的方式对其它体液的灌注(例如，淋巴灌注)进行成像。
4、然而，lsci对任何类型的运动极其敏感。模糊可能不仅由血流的移动引起，而且还由任何其它类型的运动引起，诸如由于呼吸、心跳、肌肉收缩或相机的运动(尤其是在手持相机中)引起的组织的移动。
5、在诸如诊断和外科手术的许多医学应用中，期望lsci系统能够实时地生成准确的、高分辨率的血流图像，特别是微循环图像，其中运动伪影被显著减少。因此，在原始散斑图像的处理期间，需要措施来最小化运动伪影，使得能够获取准确的、高分辨率的灌注图像。这可以改善良好灌注区域和不良灌注区域的识别，从而增加诊断和治疗结果。
6、用于减少散斑图像中的运动伪影的各种方案在现有技术中是已知的。例如，wo2020/045015a1公开了一种激光散斑对比成像系统，其能够捕获成像目标的近红外散斑图像和白光图像。简单的运动检测方案可以包括在图像目标上使用参考标记，跟踪可见光图像中的特征点，或者散斑图像中的散斑形状的变化，以确定指示图像目标在两个后续图像之间的移动量的全局运动矢量。可以基于散斑图像生成散斑对比图像，并且能够基于运动矢量针对运动量进行校正。
7、与例如三脚架支撑的系统相比，在手持式lsci系统中运动甚至将更加突出。例如，lertsakdadet等人在他们的文章“correcting for motion artefact in handheld laserspeckle images(校正手持式激光散斑图像中的运动伪影)”，journal of biomedicaloptics 23(2)，2018年3月中，描述了一种用于激光散斑成像的运动补偿方案，其使用附接到需要成像的组织的基准标记。在许多应用中不可能使用标记。
8、类似地，p.miao等人在他们的文章“high resolution cerebral blood flowimaging by registered laser speckle contrast analysis(通过配准激光散斑对比分析的高分辨率脑血流成像)”，ieee transactions on bio-medical engineering 57(5):1152–1157中，描述了一种通过基于卷积滤波和相关和插值方案配准原始散斑图像来产生高分辨率lsci图像的方法。随后使用时间激光散斑对比分析回顾性地分析配准的图像。然而，这种原始散斑图像的配准需要大量的计算资源，因此不适合于准确的实时成像应用。
9、因此，从上文可以看出，本领域需要改进的运动补偿的激光散斑对比成像方案。特别地，本领域需要用于激光散斑对比成像的改进的方法和系统，其允许实现实时、鲁棒、无标记、高分辨率灌注成像，特别是微循环成像，其中基本上消除或至少减少运动伪影。
技术实现思路
1、如本领域技术人员将理解的，本公开的各方面可以体现为系统、方法或计算机程序产品。因此，本公开的各方面可以采取完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)、或组合软件和硬件方面的实施例的形式，这些实施例在本文中通常都可以被称为“电路”、“模块”或“系统”。本公开中描述的功能可以被实现为由计算机的微处理器执行的算法。此外，本公开的各方面可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质具有体现(例如存储)在其上的计算机可读程序代码。
2、可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。例如，计算机可读存储介质可以是但不限于电子、磁性、光学、电磁、红外或半导体系统、设备或装置，或者前述的任何合适的组合。计算机可读存储介质的更具体示例(非详尽列表)将包括以下内容：具有一个或多个电线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪存)、光纤、便携式光盘只读存储器(cd-rom)、光学存储装置、磁存储装置或前述的任何合适的组合。在本文档的上下文中，计算机可读存储介质可以是能够包含或存储由指令执行系统、设备或装置使用或与其结合使用的程序的任何有形介质。
3、计算机可读信号介质可以包括具有体现在其中的计算机可读程序代码的传播数据信号，例如，在基带中或作为载波的一部分。这样的传播信号可以采取各种形式中的任何一种，包括但不限于电磁、光学或其任何合适的组合。计算机可读信号介质可以是任何计算机可读介质，其不是计算机可读存储介质并且能够传送、传播或传输程序以供指令执行系统、设备或装置使用或与其结合使用。
4、体现在计算机可读介质上的程序代码可以使用任何适当的介质来传输，包括但不限于无线、有线、光纤、电缆、rf等，或前述的任何合适的组合。用于执行本公开的各方面的操作的计算机程序代码可以以一种或多种编程语言的任何组合来编写，所述编程语言包括诸如java(tm)、scala、c++、python等的函数或面向对象的编程语言以及诸如“c”编程语言或类似编程语言的常规过程编程语言。程序代码可以完全在用户的计算机上执行、部分地在用户的计算机上执行、作为独立的软件包执行、部分地在用户的计算机上且部分地在远程计算机上执行、或者完全在远程计算机、服务器或虚拟化服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(lan)或广域网(wan))连接到用户的计算机，或者可以连接到外部计算机(例如，使用互联网服务提供商通过互联网)。
5、下面参考根据实施例的方法、设备(系统)和计算机程序产品的流程图图示和/或框图来描述本公开的各方面。应当理解，流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合能够由计算机程序指令实现。这些计算机程序指令可以被提供给通用计算机、专用计算机或其它可编程数据处理设备的处理器，特别是微处理器或中央处理单元(cpu)或图形处理单元(gpu)，以产生机器，使得经由计算机、其它可编程数据处理设备或其它装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的装置。
6、这些计算机程序指令还可以存储在计算机可读介质中，该计算机可读介质能够指示计算机、其它可编程数据处理设备或其它装置以特定方式起作用，使得存储在计算机可读介质中的指令产生包括实现流程图和/或框图的一个或多个框中指定的功能/动作的指令的制品。
7、计算机程序指令还可以被加载到计算机、其它可编程数据处理设备或其它装置上，以使得在计算机、其它可编程设备或其它装置上执行一系列操作步骤，以产生计算机实现的过程，使得在计算机或其它可编程设备上执行的指令提供用于实现流程图和/或框图的一个或多个框中指定的功能/动作的过程。
8、附图中的流程图和框图示出了根据各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这方面，流程图或框图中的每个框可以表示代码的模块、片段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。还应当注意，在一些替代实施方式中，框中指出的功能可以不按图中指出的顺序发生。例如，根据所涉及的功能，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行。还将注意到，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合能够由执行指定功能或动作的基于专用硬件的系统或专用硬件和计算机指令的组合来实现。
9、本公开中的实施例的目的是减少或消除现有技术中已知的至少一个缺点。
10、在第一方面，实施例可以涉及一种运动补偿的激光散斑对比成像的方法。该方法包括：将目标区域暴露于第一波长的相干第一光，该目标区域包括活组织；以及捕获至少一个图像序列。该至少一个图像序列包括第一散斑图像，该第一散斑图像在用第一光曝光期间被捕获。该方法还包括确定用于将第一散斑图像彼此配准的图像配准算法的一个或多个配准参数。该方法还可以包括：通过基于一个或多个配准参数和图像配准算法来配准第一散斑图像，确定配准的第一散斑图像，并且基于配准的第一散斑图像确定组合散斑对比图像；或基于第一散斑图像确定第一散斑对比图像，通过基于一个或多个配准参数和图像配准算法来配准第一散斑对比图像，确定配准的散斑对比图像，并且基于配准的第一散斑对比图像确定组合散斑对比图像。
11、因此，可以在不使用标记的情况下配准或对准散斑图像或散斑对比图像的序列。然后可以将配准的图像组合成具有高分辨率和准确度的组合散斑对比图像。组合图像可以包括来自多个散斑图像的信息，例如像素平均值，优选地加权平均值，或者组合图像能够是例如图像的移动窗口中的单个最可靠图像，例如相对于图像序列中的后续图像具有最小变换(即，最接近使用合适度量的恒等变换)的图像。
12、这样，图像对由于运动而导致的噪声不太敏感。运动可能由例如相机的运动引起，特别是在手持系统中，或者可能由例如由于肌肉收缩而导致的患者的运动引起。因此，本公开中的实施例可以在广泛的应用中实现或改善散斑对比成像，包括例如灌注成像大肠道，其需要相机沿着待成像的整个表面运动，或者皮肤烧伤的灌注成像，其中患者可能由于疼痛而不能保持不动。
13、该方法的优点在于可以使用通常可用的硬件(基本上)实时地执行该方法。在一些实施例中，可以存在基于例如多个帧(例如20个帧，或具有足够质量的20个帧)、固定时间量(例如1秒)或基于生理特性的时间(例如一次或两次心跳或一次或两次呼吸的时间)的小延迟。这种延迟通常对临床使用无害。生理特性可以基于散斑图像、散斑对比图像和/或来自多个图像的图像的图像分析，基于根据关于生理现象的知识的预定常数，或者可以基于外部输入，例如，来自心率监测器。
14、该方法的另一个优点是，该方法不需要将基准标记放置在视场中。这对于不期望放置基准标记的区域尤其相关，例如，当对内部器官、烧伤组织或脑组织成像时，或者对于相对大的图像目标，否则其将需要多个基准标记或重复替换标记。
15、由于该方法校正和/或补偿目标区域相对于相机的运动，因此能够创建更可靠的灌注图像。在一些情况下，可以更快或更容易地获取可靠的图像，例如当对具有不规则运动的目标进行成像时，并且操作者否则必须等待具有很少运动的时间段来获取图像。例如，运动校正可以包括基于检测到的表观运动来变换一个或多个图像。运动补偿可以包括组合多个图像，从而增加信噪比。
16、通过配准第一散斑图像或第一散斑对比图像，来自第一散斑图像序列的多个第一散斑图像可以用于确定与单独的第一散斑对比图像相比具有增加的对比度和/或空间分辨率的组合散斑对比图像。要组合的配准的散斑图像的数量可以根据临床要求和/或第一散斑图像的质量参数。
17、可以基于未配准的并且因此未变换的散斑图像来计算散斑对比图像。随后，散斑对比图像可以被变换并且然后被组合。变换可以使散斑图案或其部分失真，例如，散斑可以被放大、收缩或变形，特别是对于比仅仅平移或旋转更一般的变换。因此，基于未变换的散斑图像计算散斑对比图像可以防止由于变换成散斑对比图像而引入噪声。
18、可替代地，可以首先配准散斑图像，并且因此变换，并且随后可以计算散斑对比图像。这样，可以基于两个或更多个配准的散斑图像来计算时间或时空散斑对比度。使用时间或时空散斑对比度可以导致更高的空间分辨率。在该实施例中，图像优选地以子像素准确度配准。
19、该实施例的另一个优点是仅需要单个图像序列：相同的图像序列可以用于图像配准(确定配准参数)，用于确定平均权重，以及用于确定组合的激光散斑对比图像或灌注图像。然而，在其它实施例中，第二图像序列可以用于确定用于图像配准的配准参数，并且用于确定平均权重。
20、在实施例中，一个或多个配准参数的确定基于多个图像，优选地，所述多个图像中的图像选自第一散斑图像和/或选自与第一散斑图像相关联的图像和/或选自从第一散斑图像或与第一散斑图像相关联的图像导出的图像。
21、例如，多个图像中的图像能够是使用图像处理从相应的第一散斑图像获得或导出的图像。例如，从第一散斑图像导出的图像可以表示第一散斑图像的纹理、第一散斑图像的归一化版本、经滤波(例如，模糊或锐化)的第一散斑图像或从第一散斑图像导出的任何其它合适的图像。在下面描述的其它实施例中，捕获单独的图像并将其与第一散斑图像相关联。所述多个图像中的图像也能够是从与第一散斑图像相关联的图像导出的图像。作为另一示例，所述多个图像中的图像能够是通过变换第一散斑图像获得的图像、从第一散斑图像导出的图像、与第一散斑图像相关联的图像和/或从与第一散斑图像相关联的图像导出的图像。
22、在实施例中，配准参数基于至少一个图像序列的多个图像中的每个图像中的一个或多个像素组中的像素值的相似性度量，所述多个图像中的图像选自第一散斑图像和/或选自与第一散斑图像相关联的图像。
23、一个或多个像素组可以覆盖整个图像或仅其一部分。不同图像中的像素组可以具有相同或不同的大小。例如，在一个像素组对应于一个特征的情况下，对应于相同或相似特征的组通常具有相同或相似的大小。在不同的示例中，在像素组对应于图像中的位置的情况下，对应于不同图像中的相同或相似位置的像素组可以具有不同的大小。将一个或多个基于位置的像素组与通常不同的大小进行匹配也可以被称为模板匹配。
24、使用像素组的优点在于，像素组通常可以比整个图像更可靠地匹配，特别是当与图像大小相比组相对较小时。此外，如果两个图像通过非齐次变换相关，则使用一个或多个像素组能够提高图像配准的可靠性，其中一个像素组的变换可以对应于图像的局部变换。
25、在实施例中，该方法还包括：通过变换第一散斑图像和/或与第一散斑图像相关联的图像来确定变换后的图像。变换可以包括以下中的一个或多个：到频域的变换，诸如傅里叶(fourier)变换、梅林(mellin)变换、拉普拉斯(laplace)变换、拉东(radon)变换，以及坐标变换，诸如对数极坐标变换。在这样的实施例中，配准参数可以基于变换后的图像的比较。
26、通常，可以使用基于特征、基于强度和/或基于频率的方法来确定配准参数。使用基于特征的方法的优点在于其涉及真实世界特征，并且因此对图像伪影较不敏感。此外，可以选择特征，使得仅使用高质量数据来确定配准参数，从而潜在地增加准确性和/或鲁棒性。此外，基于特征的方法通常能够同时处理图像的平移和旋转以及缩放两者，特别是当变化与图像大小相比相对较小时。原则上，基于特征的方法可以与基于强度或频率的方法一起使用以确定特征。基于强度的方法的优点是它们通常实现简单并且执行起来计算便宜。基于频率的方法的优点是使用来自整个图像的信息，使得该方法对局部干扰和图像伪影较不敏感。
27、在实施例中，变换是到频域的变换，优选地是傅里叶变换。在这样的实施例中，变换后的图像的比较可以包括：确定变换后的图像的互相关；确定互相关到空间域的变换，优选地使用逆傅里叶变换；以及确定空间域中的互相关中的峰值。确定的峰值的位置对应于两个图像之间的平移。
28、在实施例中，变换是对数极坐标变换；其中，变换后的图像的比较包括：确定变换后的图像相对于彼此的移位；并且其中，确定配准参数包括基于所确定的移位来确定旋转和/或缩放。使用对数极坐标变换的优点在于，变换后的图像的水平移位对应于未变换图像的旋转，并且变换后的图像的竖直移位对应于未变换图像的缩放。因此，能够以相对直接的方式确定旋转和缩放，特别是全局缩放和旋转。通常结合不同的方法来应用对数极坐标变换以确定图像的平移。
29、傅里叶变换和对数极坐标变换的组合有时被称为傅里叶-梅林变换。
30、例如，所确定的配准参数可以包括平移矢量、旋转角度和比例因子。基于这些配准参数，第一散斑图像可以彼此对准(变换)。这些配准参数还能够用于确定加权平均值的权重，第一散斑图像或第一散斑对比图像可以与该加权平均值组合。通常，不需要明确地确定多个图像区域的对准矢量，既不用于图像配准本身，也不用于权重确定。
31、如在例如模板匹配或基于频率的方法中典型的，使用大图像区域来确定配准参数的优点在于，与例如使用多个小区域的方法相比，可以抑制噪声。当使用对数极坐标变换或傅里叶-梅林变换确定时，这与配准参数(诸如旋转和缩放)特别相关，因为旋转和缩放可能难以在未变换的空间域中准确地确定。
32、在实施例中，该方法还包括确定用于第一散斑图像的多个掩模。多个掩模中的每个掩模与相应的第一散斑图像相关联。多个掩模中的每个掩模可以将可靠性得分(reliability score)与相关联的第一散斑图像中的一个或多个像素相关联。在这样的实施例中，组合散斑对比度的确定可以直接地或间接地基于多个掩模。
33、可靠性得分可以是二进制的。可替代地，可靠性得分可以具有多于两个潜在值，例如255(字节值)或浮点值(通常在0和1之间选择)。不同的图像类型(例如，散斑图像、散斑对比图像和组合散斑对比图像)可以使用不同的掩模类型，例如，用于散斑图像的二进制掩模和用于散斑对比图像的字节值掩模。可以针对整个图像或仅针对图像中的一个或多个感兴趣区域确定掩模。例如，散斑对比度值可以具有基于用于确定散斑对比度的不可靠输入像素值的数量的可靠性得分。可靠性得分还能够基于配准参数(例如，基于使用例如光流确定的运动量)。根据配准参数是全局地(针对整个图像)、区域地(针对图像块或像素组)还是局部地(针对个体像素)确定，能够类似地全局地、区域地或局部地确定可靠性得分。来自不同源的可靠性得分可以组合成单个可靠性得分。
34、原则上，可以在图像配准(和应用对应的变换)之前或之后以及在计算散斑对比度之前或之后应用掩模。在掩模中编码的信息也可以在计算期间使用若干次，并且可以在计算期间改变。
35、在实施例中，该方法还包括基于一个或多个配准参数和图像配准算法，通过配准多个掩模来确定多个配准掩模。在这样的实施例中，组合散斑对比度的确定可以基于多个配准的掩模。
36、在实施例中，多个掩模中的至少一个基于在相应散斑图像中识别的伪影，优选地是镜面反射伪影。伪影可以归因于若干源。例如，可能发生镜面反射伪影(特别是在内窥镜/腹腔镜设置中)，其中像素或像素组完全饱和，并且因此可以不计算对比度。伪影也可能是由于例如相机中的故障像素元件、聚集光的透镜上的污点等。
37、可以通过识别偏离的输入像素值和/或偏离的散斑对比度值来识别伪影。例如，高于预定绝对或相对上阈值的像素值或者低于预定绝对或相对下阈值的值可以被标记为偏离的像素值。附加地或替代地，可以识别低于或高于相应的绝对或相对下阈值或上阈值的像素对比度值。例如，相对阈值可以基于对像素的环境的分析，例如，平均值或中值或其它统计表示。
38、在实施例中，多个掩模中的至少一个基于被识别为不表示活组织的像素。例如，图像可以包括表示手术器械(特别是在开放手术设置中)、夹具、缝线、纱布等的像素。不计算这些像素的散斑对比度值或灌注值或者至少不显示这些像素的散斑对比度值或灌注值能够是有益的。
39、在这样的实施例中，识别不表示活组织的像素可以基于图像识别算法。这种图像识别算法在本领域中是已知的。图像识别算法可以使用散斑图像和/或散斑对比图像作为输入。在至少一个图像序列还包括除散斑图像之外的其它图像(例如，白光图像)的实施例中，附加地或替代地，可以在其它图像中识别不表示活组织的像素。所识别的不表示活组织的像素可以用于改进活组织中的灌注计算和/或确定总体表观运动，例如，通过确定针对不表示活组织的像素确定的灌注值的倒数并使用该倒数来确定运动校正值。
40、在实施例中，该方法还包括将目标区域暴露于一个或多个第二波长的第二光，优选地第二波长的相干光或包括可见光谱的多个第二波长的光，其中，暴露于第二光与暴露于第一光交替进行或与暴露于第一光同时进行。在该实施例中，至少一个图像序列包括第二图像序列，该第二图像在用第二光曝光期间被捕获；并且所述多个图像选自第二图像序列，所述第二图像或从其导出的图像中的每一个与第一散斑图像相关联。
41、代替原始第二图像，从第二图像导出的图像可以与第一散斑图像相关联，例如纹理图像、归一化图像或以其它方式预处理的图像。
42、因此，在实施例中，激光散斑对比成像的方法包括交替地或同时地将目标区域暴露于第一波长的相干第一光和一个或多个第二波长的第二光，优选地第二波长的相干光或包括可见光谱的多个第二波长的光，目标区域优选地包括活组织。该方法还可以包括：在用第一光曝光期间捕获第一散斑图像序列；以及在用第二光曝光期间捕获第二图像序列，第一散斑图像序列的散斑图像与第二图像序列的图像相关联。可以基于与第一散斑图像相关联的第二图像序列的至少一部分中的像素组的像素值的相似性度量来确定用于配准第一散斑图像序列的至少一部分的配准算法的一个或多个配准参数。该方法还可以包括通过基于一个或多个配准参数和配准算法来配准第一散斑图像序列的至少一部分，确定配准的第一散斑图像，并且基于配准的第一散斑图像确定组合散斑对比图像。可替代地，该方法可以包括基于第一散斑图像序列的至少一部分确定第一散斑对比图像，通过基于一个或多个配准参数和配准算法来配准第一散斑对比图像，确定配准的散斑对比图像，并且基于配准的第一散斑对比图像确定组合散斑对比图像。
43、在上面定义的第一实施例中，第一光和第二光是具有相同波长的相同光，并且第一散斑图像序列和第二图像序列是相同的图像序列。然而，在有利的实施例中，一个或多个第二波长中的至少一个波长不同于第一波长，因此，第二图像不同于第一散斑图像。第一散斑图像和相关联的第二图像也能够是单个图像的不同部分。图像序列中的图像可以是视频流中或多帧快照中的帧。在本公开中，第二图像也可以被称为校正图像。通常，第二图像序列的至少一部分中的每一个中的至少一个像素组用于确定一个或多个配准参数。
44、因此，可以根据待测量的量来优化第一波长和第一散斑图像序列的捕获以用于散斑对比成像(例如，优化的曝光时间)；同时可以优化一个或多个第二波长和第二图像序列的捕获以获得能够容易且准确地配准的图像，例如通过确保诸如血管和正常组织的解剖特征之间的高对比度。典型的组合可以是使用红外光获取的散斑图像和使用白光获取的第二图像，或者使用红光获取的散斑图像和使用绿光或蓝光获取的第二图像，但是当然，其它组合也是可能的。
45、在实施例中，像素组可以表示多个图像中的预定特征，该预定特征优选地与目标区域中的对象相关联，优选地与目标区域中的解剖结构相关联。可以通过特征检测算法来选择像素组。
46、特征可以是与目标区域中的物理对象相关联的特征，例如与血管相关的特征，而不是例如不与对象直接相关的图像特征，诸如过度曝光的图像部分或散斑。预定特征可以通过例如属于一类特征来确定，诸如具有较大强度差异的拐角或区域。它们可以通过例如质量度量、对特征之间的相互距离的限制等来进一步确定。在一些实施例中，可以使用一个或多个确定的特征的邻域来确定对准矢量和/或变换。
47、与像素的总数相比，基于相对少量的特征确定位移可以基本上减少计算时间，同时仍然给出准确的结果。对于相对简单的运动尤其如此，其中例如整个目标区域由于相机的运动而移位。
48、在实施例中，该方法还可以包括利用适于增加像素组表示对应于解剖特征的特征的概率的滤波器对所述多个图像进行滤波。例如，滤波器可以确定过度曝光和/或曝光不足的区域和/或其它图像伪影，并且可以基于这些区域或伪影创建掩模。因此，可以防止确定与这些区域或伪影相关的特征。
49、在实施例中，基于像素组的像素值的相似性确定配准参数可以包括：对于来自多个图像的图像中的每个像素组，确定与来自多个图像的不同图像的至少一部分的卷积或互相关。该方法还可以包括确定多项式展开以对多个图像中的像素邻域中的像素值进行建模，比较展开系数，以及基于比较确定对准矢量。
50、在实施例中，确定一个或多个配准参数可以包括：基于相似性度量确定多个相关联的像素组，每个像素组属于来自多个图像的不同图像；基于像素组相对于来自多个图像的相应图像的位置来确定多个对准矢量，该对准矢量表示目标区域相对于图像传感器的运动；以及基于多个对准矢量确定配准参数。
51、通过确定多个特征或对应特征对的对准矢量，可以确定并校正相机相对于成像目标的任意移动。对准矢量可以用于确定例如仿射变换(affine transformation)、射影变换(projective transformation)或单应性(homography)，其可以仅基于图像数据来校正例如图像的平移、旋转、缩放和剪切。因此，该方法不需要关于例如相机与目标之间的距离、入射角等的信息。
52、对准矢量的确定和/或一个或多个变换的确定可以基于使用合适的光流算法(例如，致密光流算法或稀疏光流算法)确定的光流参数。
53、在实施例中，确定组合散斑对比图像还可以包括：分别计算配准的第一散斑图像和配准的第一散斑对比图像的平均值，该平均值优选地是加权平均值，图像的权重优选地基于配准参数或基于散斑对比度的相对幅值。可替代地，组合散斑图像或散斑对比图像可以包括：利用例如中值滤波器或最小或最大滤波器等对第一散斑图像(相应地第一散斑对比图像)的至少一部分进行滤波。用于加权平均的权重可以基于例如从散斑对比度导出或从对准矢量导出的量。
54、在实施例中，计算组合激光散斑对比图像可以包括计算配准的散斑图像序列的平均值，优选地加权平均值。
55、在实施例中，平均值是加权平均值，并且被掩蔽的像素具有等于零的权重。如果掩模定义多值可靠性得分，则权重可以根据可靠性得分，其中具有较高可靠性得分的像素具有比具有较低可靠性得分的像素更高的权重。
56、在实施例中，该方法还包括确定组合散斑对比图像掩模。该组合散斑对比图像掩模可以指示是否至多预定百分比的输入像素被掩蔽。例如，仅在掩蔽了少于预定百分比的输入像素时才计算加权平均值，并且其中，如果掩蔽了多于预定百分比的输入像素，则将像素被标记为具有无效像素值。
57、可替代地，组合散斑对比图像掩模可以指示组合散斑对比图像掩模中的像素的可靠性得分。可靠性得分可以根据加权平均值中的被掩蔽像素的分数，和/或根据相应掩模的可靠性得分。
58、散斑对比度或灌注值通常显示为捕获图像上的覆盖层。存在各种选项来处理覆盖层中不能计算有效灌注值的像素。例如，被标记为具有无效像素值的像素被移除或渲染为透明的，被分配误差值，或者被分配基于周围像素值的插值的值。能够组合这些选项中的两个或更多个，例如，基于无效像素值的原因和/或基于连接的无效像素值的区域的大小。例如，由于非组织对象(例如，手术器械)的存在而导致的无效像素区域可以被示出为透明的，使得能够清楚地看到器械或其它非组织对象。作为另一示例，可以使用插值填充小的无效像素区域，以提供具有最可能正确的值的干净图像，而大的无效像素区域可以被分配误差值，指示没有获得有效的灌注数据。
59、如果每个像素或相关区域中的至少每个像素被分配可靠性得分，则可以通过变化的透明度(例如，使用阿尔法通道)来渲染可靠性得分，其中可靠像素具有低透明度(高不透明度)并且不可靠像素具有高透明度(低不透明度)。
60、在实施例中，该方法还可以包括：对于与来自多个图像的图像相关联的每个第一散斑图像或每个第一散斑对比图像，基于多个对准矢量，优选地基于多个对准矢量的长度，和/或基于定义所确定的变换的参数，确定与相应的第一散斑图像或第一散斑对比图像相关联的变换大小。可以使用权重来确定加权平均值，该权重基于与相应的第一散斑对比图像相关联的所确定的变换大小，优选地，该权重与所确定的变换大小逆相关。
61、可以独立于其它图像针对每个图像快速确定基于位移的大小或量或者基于变换的大小或量的权重。变换大小可以例如基于表示变换的矩阵的范数，或者表示变换与恒等变换之间的差的矩阵的范数。变换大小还可以基于例如对准矢量的统计代表性度量，例如平均值、中值、第n个百分位数或最大对准矢量长度。具有大量位移的图像通常更嘈杂，并且因此可以被分配较低的权重，从而提高组合图像的质量。
62、在实施例中，该方法还可以包括：对于每个第一散斑图像，确定相对于第一散斑对比图像的序列中的一个或多个先前和/或后续图像的散斑对比度的归一化量或散斑对比度的变化量。可以使用基于所确定的归一化散斑对比度量或与相应的第一散斑对比图像相关联的所确定的散斑对比度变化的权重来确定加权平均值。可替代地或附加地，可以基于第二散斑对比图像的散斑对比度的归一化量或散斑对比度的变化量来确定权重。
63、基于散斑对比度的差异或变化(特别是突然变化)的权重可以指示图像质量。通常，散斑对比度以及因此这些权重可能受到整个系统中的各种因素的影响，例如相机相对于目标区域的运动、光纤的移动或者影响光路长度或波动照明条件的其它因素。因此，使用基于散斑对比度的权重，可以获得更高质量的组合图像。通常，散斑对比度以任意单位确定，因此可以通过分析散斑图像序列来确定权重。由于散斑对比度与灌注负相关，因此可以类似地使用基于散斑对比度的灌注单位。
64、在实施例中，算法可以应用于相机的视场中的预定义感兴趣区域。这样的感兴趣区域可以由用户确定，或者可以是预定的。例如，图像的外边界可以被忽略，和/或从视图中隐藏，例如以防止变换后的图像边界可见。将算法或算法的一部分应用于图像的仅一部分可以更快。可以基于所确定的变换来变换感兴趣区域。在不同的实施例中，算法可以应用于整个图像。
65、在实施例中，多个图像可以是第一散斑图像的序列。在这样的实施例中，第一波长优选地是电磁光谱的绿色或蓝色部分中的波长。这样，可以在良好的散斑信号与良好的视觉区别性(即，解剖特征的高对比度，其与高散斑对比度区分开)之间取得平衡，这对于确定特征是有利的。因此，不需要预处理步骤来增加散斑图像的对比度。
66、可替代地，可以使用在电磁光谱的红色部分中的第一波长，优选地在600-700nm的范围内，更优选地在620-660nm的范围内，或者在电磁光谱的红外部分中，优选地在700-1200nm的范围内。根据组织类型和诸如曝光时间的成像参数，视觉区别性可以足以充分确定特征。由于红光和红外光大部分被红血细胞反射，因此这些波长导致具有相对高强度的散斑，并且因此非常适合于血流的散斑对比成像。
67、如在这些实施例中，第一散斑图像和来自多个图像的图像是相同的图像，可以用相对简单的系统获取图像，仅需要单个光源和单个相机。
68、在实施例中，至少第二波长的光可以是不同于第一波长的至少第二波长的光，优选地预定第二波长的相干光，优选地在电磁光谱的绿色或蓝色部分中，优选地在380-590nm的范围内，更优选地在470-570nm的范围内，甚至更优选地在520-560nm的范围内。蓝光或特别是绿光可以导致高对比度或视觉区别性，因为它在血管中比正常组织更强烈地吸收。因此，可以使用与血管相关的特征(诸如边缘或拐角)来确定配准参数。
69、由于第一散斑图像本身固有地有噪声(就解剖特征的成像而言)，因此能够优选地使用基于不同波长的第二图像来确定对准矢量。这样，可以基于被选择以优化散斑对比度信号的光来获取第一散斑图像，而可以基于被选择以优化视觉区别性的光来获取第二图像。这样的系统对于对血液灌注相对深的组织(例如，皮肤)进行成像是特别有利的。在这样的组织中，大部分绿光或蓝光不会穿透足够深以与血细胞相互作用，从而产生相对无噪声的图像。
70、在实施例中，第一波长优选地是在电磁光谱的红色部分中的波长，优选地在600-700nm的范围内，更优选地在620-660nm的范围内，或者在电磁光谱的红外部分中的波长，优选地在700-1200nm的范围内。红光和红外光大部分被红细胞反射，因此非常适合于血流的散斑对比成像。红外光具有比红光大的穿透深度。红光可以更容易地集成到现有系统中，使用例如rgb相机的红色通道来获取散斑图像。
71、优选地，第一波长被选择为由感兴趣的流体散射或反射；例如，红光或近红外光可以用于对血管中的血液进行成像。优选地，可以基于所需的穿透深度来选择第一波长。具有相对高穿透深度的光可以允许即使在成像组织中的某个深度处也以足够的信噪比检测由感兴趣的体液散射的光。
72、优选地，选择第二波长以提供具有高视觉区别性的图像，从而在图像中的组织表面上产生一致的特征。例如，绿光可以用于对内部器官中的血管进行成像，因为绿光通常被血液吸收比被组织吸收更强。第二波长的光能够是相干光或非相干光。第二图像也可以基于多个波长，例如可以使用白光。第二波长的光可以由例如第二相干光源生成。可替代地，第一波长的光和第二波长的光可以由单个相干光源生成，该单个相干光源被配置为生成多个波长的相干光。
73、在实施例中，第二图像序列可以是第二散斑图像序列，并且该方法还可以包括：基于第二散斑图像序列确定第二散斑对比图像；以及基于第二散斑对比图像序列中的散斑对比度幅值的变化来调整或校正第一散斑对比图像。
74、多光谱相干校正(也称为双激光校正)可以通过基于第二图像序列中确定的散斑对比度的变化而调整第一散斑图像中确定的散斑对比度来去除或减少第一散斑对比图像中的噪声。调整可以基于第一散斑对比图像的散斑对比度与第二散斑对比图像的散斑对比度之间的预定相关性。
75、通过将基于第二波长的第二图像用于多光谱相干校正和用于图像配准两者，多光谱相干校正可以有利地与使用第二图像的图像配准相结合。在这样的实施例中，第二波长优选地具有相对小的穿透深度。这样，第二图像可以包括主要与目标区域的表面相关的信息。对于接近表面具有很少灌注的组织(诸如皮肤、疤痕组织和一些肿瘤类型)尤其如此。
76、在实施例中，该方法还可以包括：将第一散斑图像、相应地第一散斑对比图像的序列的至少一部分中的每个图像以及所述多个图像中的每个图像划分成多个区域，优选地划分成不相交的区域。优选地，来自所述多个图像的图像中的区域对应于相关联的第一散斑图像、相应地第一散斑对比图像中的区域。确定配准参数可以包括确定每个区域的配准参数，并且确定配准的第一散斑图像、相应地第一散斑对比图像的序列可以包括基于根据来自所述多个图像的图像中的对应区域的变换来配准第一散斑图像、相应地第一散斑对比图像的每个区域。
77、可以基于例如图像的几何形状(例如，矩形或三角形区域的网格)或者基于图像特性(例如，看起来属于解剖结构的光强度或像素组)来确定区域。
78、这样，可以校正图像的部分中的局部移动，导致更高质量的组合图像。局部移动通常由目标中的运动引起，例如由于人移动、呼吸、心跳或肌肉收缩，诸如下腹部中的蠕动运动。区域可以小到单个像素。如果使用加权平均值来组合两个或更多个图像，则可以将权重单独地分配给每个区域和/或作为整体分配给图像。组合图像同样可以是基于区域的，或者在逐个图像的基础上完成。
79、在实施例中，目标区域可以包括灌注器官，优选地由体液灌注，更优选地由血液和/或淋巴液灌注，和/或可以包括一个或多个血管和/或淋巴管。该方法还可以包括基于组合散斑图像来计算灌注强度，优选地血液灌注强度或淋巴灌注强度。
80、该方法还可以包括对图像进行后处理，例如阈值化、伪着色、覆盖在其它图像上，例如白光图像，和/或显示组合图像或从其导出的图像。
81、在第二方面中，实施例可以涉及一种用于成像装置的硬件模块，该成像装置优选地是医学成像装置。硬件模块可以包括用于将目标区域暴露于第一波长的相干第一光的第一光源，目标区域优选地包括活组织。硬件模块还可以包括具有一个或多个图像传感器的图像传感器系统，用于捕获至少一个图像序列，该至少一个图像序列包括第一散斑图像，该第一散斑图像在用第一光曝光期间被捕获。硬件模块还可以包括计算机可读存储介质，其具有嵌入其中的计算机可读程序代码，以及耦合到计算机可读存储介质的处理器，优选地是微处理器，更优选地是图形处理单元，其中，响应于执行计算机可读程序代码，处理器被配置为：确定用于将第一散斑图像彼此配准的图像配准算法的一个或多个配准参数，该配准参数基于多个图像中的像素组的像素值的相似性度量，所述多个图像中的图像选自第一激光散斑图像或与第一散斑图像相关联，配准参数优选地定义以下之一：单应性、射影变换或仿射变换；以及通过基于一个或多个配准参数和图像配准算法来配准第一散斑图像，确定配准的第一散斑图像，并且基于配准的第一散斑图像确定组合散斑对比图像；或基于第一散斑图像确定第一散斑对比图像，通过基于一个或多个配准参数和图像配准算法来配准第一散斑对比图像，确定配准的散斑对比图像，并且基于配准的第一散斑对比图像确定组合散斑对比图像。
82、在实施例中，硬件模块可以包括第二光源，其用于用不同于第一波长的至少第二波长的光与第一光源同时或交替地照射目标区域。至少一个图像传感器可以被配置为捕获第二图像序列，第二图像在用第二光曝光期间被捕获。所述多个图像可以选自第二图像序列，第二图像中的每一个与第一散斑图像相关联。
83、图像传感器系统可以包括用于捕获第一图像序列的第一图像传感器和用于捕获第二图像序列的第二图像传感器，或者用于捕获第一图像序列和第二图像序列两者的单个图像传感器。
84、在实施例中，硬件模块还可以包括显示器，其用于显示组合散斑图像和/或从其导出的图像，优选地灌注强度图像。可替代地或附加地，硬件模块可以包括用于输出组合散斑图像和/或从其导出的图像的视频输出。
85、图像传感器系统可以包括用于捕获第一波长的图像的第一图像传感器和用于捕获至少第二波长的图像的第二图像传感器。第一图像传感器和第二图像传感器可以是相同的图像传感器、单个图像传感器的不同部分(例如，来自rgb相机的红色和绿色通道)或不同的图像传感器。模块还可以包括光学器件，以将来自第一光源和来自可选的第二光源的光引导到目标区域和/或将来自目标区域的光引导到第一图像传感器和第二图像传感器。
86、本公开还涉及包括这种硬件模块的医学成像装置，优选地内窥镜、腹腔镜、手术机器人、手持式激光散斑对比成像装置或开放式手术激光散斑对比成像系统。
87、在另一方面，本公开涉及一种用于激光散斑成像系统的计算模块，该计算模块包括计算机可读存储介质和处理器，该计算机可读存储介质具有嵌入其中的程序的至少一部分，该处理器耦合到计算机可读存储介质，该处理器优选地是微处理器，更优选地是图形处理单元，其中，响应于执行计算机可读存储代码，处理器被配置为执行可执行操作。该可执行操作可以包括：
88、接收至少一个图像序列，所述至少一个图像序列包括第一散斑图像，所述第一散斑图像在目标区域暴露于第一波长的相干第一光期间被捕获，目标区域包括活组织；确定用于将第一散斑图像彼此配准的图像配准算法的一个或多个配准参数，该配准参数基于所述至少一个图像序列的多个图像中的像素组的像素值的相似性度量，所述多个图像中的图像选自第一散斑图像或与第一散斑图像相关联，配准参数优选地定义以下之一：单应性、射影变换或仿射变换；以及通过基于一个或多个配准参数和图像配准算法来配准第一散斑图像，确定配准的第一散斑图像，并且基于配准的第一散斑图像确定组合散斑对比图像；或基于第一散斑图像确定第一散斑对比图像，通过基于一个或多个配准参数和图像配准算法来配准第一散斑对比图像，确定配准的散斑对比图像，并且基于配准的第一散斑对比图像确定组合散斑对比图像。
89、这样的计算模块可以例如被添加到现有的或新的医学成像装置(诸如腹腔镜或内窥镜)，以便改善激光散斑对比成像，特别是灌注成像。在实施例中，本公开中描述的方法步骤可以由用于将相干光耦合到内窥镜系统中的装置中的处理器执行。这种装置可以耦合在内窥镜系统的光源和视频处理器与内窥镜系统的内窥镜(例如，腹腔镜)之间。因此，耦合装置可以向内窥镜系统添加激光散斑成像能力。在荷兰专利申请nl2026240中更详细地描述了这种耦合装置，该荷兰专利申请通过引用并入本文。
90、在实施例中，至少一个图像序列包括第二图像序列，第二图像在用第二光曝光期间被捕获，第二光具有一个或多个第二波长，优选地，第二光是第二波长的相干光或者第二光包括可见光谱的多个第二波长，其中，暴露于第二光与暴露于第一光交替进行或与暴露于第一光同时进行。所述多个图像选自第二图像序列，第二图像中的每一个与第一散斑图像相关联。
91、本公开还可以涉及一种计算机程序或计算机程序套件，包括至少一个软件代码部分或存储至少一个软件代码部分的计算机程序产品，该软件代码部分在计算机系统上运行时被配置用于执行上述任何方法步骤。
92、本公开还可以涉及一种存储至少一个软件代码部分的非暂时性计算机可读存储介质，该软件代码部分在由计算机执行或处理时被配置为执行如上所述的任何方法步骤。
93、将参考所附示意图进一步说明实施例。应当理解，本公开不以任何方式限于这些具体实施例。
1.一种运动补偿的激光散斑对比成像的方法，包括：
2.根据权利要求1所述的方法，其中，所述一个或多个配准参数的确定基于多个图像，优选地，所述多个图像中的图像选自所述第一散斑图像和/或选自与所述第一散斑图像相关联的图像和/或选自从所述第一散斑图像或与所述第一散斑图像相关联的图像导出的图像。
3.根据权利要求2所述的方法，其中，所述配准参数基于所述多个图像中的每个图像中的一个或多个像素组中的像素值的相似性度量。
4.根据权利要求2或3所述的方法，所述方法还包括：
5.根据权利要求4所述的方法，其中，所述变换是到频域的变换，优选地是傅里叶变换或傅里叶-梅林变换，并且其中，所述变换后的图像的比较包括：
6.根据权利要求4所述的方法，其中，所述变换是对数极坐标变换；
7.根据前述权利要求中任一项所述的方法，所述方法还包括：
8.根据权利要求7所述的方法，
9.根据权利要求7或8所述的方法，
10.根据权利要求7-9中任一项所述的方法，其中，所述第一散斑对比图像的确定基于与相应的第一散斑图像相关联的掩模。
11.根据前述权利要求中任一项所述的方法，所述方法还包括：
12.根据权利要求11所述的方法，其中，所述至少第二波长的光是预定第二波长的相干光，所述预定第二波长优选地在电磁光谱的绿色或蓝色部分中，优选地在380nm-590nm的范围内，更优选地在470nm-570nm的范围内，更加优选地在520nm-560nm的范围内，并且其中，所述第二图像序列是第二散斑图像序列；
13.根据前述权利要求中任一项所述的方法，其中，所述第一波长是在电磁光谱的红色部分中的波长，优选地在600-700nm的范围内，更优选地在620-660nm的范围内，或者是在电磁光谱的红外部分中的波长，优选地在700-1200nm的范围内。
14.根据前述权利要求中任一项所述的方法，其中，确定组合散斑对比图像还包括：
15.根据当从属于权利要求7-9中任一项时的权利要求14所述的方法，其中，所述平均值是加权平均值，并且其中，被掩蔽的像素具有基于与所述像素相关联的所述可靠性得分的权重。
16.根据权利要求15所述的方法，还包括确定组合散斑对比图像掩模，所述组合散斑对比图像掩模中的像素与所述组合散斑对比图像中的像素相关联，
17.根据权利要求16所述的方法，其中，被标记为具有无效像素值的所述像素被移除或渲染为透明的，或者其中，被标记为具有无效像素值的所述像素被分配误差值，或者其中，被标记为具有无效像素值的所述像素被分配基于周围像素值的插值的值。
18.根据前述权利要求中任一项所述的方法，其中，所述一个或多个像素组表示所述多个图像中的预定特征，所述预定特征优选地与所述目标区域中的对象相关联，优选地与所述目标区域中的解剖结构相关联。
19.根据权利要求18所述的方法，还包括：
20.根据前述权利要求中任一项所述的方法，其中，基于像素坐标选择所述一个或多个像素组，优选地，来自所述多个图像的第一图像中的像素组小于来自所述多个图像的第二图像中的像素组。
21.根据前述权利要求中任一项所述的方法，其中，确定一个或多个配准参数包括：
22.根据前述权利要求中任一项所述的方法，还包括：
23.根据前述权利要求中任一项所述的方法，其中，所述目标区域包括灌注器官，优选地由体液灌注，更优选地由血液和/或淋巴液灌注，和/或包括一个或多个血管和/或淋巴管，所述方法还包括：
24.根据前述权利要求中任一项所述的方法，还包括显示所述组合散斑对比图像或从其导出的图像。
25.一种用于成像装置的硬件模块，所述成像装置优选地是医学成像装置，包括：
26.根据权利要求25所述的硬件模块，还包括：
27.根据权利要求25或26所述的硬件模块，还包括：
28.根据权利要求25-27中任一项所述的硬件模块，其中，所述处理器还被配置为执行根据权利要求2-24中任一项所述的方法步骤中的任一个。
29.一种医学成像装置，包括根据权利要求25-27中任一项所述的硬件模块，所述装置优选地是以下之一：内窥镜、腹腔镜、手术机器人、手持式激光散斑对比成像装置或开放式手术激光散斑对比成像系统。
30.一种用于激光散斑成像系统的计算模块，包括计算机可读存储介质和处理器，所述计算机可读存储介质具有嵌入其中的程序的至少一部分，所述处理器耦合到所述计算机可读存储介质，所述处理器优选地是微处理器，更优选地是图形处理单元，其中，响应于执行计算机可读存储代码，所述处理器被配置为执行可执行操作，所述可执行操作包括：
31.根据权利要求30所述的计算模块，
32.根据权利要求30或31所述的计算模块，其中，所述可执行操作还包括根据权利要求2-24中任一项所述的方法步骤中的任一个。
33.一种计算机程序或计算机程序套件，包括至少一个软件代码部分或存储至少一个软件代码部分的计算机程序产品，所述软件代码部分在计算机系统上运行时被配置用于执行根据权利要求1-24中任一项所述的方法步骤。
