本发明涉及医学图像处理，具体涉及一种基于多模态图像的眼底黄斑裂孔边界检测方法。
背景技术：
1、黄斑裂孔(macular hole,mh)是指黄斑的神经上皮层的局限性全层缺损，根据发病原因可分为特发性和继发性黄斑裂孔，前者病因不明，后者多继发于眼外伤、黄斑变性、高度近视等疾病。特发性全层黄斑裂孔(idiopathic full thickness macular hole,iftmh)是黄斑中心凹从内界膜到视网膜色素上皮层的视网膜全层缺失，是眼科临床较为常见的眼底病之一，该疾病症状主要表现为患者视力下降、视物变形、中央暗点、视野缺损，对患者生活质量有极其严重的影响。玻璃体切除联合内界膜剥除术是治疗黄斑裂孔的手术方式，mh术后解剖闭合率可达90％以上，但是其术后视力恢复仍因人而异。
2、临床医生通过oct(optical coherence tomography,oct)扫描的方式测量黄斑裂孔的大小。如图1所示为德国海德堡oct眼底检查设备采集的图像，左侧为红外(infraredradiation,ir)图像，右侧为oct b-scan图像。采集过程中，首先在ir图像上确定黄斑裂孔中心位置，然后通过环扫得到一系列oct b-scan图像，该图像是黄斑裂孔的剖面图，可以表达黄斑裂孔的形态和尺寸信息，是临床诊断以及评估黄斑裂孔术后恢复情况的重要依据。
3、在内界膜剥除手术中，对黄斑裂孔边界的实时检测可以辅助医生定位裂孔位置。然而，目前尚未有在黄斑裂孔手术过程中实时定位黄斑裂孔边界的相关研究，也没有跨模态检测黄斑裂孔边界的相关研究。
4、2023年，一种中浆病灶区域检测的方法被提出，该方法首先计算出每条环扫线两端的端点坐标，构造出每条环扫线的直线方程，然后根据octb-scan图像尺寸与对应环扫线长度的比例关系，将octb-scan图像中检测到的中浆病灶区域边界点映射到对应的环扫线上，从而得到中浆病灶区域的边界。但是该方法存在以下不足：(1)环扫图像中存在不完整的扫描线时该方法无法应用。扫描线缺失任意端点时，oct b-scan图像中检测到的中浆病灶区域边界点无法正确投影。(2)算法较为复杂。该算法需要对每条扫描线和对应的oct b-scan图像进行映射运算，运算过程中易引入定位误差。
技术实现思路
1、为此，本发明围绕黄斑裂孔术中精准治疗目标和上述方案的不足，提出一种基于多模态图像的眼底黄斑裂孔边界检测方法，将在oct b-scan图像上检测到的黄斑裂孔边缘最高点坐标映射到i r图像上，在i r图像上显示黄斑裂孔的边界。本发明提出的方法首先检测黄斑裂孔的环扫中心，再得到竖直扫描线的端点位置，根据环扫线长度和oct b-scan图像尺寸的比例关系，将所有oct b-scan图像上检测到的黄斑裂孔边缘最高点坐标映射到竖直扫描线上，然后按照对应扫描线的角度将映射后的坐标进行旋转，从而得到黄斑裂孔的边界。该方法具有以下优势：1)由于图像采集过程中竖直扫描线一般是完整的，部分扫描线长度不完整时该方法不受限制。2)算法简单。本方法无需对每条扫描线进行定位，而是将oct b-scan图像上黄斑裂孔边缘的最高点全部映射到竖直扫描线上，通过旋转操作获得映射后的边界。由于本方法计算较为简单，避免了先计算扫描线端点坐标的开方运算带来的误差。
2、具体如下：一种基于多模态图像的眼底黄斑裂孔边界检测方法，包括：
3、数据准备，将原始图像拆分为i r图像和oct b-scan图像；
4、中心定位，通过面向i r图像的环扫中心点定位算法，检测出环扫线并确定环扫中心的位置；
5、跨模态映射，通过关键点检测的方法获得了oct b-scan图像上黄斑裂孔边缘最高点的坐标，再通过跨模态映射算法将oct b-scan图像上黄斑裂孔边缘最高点映射到i r图像；本发明采用的关键点检测的方法是yolov8算法。
6、边界拟合，经过跨模态映射算法处理后，i r图像上所有扫描线对应的oct b-scan图像上的黄斑裂孔边缘最高点都会正确的映射到i r图像上，将这些点以直线连接起来，即可在i r图像上看到黄斑裂孔的边界。
7、优选的，将ir图像和oct b-scan图像拆开，并按对应关系命名拆分后的图片，将红外图像命名为ir1～ir12，对应的oct b-scan图像命名为oct1～o ct12。ir图像中，带箭头的绿色直线表明12条环扫线的位置，高亮绿色表示当前oct b-scan图像对应的环扫线，直线从箭尾到箭头方向对应的octb-sc an图像扫描方向从左到右。未经拆分的图像分辨率是1264*596，拆分后，ir图像分辨率为496*496，oct b-scan图像分辨率为750*496，单位均为像素。图像拆分公式如下:
8、
9、其中i(x,y)代表待拆分图像的像素的坐标，iir代表属于ir图像的像素坐标，ioct代表属于octb-scan图像的像素坐标，经过拆分操作，能够将oct扫描设备采集的图像拆分为ir图像和octb-scan图像，并将其一一对应。
10、欲将octb-scan图像中黄斑裂孔边缘最高点映射到ir图像中，需要分别在两个模态下建立坐标系，找到其对应的比例关系，使得octb-scan图像上的任意一点都可以在ir图像上找到对应的点。ir图像上的高亮绿色扫描线，从箭尾到箭头方向对应的octb-scan图像扫描方向从左到右，即扫描线的起始点对应octb-scan图像第1列像素，扫描线的终点对应octb-scan图像的最后1列像素。ir图像中，所有扫描线均为绿色且相交于环扫中心。因此，本发明提出一种面向ir图像的环扫中心点定位算法。首先转换颜色空间、创建掩模，然后通过边缘检测算法找到所有绿色环扫线，再通过霍夫变换找到环扫中心，具体步骤如下：
11、a、ir图像中，眼底血管的形态会在边缘检测时中引入多余的干扰。通过转换颜色空间、创建掩模，保证在环扫线检测步骤中只检测呈现为绿色的边缘，，为后续研究奠定基础；
12、b、选取canny算法进行环扫线检测；canny算法是目前最优秀的常用的边缘检测算法之一，该算法不容易受到噪声的影响，能够识别图像中的强边缘和弱边缘，在边缘检测应用中发挥了重要作用，包括以下步骤：
13、b1、图像降噪：使用高斯滤波平滑图像，使用如下公式(2)的5*5的高斯滤波器；
14、
15、b2、计算图像梯度：计算图像中每个像素灰度值的梯度方向和幅值，以检测可能的图像边缘；具体为：通过sobe l算子分别检测图像x方向和y方向的边缘，再利用公式(3)和公式(4)计算梯度的方向θ和幅值g，式中ix表示像素在x方向的灰度，iy表示像素在y方向的灰度；sobe l算子通过离散微分方法提取图像边缘；
16、
17、
18、b3、非极大值抑制：通过非极大值抑制算法可以消除边缘检测带来的杂散响应。灰度变化的区域通常比较集中，将局部范围内的梯度方向上，灰度梯度最大的像素保留下来，其它的不保留，可以剔除掉一大部分点，将有多个像素宽的边缘变成一个单像素宽的边缘；
19、b4、双阈值筛选：通过非极大值抑制后，仍然有很多可能的边缘点，应用双阈值法划分强边缘和弱边缘，保留灰度梯度大于高阈值的像素为强边缘，去除灰度梯度小于低阈值的像素，灰度梯度介于高、低阈值之间的像素被筛选为弱边缘。在弱边缘的邻域内搜索，如果存在强边缘则保留该弱边缘，如果不存在则删除弱边缘，完成边缘检测；
20、通过canny算法可以检测出所有环扫线，为后续检测环扫中心奠定基础；
21、c、环扫线检测完成后，通过霍夫变换将一系列的相交于环扫中心的扫描线转换到参数空间中，保证每条环扫线均被检测为直线，求得多条直线的交点，从而检测出环扫中心；霍夫变换是一种有效的图像处理技术，尤其适用于检测图像中的几何形状，如直线。它通过将图像中的点映射到参数空间(霍夫空间)，并在该空间中寻找峰值来确定几何形状的位置。霍夫变换对噪声和局部缺陷具有较高的鲁棒性。霍夫变换通过累加器在参数空间中寻找最可能的直线，即使图像中的直线不连续或被噪声污染，霍夫变换也能有效地检测出这些直线。并且，在参数空间中寻找直线交点的过程在数学上更简单和直接。
22、通过霍夫变换，计算直线的交点简化为求解线性方程组，而不是直接在图像空间中进行复杂的计算；
23、霍夫直线变换公式如下：
24、yi＝aix+bi (5)
25、bi＝-aix+yi (6)
26、公式(5)是直角坐标系下的第i条直线方程；公式(6)是将直角坐标系下的第i条直线方程转化为(霍夫空间)参数空间中的直线方程；
27、经过霍夫变换后，一条在x-y坐标系下的直线被转换为一个在a-b坐标系下的点；
28、霍夫直线检测的基本原理在于利用点与线的对偶性，图像空间中的直线与参数空间中的点是一一对应的，参数空间中的直线与图像空间中的点也是一一对应的。因此，霍夫直线检测方法把在图像空间中的直线检测问题转换到参数空间中对点的检测问题，通过在参数空间里寻找峰值来完成直线检测任务。经过霍夫变换，所有在x-y坐标系下的交于一点的直线，在参数空间中是一系列位于同一条直线上的点。在本发明中，经过霍夫变换后，一系列的相交于环扫中心的扫描线被转换为参数空间中多个共线的点。
29、在极坐标形式的参数空间中，每条直线表示如公式(7)所示:
30、ρi＝xcos(θi)+ysin(θi) (7)
31、其中，ρi,θi分别是极坐标系下的第i条直线的参数；ρi是距离参数，表示直线与原点的距离；θi是角度参数，是直线到原点的垂线与x轴正半部分的夹角；
32、利用公式(8)求出任意两条直线的交点坐标，再将得到的所有交点坐标求平均值以减少误差，得到交点的坐标(x0,y0)，此坐标就是环扫中心的坐标；公式(8)中各参数的意义与公式(7)一样。
33、
34、优选的，跨模态映射算法包括以下步骤：
35、d、坐标预处理：将oct b-scan图像中黄斑裂孔边缘左侧、右侧最高点的横坐标按如下形式储存为数组：
36、(i,x_lefti,x_righti)(9)
37、其中，i指的是扫描线次序，定义竖直扫描线为第1条扫描线，顺时针旋转15度得到第2条扫描线，以此类推；x_lefti,x_righti分别指第i条扫描线对应的oct b-scan图像中黄斑裂孔边缘左侧、右侧最高点的横坐标；
38、e、跨模态映射：ir图像上所有扫描线相交于同一个点即环扫中心，环扫中心记为o点，坐标为(x0,y0)；由于部分扫描线存在两端不完整的情况，而环扫中心一定在ir图像上，故本方法采用的映射算法以中心点为基准，跨模态映射的算法流程如下：
39、e1、计算比例关系：计算两个最高点的横坐标与oct b-scan图像宽度的比例，即：
40、
41、其中ratio_lefti，ratio_righti分别表示第i条扫描线上的黄斑裂孔边缘的左侧、右侧最高点横坐标相对于oct b-scan图像宽度归一化后的结果，x_lefti，x_righti分别代表第i条扫描线上的黄斑裂孔边缘的左侧、右侧最高点横坐标的值，oct_width代表oct b-scan图像的宽度，在本发明中该值为750像素。
42、e2、计算扫描线的长度：由于所有扫描线的长度均一样，且扫描线的中点交于同一点，即中心点，故只要有一条扫描线的一个端点能确定，就能够获得所有扫描线的长度。前述步骤中已经通过霍夫变换检测出所有环扫线和环扫中心(x0,y0)，本步骤根据竖直扫描线的端点到环扫中心在y方向的距离计算扫描线的长度，采用公式(11)计算竖直扫描线的长度：
43、l＝2*(ytop-y0) (11)
44、其中，l是扫描线的长度，ytop是竖直扫描线最高点像素的纵坐标，y0是中心点的纵坐标；传统算法求解扫描线长度时使用公式(12)：
45、
46、其中xi1,xi2,yi1,yi2分别是第i条扫描线的起点1和终点2的横、纵坐标；
47、相比于传统算法，本步骤按照公式(11)求解扫描线长度时，不使用开方运算，减小了由此带来的误差，且由于每条扫描线的长度一样，故只需求一条扫描线的长度即可，在运算方面具有极大的便利性。
48、e3、竖直映射：根据步骤e1计算的比例关系，将oct b-scan图像上的黄斑裂孔边缘的最高点映射到i r图像的竖直扫描线上，使用公式(13)：
49、
50、其中，x0,y0表示环扫中心点的横、纵坐标；xoct_left_i,xoct_right_i分别是第i条扫描线对应的oct b-scan图像上的黄斑裂孔边缘的左侧和右侧最高点的横坐标映射至ir图像的竖直扫描线上对应点的横坐标，其值与x0相同；yoct_left_i,yoct_right_i分别是第i条扫描线对应的oct b-scan图像上的黄斑裂孔边缘的左侧和右侧最高点映射至ir图像的竖直扫描线上对应点的纵坐标；l是扫描线的长度；本步骤将所有oct b-scan图像上黄斑裂孔边缘的最高点映射到竖直扫描线上；
51、f、旋转：前述步骤已经将所有oct b-scan图像上黄斑裂孔边缘的最高点映射到竖直扫描线上，本步骤需要将映射到竖直扫描线上的点旋转到对应角度的扫描线上；第i条扫描线对应的oct b-scan图像上的黄斑裂孔边缘的左侧和右侧最高点，经前述步骤后，得到了在ir图像上的竖直扫描线的横、纵坐标，形式如公式(14)所示：
52、(i,xoct_left_i,yoct_left_i,xoct_right_i,yoct_right_i)(14)
53、其中，i是第i条扫描线，xoct_left_i,yoct_left_i是黄斑裂孔左侧最高点映射至ir图像的竖直扫描线后对应点的横、纵坐标；xoct_right_i,yoct_right_i是黄斑裂孔右侧最高点映射至ir图像的竖直扫描线后对应点的横、纵坐标；
54、根据公式(15)的旋转角度，将映射在竖直扫描线上的点绕环扫中心o点(x0,y0)旋转，使得每条扫描线对应的oct b-scan图像上黄斑裂孔边缘最高点从竖直扫描线旋转至对应的扫描线上；
55、θi＝(i-1)*180/n (15)
56、公式(15)中，θi是第i条扫描线需要绕环扫中心o点旋转的角度，n是扫描线的总数；
57、按公式(16)对映射在竖直扫描线上的点进行旋转操作，使点落到对应角度的扫描线上；
58、
59、其中，x′,y′是旋转后的点的横、纵坐标，x,y是旋转前的点的横、纵坐标，x0,y0是旋转中心的横、纵坐标，θ是旋转的角度；
60、根据公式(16)，让坐标为(x,y)的点绕旋转中心(x0,y0)旋转顺时针旋转θ度。
61、本发明具有如下优点：
62、在应用方面，本发明实现了将oct b-scan图像上黄斑裂孔边缘最高点坐标映射到i r图像上，在i r图像上显示黄斑裂孔的边界。本发明旨在弥补现有眼底病灶区域检测方案在黄斑裂孔边界检测方面的不足，辅助眼科医生快速准确地定位黄斑裂孔边界，促进眼底黄斑裂孔的精准医疗。
63、在算法方面，本发明具有以下优势：
64、1、该方法弥补了已有的映射方法在扫描线存在缺失时无法使用的不足；设备采集到的图像存在部分扫描线不完整的情况时，该方法依然可以正常应用；
65、2、算法简单：该方法无需对每条扫描线进行定位，而是将oct b-scan图像上黄斑裂孔边缘的最高点全部映射到i r图像的竖直扫描线上，通过旋转操作获得映射后的边界。由于本方法计算较为简单，避免了先计算扫描线端点坐标的开方运算带来的误差。
66、3、该方法的核心在于检测环扫中心点而非环扫线端点，极大地减少了运算复杂程度，仅需修改环扫线数量参数即可应用于不同扫描线数量时的情况，算法具有很好的鲁棒性和通用性。
1.一种基于多模态图像的眼底黄斑裂孔边界检测方法，其特征在于：包括：
2.根据权利要求1所述的一种基于多模态图像的眼底黄斑裂孔边界检测方法，其特征在于：面向ir图像的环扫中心点定位算法首先转换颜色空间、创建掩模，然后通过边缘检测算法找到所有绿色环扫线，再通过霍夫变换找到环扫中心，具体步骤如下：
3.根据权利要求1所述的一种基于多模态图像的眼底黄斑裂孔边界检测方法，其特征在于：跨模态映射算法包括以下步骤：
