本发明涉及计算机视觉领域,特别涉及一种特征匹配方法、装置、设备及介质。
背景技术:
1、特征匹配在计算机视觉领域中占据着重要地位,其核心任务是通过比较图像中的局部特征点,实现不同图像或图像序列间的对应关系。特征匹配技术广泛应用于多个场景,包括图像拼接、物体识别、三维重建以及立体视觉等。在特征匹配的研究中,现有方法主要可以分为两大类:传统算法和基于深度学习的方法。
2、其中,传统特征匹配方法依赖于手工设计的特征提取算法,通常包括基于局部特征描述符和基于全局图像特征的两种类型,但是,由于真实世界的场景十分复杂,传统算法并不能很好的胜任这项任务。基于深度学习的方法主要可以分为基于特征点的方法、基于描述符的方法、基于图匹配的方法和多尺度特征匹配方法,然而这些方法都是在空间域上对图像特征提取以及后续的匹配,这样难以充分利用图像的特征,例如频域特征。
3、频域特征是图像中的信息在频域空间中的表现,通过对图像进行傅里叶变换,可以将原本在空间域中的图像数据转换为频域数据。在频域中,图像的不同频率成分可以反映不同的图像特性,高频成分通常对应图像中的边缘、细节等剧烈变化的部分,低频成分则反映了图像中的整体结构、平滑区域等较为缓慢变化的部分。因此,频域特征不仅可以表征图像的局部细节,还能够捕捉到全局的结构信息。然而现有的方法没有充分利用图像的频域特征,而是直接使用空间域的特征进行粗粒度的特征匹配,因此在某些复杂的环境下,特征匹配的准确率往往不够,同时也存在鲁棒性差、计算开销大的问题。
4、综上,如何充分利用图像的频域特征和空间域特征,以提高特征匹配的准确度是目前有待解决的问题。
技术实现思路
1、有鉴于此,本发明的目的在于提供一种特征匹配方法、装置、设备及介质,能够充分利用图像的频域特征和空间域特征,以提高特征匹配的准确度。其具体方案如下:
2、第一方面,本技术公开了一种特征匹配方法,包括:
3、获取待匹配的图像对;其中,所述图像对包括第一图像和第二图像;
4、对所述图像对中的每一图像提取关键点和特征描述子,并将基于所述关键点计算得到的位置编码与所述特征描述子进行融合得到第一描述子;
5、对所述第一描述子进行线性变换,并利用基于线性变换结果计算得到的频域注意力权重对所述第一描述子进行频域信息加权得到第二描述子;
6、对所述第二描述子进行通道划分得到若干分支,并对每一分支提取空间域特征,以及对各分支的所述空间域特征进行融合得到第三描述子;
7、基于所述第一图像对应的第三描述子和所述第二图像对应的第三描述子计算匹配概率矩阵,以从所述匹配概率矩阵中确定出最佳匹配点。
8、可选的,所述对所述图像对中的每一图像提取关键点和特征描述子,并将基于所述关键点计算得到的位置编码与所述特征描述子进行融合得到第一描述子,包括:
9、对所述图像对中的每一图像进行灰度变换,得到对应的灰度图像;
10、利用特征检测算法提取每一所述灰度图像的关键点和特征描述子,并获取各所述关键点的置信度;
11、对所述关键点和所述置信度对应的维度进行拼接,并将拼接结果输入至预设的多层前馈网络以计算位置编码;
12、将所述位置编码融合至所述特征描述子得到第一描述子。
13、可选的,所述对所述第一描述子进行线性变换,并利用基于线性变换结果计算得到的频域注意力权重对所述第一描述子进行频域信息加权得到第二描述子,包括:
14、利用预先定义的线性变换矩阵对所述第一描述子进行线性变换得到查询向量、键向量和值向量;
15、分别利用高通滤波器和低通滤波器对所述查询向量进行分解得到对应的高频特征和低频特征,并融合所述高频特征和所述低频特征得到频域总特征;
16、基于所述频域总特征和所述键向量计算频率注意力得分,并将所述频率注意力得分转换为频域注意力权重;
17、利用所述频域注意力权重与所述值向量得到频域信息加权后的第二描述子。
18、可选的,所述分别利用高通滤波器和低通滤波器对所述查询向量进行分解得到对应的高频特征和低频特征,包括:
19、利用不同尺寸的高通滤波卷积核对所述查询向量进行高通滤波得到对应的高频分量,并对各所述高频分量进行融合得到高频特征;
20、利用不同尺寸的平均池化函数对所述查询向量进行低通滤波得到对应的低频分量,并对各所述低频分量进行双线性插值以及对插值后的各所述低频分量进行融合得到低频特征。
21、可选的,所述对所述第二描述子进行通道划分得到若干分支,并对每一分支提取空间域特征,包括:
22、将所述第二描述子基于通道维度平均划分为若干分支,并按照预设编号顺序对每一分支进行编号;
23、基于编号结果为每一分支分配不同尺寸的目标卷积核,并基于预设特征提取规则分别在每个分支上利用对应的目标卷积核提取空间域特征;
24、其中,所述预设特征提取规则包括利用当前编号对应的目标卷积核对当前编号对应分支和上一编号对应的空间域特征进行特征提取得到所述当前编号对应分支的空间域特征的规则。
25、可选的,所述基于所述第一图像对应的第三描述子和所述第二图像对应的第三描述子计算匹配概率矩阵,包括:
26、对所述第一图像对应的第三描述子进行归一化处理得到第一处理结果;
27、对所述第二图像对应的第三描述子进行归一化处理得到第二处理结果;
28、基于所述第一处理结果和所述第二处理结果得到目标相关性矩阵,并利用预设激活函数对所述目标相关性矩阵进行预设次数运算得到匹配概率矩阵。
29、可选的,所述从所述匹配概率矩阵中确定出最佳匹配点,包括:
30、从所述匹配概率矩阵中确定出每一行和每一列的最大值;
31、基于每一行和每一列的最大值确定最佳匹配点。
32、第二方面,本技术公开了一种特征匹配装置,包括:
33、图像获取模块,用于获取待匹配的图像对;其中,所述图像对包括第一图像和第二图像;
34、特征提取模块,用于对所述图像对中的每一图像提取关键点和特征描述子,并将基于所述关键点计算得到的位置编码与所述特征描述子进行融合得到第一描述子;
35、频域加权模块,用于对所述第一描述子进行线性变换,并利用基于线性变换结果计算得到的频域注意力权重对所述第一描述子进行频域信息加权得到第二描述子;
36、空间域融合模块,用于对所述第二描述子进行通道划分得到若干分支,并对每一分支提取空间域特征,以及对各分支的所述空间域特征进行融合得到第三描述子;
37、最佳匹配点确定模块,用于基于所述第一图像对应的第三描述子和所述第二图像对应的第三描述子计算匹配概率矩阵,以从所述匹配概率矩阵中确定出最佳匹配点。
38、第三方面,本技术公开了一种电子设备,包括:
39、存储器,用于保存计算机程序;
40、处理器,用于执行所述计算机程序,以实现前述公开的特征匹配方法的步骤。
41、第四方面,本技术公开了一种计算机可读存储介质,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现前述公开的特征匹配方法的步骤。
42、可见,本技术通过获取待匹配的图像对;其中,所述图像对包括第一图像和第二图像;对所述图像对中的每一图像提取关键点和特征描述子,并将基于所述关键点计算得到的位置编码与所述特征描述子进行融合得到第一描述子;对所述第一描述子进行线性变换,并利用基于线性变换结果计算得到的频域注意力权重对所述第一描述子进行频域信息加权得到第二描述子;对所述第二描述子进行通道划分得到若干分支,并对每一分支提取空间域特征,以及对各分支的所述空间域特征进行融合得到第三描述子;基于所述第一图像对应的第三描述子和所述第二图像对应的第三描述子计算匹配概率矩阵,以从所述匹配概率矩阵中确定出最佳匹配点。
43、有益效果:本技术在获取到待匹配的图像对后,首先需要对图像对中的每一图像提取关键点和特征描述子,并将基于关键点计算得到的位置编码与特征描述子进行融合得到第一描述子;其中,图像对中包括待匹配的第一图像和第二图像。进一步的,本技术需要对第一描述子进行线性变换,并基于线性变换结果计算得到的频域注意力权重对第一描述子进行频域信息加权得到第二描述子,也即,本技术需要利用线性变换结果对第一描述子进行频域信息加权,从而充分利用图像的频域特征。接着对频域加权后的第二描述子进行通道划分得到若干分支,并对每一分支提取空间域特征,以及对各分支的空间域特征进行融合得到第三描述子。如此一来,第三描述子既包括图像的频域特征又包括图像的空间域特征,最后再通过对第一图像对应的第三描述子和第二图像对应的第三描述子计算得到的匹配概率矩,来确定出最佳匹配点。因此本技术可以实现自适应的融合空间域特征和频域特征,从而利用这些特征进行鲁棒的特征匹配,提高特征匹配的准确度。
1.一种特征匹配方法,其特征在于,包括:
2.根据权利要求1所述的特征匹配方法,其特征在于,所述对所述图像对中的每一图像提取关键点和特征描述子,并将基于所述关键点计算得到的位置编码与所述特征描述子进行融合得到第一描述子,包括:
3.根据权利要求1所述的特征匹配方法,其特征在于,所述对所述第一描述子进行线性变换,并利用基于线性变换结果计算得到的频域注意力权重对所述第一描述子进行频域信息加权得到第二描述子,包括:
4.根据权利要求3所述的特征匹配方法,其特征在于,所述分别利用高通滤波器和低通滤波器对所述查询向量进行分解得到对应的高频特征和低频特征,包括:
5.根据权利要求1所述的特征匹配方法,其特征在于,所述对所述第二描述子进行通道划分得到若干分支,并对每一分支提取空间域特征,包括:
6.根据权利要求1所述的特征匹配方法,其特征在于,所述基于所述第一图像对应的第三描述子和所述第二图像对应的第三描述子计算匹配概率矩阵,包括:
7.根据权利要求1至6任一项所述的特征匹配方法,其特征在于,所述从所述匹配概率矩阵中确定出最佳匹配点,包括:
8.一种特征匹配装置,其特征在于,包括:
9.一种电子设备,其特征在于,包括:
10.一种计算机可读存储介质,其特征在于,用于存储计算机程序;其中,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的特征匹配方法的步骤。
