本发明涉及图像处理，具体涉及一种多模态图像特征匹配的方法及装置。
背景技术：
1、近年来，出现了许多的无检测器图像匹配框架，并且都表现出了不错的性能，在架构和方法设计时也都考虑到之前的匹配方法在诸如具有物体尺度变化、较差的纹理、重复图案、视点变化、照明变化和运动模糊等复杂场景下的糟糕表现，并且已经通过一些方法和技巧有效地提升了图像匹配方法在复杂场景下的表现。但是这些方法往往都会有顾此失彼的缺陷，例如提升了效率就会导致准确率的降低，提升了准确率却又付出了高昂的计算成本的代价，这是目前的无检测器普遍存在的问题。
2、传统的基于特征检测器的图像匹配方法，在复杂场景下尤其是在室内环境中的由于纹理太少、图像模式重复、照明变化等无法提取足够的关键点的情况以及即使没有采集到重复的关键点，得到了完美的描述符，也难以找到图像对中正确的对应关系；最近提出的一些无检测器(detector-free)中使用的卷积神经网络(cnn)提取的密集特征仅能在于有限的接受域，无法处理纹理较少(模糊)区域；基于关键点匹配的方案在低纹理图像中进行匹配的时候常常失效；现行的密集匹配方法的效率受限于匹配数量，但是使用简化的线性注意力(linear attention)又会导致错误的注意力扩散区域。
技术实现思路
1、针对上述问题，本发明提供了一种多模态图像特征匹配的方法及装置，来解决目前多模态图像的特征匹配需要耗费大量训练资源的问题，并提升了匹配的精度和效率。
2、为实现上述目的，本发明的技术方案如下：
3、一种多模态图像特征匹配的方法，具体步骤如下：
4、s1、将多模态图像数据，通过特征编码器，生成1/8分辨率的粗级特征图和1/2分辨率的精细特征图两幅图像；
5、所述特征编码器为带有特征金字塔(fpn)标准卷积架构的卷积神经网络(cnn)，卷积神经网络(cnn)具有平移等方差和局部性的归纳偏差，适合于局部特征提取，卷积神经网络(cnn)引入的下采样也减少了输入长度，对于确保可管理的计算成本至关重要；
6、s2、将1/8分辨率的粗级特征图下采样到1/32分辨率特征图，并在1/32分辨率特征图上进行位置编码操作后恢复到1/8分辨率，具体包括以下步骤：
7、s2.1、将1/8分辨率的粗级特征图下采样到1/32分辨率，并为1/32分辨率特征图添加位置编码；
8、位置编码遵循局部图像特征匹配方法(loftr)中的相同方法，即不同频率的2d正弦信号用于编码位置信息并添加到初始特征；
9、s2.2、将添加位置编码的1/32分辨率特征图进行交叉注意力操作，提取出图像中潜在信息，进行信息增强；
10、s2.3、将增强后的特征图上采样恢复到1/8分辨率；
11、s3、将恢复到1/8分辨率的特征图进行混合注意力操作，具体包括以下步骤：
12、s3.1、第一阶段进行ssc型的混合注意力操作，其操作的堆叠顺序自注意力-自注意力-交叉注意力的顺序进行堆叠；
13、s3.2、第二阶段将ssc型的混合注意力操作进行scc型的混合注意力操作，scc型的混合注意力操作的堆叠顺序为自注意力-交叉注意力-交叉注意力；
14、自注意力和交叉注意力的混合堆叠，充分考虑了在不同尺度下对图像本身信息的关注同时以及图像对之间信息交互的先后顺序。这样的设计保证了每张图像既能充分收集自身的图像信息，同时保证能够充分获取另一张图像的关键信息。此外，残差链接的设置保证了初始特征图的信息不会丢失；
15、并且为了保持1/8分辨率的粗级特征图及初始信息，还设置了残差连接，将其保留到经过混合注意力操作过后的特征图中；
16、s4、使用渐进式的图像匹配策略，对1/8分辨率的粗级特征图和经过混合注意力操作的1/8分辨率的特征图进行匹配，并对匹配点进行提纯操作得到关键点，并通过关键点得到匹配结果，具体包括以下步骤：
17、s4.1、对1/8分辨率的粗级特征图和经过混合注意力操作的1/8分辨率进行第一次匹配，此时为粗匹配；
18、s4.2、粗匹配后的得到的匹配点会包含正样本和负样本，正样本表示更加符合模型参数的匹配点，负样本则是不符合模型参数的匹配点，通过筛出除负样本来进行提纯操作，得到关键点；
19、s4.3、基于提纯操作后得到的关键点，进行稀疏自注意力操作以及密集交叉注意力操作；
20、s4.4、将经过稀疏自注意力操作以及密集交叉注意力操作后的关键点再进行一次匹配，并去除负样本，得到匹配结果；
21、所述稀疏自注意(sparse-attention)，是在待匹配图像对中经过前述一系列操作后之一的图像上的提纯后的关键点进行自注意力，因为经过提纯后图像上的关键点显然是少于原1/8分辨率特征图上的像素数量，这样稀疏的关键点使得不用顾忌巨大的计算量从而能够使用标准的transformer进行查询信息向量的生成；
22、所述聚焦交叉注意(focused cross-attention)，是在基于关键点提纯后使用交叉注意力对粗级特征的进行进一步的信息提取，并让图像对之间产生关联。对于待匹配图像对中经过关键点提纯后的图像的粗略特征中的每个关键点，将其对应定位在待匹配图像对的另一图像中，随后，裁剪特定大小的图像局部作为关联程度强弱的判断；
23、s5、根据匹配结果，从1/8分辨率的粗级特征图和1/2分辨率的精细特征图裁剪大小相同的局部窗口，将匹配结果进行细化，得到最终精细级匹配结果，具体步骤如下：
24、s5.1、从1/8分辨率的粗级特征图得到匹配结果，在1/2分辨率的精细级特征图上定位关键点匹配结果的位置；
25、s5.2、在1/8分辨率的粗级特征图和1/2分辨率的精细级特征图上裁剪两组固定大小的局部窗口；
26、s5.3、对窗口内的裁剪特征进行变换，得到两个变换后的局部特征图；
27、s5.4、将得到两个变换后的局部特征图进行混合注意力操作，进行向量更新，将匹配结果进行细化，得到最终精细级匹配结果；
28、所述细化是将窗口内的裁剪特征进行变换，得到两个变换后的局部特征图，然后将待匹配图像对中之一的中心点与待匹配图像对中另一图像的所有点相关联，从而生成一个热图，该热图表示匹配概率。并以该匹配概率为基础计算概率分布上的期望，得到最终位置，收集所有的匹配生成最终的精细级匹配，具体步骤如下：
29、s5.4.1、将1/8分辨率的粗级特征图经过固定大小的局部窗口裁剪得到的局部特征图，与1/2分辨率的精细级特征图经过固定大小的局部窗口裁剪得到的局部特征图作为一组图像对，并将1/8分辨率的粗级特征图经过固定大小的局部窗口裁剪得到的局部特征图记为图a，将/2分辨率的精细级特征图经过固定大小的局部窗口裁剪得到的局部特征图记为图b；
30、s5.4.2、将图a的中心点与图b中所有点的关联，生成热图，所述热图表示匹配概率；
31、s5.4.3、以匹配概率为基础计算概率分布上的期望，收集所有的匹配生成的期望得到最终的精细级匹配。
32、一种多模态图像特征匹配的装置，包括：图像预处理模块、特征提取模块、匹配迭代模块、结果预测模块；
33、图像对首先进入图像预处理模块中将图像中潜在的信息进行提取；之后特征图将进入特征提取模块中，将图像中潜在的信息进一步进行提取；随后图像对将进入匹配迭代模块中，进行粗匹配、匹配点筛选并再次通过粗匹配得到更新后的匹配结果；最后进入结果预测模块，在这一模块将粗匹配的最终结果在细粒度图像上进行操作，得到最终精细级匹配结果。
34、所述图像预处理模块将送入的图像对通过特征提取器(cnn)进行特征提取，得到1/2、1/8两种不同尺度的特征图，然后针对1/8特征图再次进行快速初始化操作，使得该尺度的特征图能够包含更多信息，并且因为交叉注意力操作的原因还能够使图像对之间产生关联，之后送入特征提取模块进行处理；
35、所述特征提取模块通过特别设计的混合注意力将特征图中的潜在信息进一步进行提取，在第一阶段使用更关注本身的自注意力-自注意力-交叉注意力的ssc型的混合注意力操作进行特征提取，在第二阶段使用更关注彼此联系的自注意力-交叉注意力-交叉注意力的scc型混合注意力进行特征提取，并且通过残差连接，使得最终的特征图还包含原始信息，之后送入匹配迭代模块进行匹配操作；
36、所述匹配迭代模块在得到包含丰富信息的特征图后，基于初次粗匹配得到的结果进行关键点的筛选，之后再次进行第二次粗匹配并通过稀疏自注意力和密集交叉注意力进行调整和信息提取，为下一阶段的最终匹配结果预测提供可靠的关键点并提高效率；
37、所述结果预测模块通过上一阶段渐进式的匹配和关键点筛选，得到的关键点，基于这些关键点开始在1/2的细粒度特征图上进行定位并进行最终的结果预测。
38、本发明的有益效果
39、(1)传统方法中通常不会在通过特征提取器得到特征图后再对特征图进行初始化或其他操作。在本发明中通过快速连接(quick-link)初始化模块让经过cnn提取得到的特征图之间能够快速的产生关联。
40、(2)传统方法中对于自注意力和交叉注意力的设置基本是一致的，即进行一次自注意力后就进行一次交叉注意力操作。在本发明中通过模拟人类观察图像对之间由浅入深的行为规律，设计了信息增强和信息交互模块，通过精细设计的自注意力和交叉注意力堆叠而成的混合注意力模块增强图像潜在信息并在图像对之间产生交互，实现良好的多尺度信息增强和信息交互，最终得到包含丰富图像信息的图像特征。
41、(3)在传统方法中，对于粗匹配结果不再进行筛选或其他提高匹配结果可靠程度的操作。在本发明中通过关键点提纯(key-point refine)操作，将粗略匹配得到的匹配点进一步提纯得到可靠的关键点，并针对稀疏的关键点能够进行稀疏自注意力和聚焦的标准交叉注意力操作。为最终的精细匹配提供可靠的关键点以及增强特征图的同时还能有效的提高效率和准确率。
42、(4)提出一种新的无检测器图像匹配方法，并且在单应性估计上最终效果均超过90％，远超其他传统方法。与传统方法相比，提高了效率和准确率。
43、本发明通过在海量图像数据上进行训练，并在特定的任务上进行微调。在不需要进行大规模训练的情况下，在困难条件下实现高效且准确的图像匹配工作。解决了目前多模态图像的特征匹配需要耗费大量训练资源的问题，并提升了匹配的精度和效率。本发明改变了传统方法对于初始特征图的单一操作，使得初始特征图能够包含更多丰富信息，改变了传统的注意力操作设置方式，使其更加贴近人类的行为规范，通过关键点提纯操作进一步提高了图像匹配的效率和准确程度。
1.一种多模态图像特征匹配的方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种多模态图像特征匹配的方法，其特征在于：所述将1/8分辨率的粗级特征图下采样到1/32分辨率特征图，并在1/32分辨率特征图上进行位置编码操作后恢复到1/8分辨率的具体步骤如下：
3.根据权利要求1所述的一种多模态图像特征匹配的方法，其特征在于：所述混合注意力操作包括以下步骤：
4.根据权利要求1所述的一种多模态图像特征匹配的方法，其特征在于：所述使用渐进式的图像匹配策略，对1/8分辨率的粗级特征图和经过混合注意力操作的1/8分辨率特征图进行匹配，并对匹配点进行提纯操作得到关键点，并通过关键点得到匹配结果的具体步骤如下：
5.根据权利要求1所述的一种多模态图像特征匹配的方法，其特征在于：所述根据匹配结果，从1/8分辨率的粗级特征图和1/2分辨率的精细特征图裁剪大小相同的局部窗口，将匹配结果进行细化，得到最终匹配结果的具体步骤如下：
6.根据权利要求5所述的一种多模态图像特征匹配的方法，其特征在于：所述将匹配结果进行细化，得到最终精细级匹配结果的具体步骤如下：
7.一种多模态图像特征匹配的装置，包括：图像预处理模块、特征提取模块、匹配迭代模块、结果预测模块；
8.根据权利要求7所述的一种多模态图像特征匹配的装置，其特征在于：所述图像预处理模块包括：特征编码器和快速初始化模块，将送入的图像进行特征提取，得到1/8分辨率的粗级特征图和1/2分辨率的精细级特征图两种不同尺度的特征图；
