本发明属于图像处理，具体涉及一种基于特征匹配的无人机搜救图像融合方法和装置。
背景技术：
1、无人机在复杂搜救场景下，需要借助算法自动识别图像中的人员，以提升救援工作的效率。在图像识别和神经网络模型的应用中，基于深度学习的传统目标识别算法占据了重要地位。其中，yolov5作为一种先进的实时目标检测算法，因其高效性和准确性而备受青睐，其通常由特征提取层、特征匹配层和预测层三部分组成。特征提取层负责从输入图像中提取有用的特征信息；特征匹配层则利用这些特征信息进行目标物体的匹配和识别；预测层则根据匹配结果输出目标物体的位置、类别和置信度等信息。然而，尽管yolov5等深度学习算法在目标识别方面取得了显著成果，但它们在网络结构和参数设置上仍存在差异，这导致了算法性能和适用场景的不同。此外，深度学习算法通常需要大量的数据集和精确的标注来训练模型，以便模型能够学习到有用的特征并进行准确的分类。但在实际救援任务中，由于情况复杂、时间紧迫，往往难以获取足够数量和质量的训练数据，这限制了深度学习算法在搜救领域的应用。
2、特征匹配是近年来计算机视觉领域最为瞩目的方向之一，其目标是在不同图像之间建立准确的对应关系，这对于视觉定位、目标跟踪等应用至关重要。然而，在实际应用中，由于存在匹配各种噪声（如尺度变化、视点和光照变化、重复模式及纹理不佳），实现精确的点匹配仍然极具挑战性。在搜救任务中，被救援人员可能因受伤、被困或恐慌等原因而无法保持静止或处于明显的位置。此外，废墟、植被等障碍物也可能遮挡被救援人员的视线或身体部分，使得传统的图像识别算法难以准确检测到他们的存在。在这种情况下，即使使用先进的深度学习算法，也可能因为缺乏足够的特征信息而无法进行精确的目标检测。
3、因此，如何进一步提高在有遮挡、动作变形等复杂情形下的人员搜救的准确性和高效性是一个亟待解决的问题。
技术实现思路
1、鉴于上述，本发明的目的是提供一种基于特征匹配的无人机搜救图像融合方法和装置，通过改进的特征匹配融合框架，通过对特征图和热力图进行特征匹配并将特征匹配问题转化为能量最小化问题，并结合空间注意力和通道注意力对特征图和热力图进行特征重构，最终将特征匹配结果和特征重构结果融合得到具备精确定位且带有救援目标显著特征的生成图像，能够应用于无人机搜救等场景，为参与搜救的单位提供直观的参考，有助于对目标人员进行更高效和精准的搜寻。
2、为实现上述发明目的，本发明提供的技术方案如下：
3、本发明实施例提供的一种基于特征匹配的无人机搜救图像融合方法，包括以下步骤：
4、对获取的rgb图像和红外图像分别进行预处理得到特征图和热力图；
5、将特征图和热力图分别转化为特征图图形模型和热力图图形模型，在每种图形模型中，以节点表示图像区域，并按照不同图像区域的大小划分为多个区域尺度层次，以有向边和无向边分别构建不同层次间节点间的包含关系和同一层次内节点间的邻接关系；
6、将特征图图形模型和热力图图形模型通过基于图像区域的马尔可夫随机场更新无向边，通过基于图像区域的贝叶斯网络更新有向边，得到更新后的特征图图形模型和热力图图形模型，利用孪生网络计算更新后的两种图形模型间所有匹配区域间的相似度，基于匹配区域间的相似度通过全局能量最小化得到最佳区域匹配结果，基于最佳区域匹配结果将特征图和热力图进行融合得到第一融合图像；
7、对特征图和热力图分别提取图像特征和热力特征后通过空间注意力运算、通道注意力运算和特征重构得到重构特征图和重构热力图，将重构特征图和重构热力图进行融合得到第二融合图像；
8、将第一融合图像和第二融合图像合并为用于搜救的最终生成图像。
9、优选地，所述对获取的rgb图像和红外图像分别进行预处理得到特征图和热力图，包括：
10、对无人机机载相机拍摄的视频截取关键帧图像，关键帧图像包括同步拍摄的rgb图像和红外图像，对rgb图像通过u-net模型或sam模型分割得到特征图，对红外图像通过非均匀性校正方法处理得到热力图。
11、优选地，所述以节点表示图像区域，并按照不同图像区域的大小划分为多个区域尺度层次，包括：
12、对特征图或热力图通过sam模型划分区域和图补全生成区域，根据这些区域的大小划分为l个级别的区域尺度层次，每个区域尺度层次对应不同的图像尺度，在每种图形模型中用节点表示图像区域，从而使每种图形模型中的节点也对应划分为l个级别的层次。
13、优选地，所述将特征图图形模型和热力图图形模型通过基于图像区域的马尔可夫随机场更新无向边，包括：
14、将特征图图形模型和热力图图形模型中的所有边视为无向边并转化为无向图，为两种图形模型的无向图中所有节点引入随机变量以指示这些节点与源节点的匹配状态，通过最大化基于图像区域的马尔可夫随机场上的联合概率分布来进行区域匹配以更新无向边，计算公式为：
15、，
16、根据hammersley-clifford定理，基于图像区域的马尔可夫随机场定义的概率分布属于boltzmann分布，是负能量函数的指数，即，因此将区域匹配表示为能量最小化，计算公式为：
17、，
18、根据无向图的结构，将能量函数分为节点能量和边能量两个部分，计算公式为：
19、，
20、其中，为平衡项的参数，为无向图中所有邻居节点对的索引的集合，和分别为第 i个和第 j个节点对应的随机变量；
21、通过此步骤，无向图区域匹配问题被转化为能量最小化问题，并依据能量最小化结果反向迭代更新无向图的节点和无向边。
22、优选地，所述通过基于图像区域的贝叶斯网络更新有向边，包括：
23、仅考虑特征图图形模型和热力图图形模型中的有向边并转化为有向图，通过最大化基于图像区域的贝叶斯网络上的联合概率分布来进行区域匹配以更新有向边，与无向图的更新方法相同，通过将有向图区域匹配问题转化为能量最小化问题，并依据能量最小化结果反向迭代更新有向图的节点和有向边。
24、优选地，所述利用孪生网络计算更新后的两种图形模型间所有匹配区域间的相似度，包括：
25、将更新后的特征图图形模型输入孪生网络的第一分支，第一分支包括cnn模块、第一l1正则化模块和第一激活模块，最终第一激活模块输出更新后的特征图图形模型中每个区域的激活值；
26、将更新后的热力图图形模型输入孪生网络的第二分支，第二分支包括transformer模块、第二l1正则化模块和第二激活模块，最终第二激活模块输出更新后的热力图图形模型中每个区域的激活值；
27、根据两个分支得到的激活值进行相似度计算得到每个匹配区域间的相似度，计算公式为：
28、，
29、其中，为期望，和分别为特征图图形模型f中区域 m的激活值和热力图图形模型h中区域 m的激活值，和分别表示特征图图形模型f中的区域m对热力图图形模型h中的区域m的激活，最终得到两种图形模型间所有匹配区域间的相似度。
30、优选地，孪生网络还包括：在cnn模块和transformer模块之间通过特征耦合单元交流互信息，在第一l1正则化模块和第二l1正则化模块之间通过交叉注意力分享权重。
31、优选地，所述基于匹配区域间的相似度通过全局能量最小化得到最佳区域匹配结果，包括：
32、对每个候选节点计算全局匹配能量，计算公式为：
33、，
34、其中，为更新后的热力图图形模型h中的候选节点，为平衡项的权重，为配分函数；
35、是与和之间的匹配概率相关的能量：
36、，
37、其中，为更新后的特征图图形模型f中的源节点，为特征图图形模型f中源节点对应区域与热力图图形模型h中候选节点对应区域之间的相似度；
38、是与和的父节点对之间的匹配概率相关的能量：
39、，
40、其中，为热力图图形模型h中的父节点的索引集，为节点索引，为与热力图图形模型h中父节点对应区域之间的相似度；
41、与相同，是和的子节点对之间的匹配概率相关的能量，是和的邻居节点对之间的匹配概率相关的能量；
42、通过最小化找到最佳匹配区域对应的热力图图形模型h中的节点，最小化能量值的计算公式为：
43、，
44、若对应的全局匹配能量大于设定的阈值参数，则认为源区域节点没有匹配，反之则认为与匹配成功。
45、优选地，所述对特征图和热力图分别提取图像特征和热力特征后通过空间注意力运算、通道注意力运算和特征重构得到重构特征图和重构热力图，包括：
46、对特征图和热力图分别提取图像特征和热力特征，通过空间注意力运算得到图像特征和热力特征的公共空间注意力图，并将公共空间注意力图分别作为图像特征和热力特征的权重计算得到图像特征的空间注意力图和热力特征的空间注意力图；
47、对图像特征的空间注意力图和热力特征的空间注意力图，通过通道注意力运算分别得到图像特征的通道注意力图和热力特征的通道注意力图；
48、将图像特征的空间注意力图与图像特征的通道注意力图相乘得到重构特征图，将热力特征的空间注意力图与热力特征的通道注意力图相乘得到重构热力图。
49、为实现上述发明目的，本发明实施例还提供了一种基于特征匹配的无人机搜救图像融合装置，包括：图像预处理模块、图形模型构建模块、特征匹配融合模块、特征重构优化模块和搜救图像生成模块；
50、所述图像预处理模块用于对获取的rgb图像和红外图像分别进行预处理得到特征图和热力图；
51、所述图形模型构建模块用于将特征图和热力图分别转化为特征图图形模型和热力图图形模型，在每种图形模型中，以节点表示图像区域，并按照不同图像区域的大小划分为多个区域尺度层次，以有向边和无向边分别构建不同层次间节点间的包含关系和同一层次内节点间的邻接关系；
52、所述特征匹配融合模块用于将特征图图形模型和热力图图形模型通过基于图像区域的马尔可夫随机场更新无向边，通过基于图像区域的贝叶斯网络更新有向边，得到更新后的特征图图形模型和热力图图形模型，利用孪生网络计算更新后的两种图形模型间所有匹配区域间的相似度，基于匹配区域间的相似度通过全局能量最小化得到最佳区域匹配结果，基于最佳区域匹配结果将特征图和热力图进行融合得到第一融合图像；
53、所述特征重构优化模块用于对特征图和热力图分别提取图像特征和热力特征后通过空间注意运算、通道注意力运算和特征重构得到重构特征图和重构热力图，将重构特征图和重构热力图进行融合得到第二融合图像；
54、所述搜救图像生成模块用于将第一融合图像和第二融合图像合并为用于搜救的最终生成图像。
55、与现有技术相比，本发明具有的有益效果至少包括：
56、1）本发明将特征匹配应用于无人机搜救场景，由于实际救援任务中存在情况复杂，地形障碍遮挡的前提条件，因此，通过热力图与特征图融合处理后的数据对救援目标的检测有优越的帮助，能够更显著地显示出救援目标特征；2）本发明通过图的节点和边关系来模拟不同图像区域间的关系，构建为特征图图形模型和热力图图形模型，更好的处理了图像间的空间位置信息，并通过对图形模型进行变换，将匹配任务转化为能量最小化任务，降低了任务复杂度，提升了结果可信度；3）本发明通过将热力图和特征图通过空间注意力和通道注意力进行特征重构，能够优化层内跨模态特征，以更加关注每个模态中的显著内容，有效增强救援目标的显著特征；4）本发明通过对特征匹配的改进，也同样适用于安保工作、游戏娱乐、影视制作等领域。
1.一种基于特征匹配的无人机搜救图像融合方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于特征匹配的无人机搜救图像融合方法，其特征在于，所述对获取的rgb图像和红外图像分别进行预处理得到特征图和热力图，包括：
3.根据权利要求1所述的基于特征匹配的无人机搜救图像融合方法，其特征在于，所述以节点表示图像区域，并按照不同图像区域的大小划分为多个区域尺度层次，包括：
4.根据权利要求1所述的基于特征匹配的无人机搜救图像融合方法，其特征在于，所述将特征图图形模型和热力图图形模型通过基于图像区域的马尔可夫随机场更新无向边，包括：
5.根据权利要求4所述的基于特征匹配的无人机搜救图像融合方法，其特征在于，所述通过基于图像区域的贝叶斯网络更新有向边，包括：
6.根据权利要求1所述的基于特征匹配的无人机搜救图像融合方法，其特征在于，所述利用孪生网络计算更新后的两种图形模型间所有匹配区域间的相似度，包括：
7.根据权利要求6所述的基于特征匹配的无人机搜救图像融合方法，其特征在于，孪生网络还包括：在cnn模块和transformer模块之间通过特征耦合单元交流互信息，在第一l1正则化模块和第二l1正则化模块之间通过交叉注意力分享权重。
8.根据权利要求1所述的基于特征匹配的无人机搜救图像融合方法，其特征在于，所述基于匹配区域间的相似度通过全局能量最小化得到最佳区域匹配结果，包括：
9.根据权利要求1所述的基于特征匹配的无人机搜救图像融合方法，其特征在于，所述对特征图和热力图分别提取图像特征和热力特征后通过空间注意力运算、通道注意力运算和特征重构得到重构特征图和重构热力图，包括：
10.一种基于特征匹配的无人机搜救图像融合装置，采用权利要求1-9任一项所述的基于特征匹配的无人机搜救图像融合方法实现，其特征在于，包括：图像预处理模块、图形模型构建模块、特征匹配融合模块、特征重构优化模块和搜救图像生成模块；
