本发明涉及图像分析，特别涉及一种基于图像特征点裁剪区域重排列的图像匹配的方法。
背景技术：
1、图像特征点的寻找和描述在计算机视觉领域中具有重要意义。通过识别图像中的关键特征点，我们可以实现许多应用，如目标识别、图像配准和三维重建等。常见的手工提取方法包括harris角点检测、sift(尺度不变特征变换)和orb(oriented fast androtated brief)等。这些方法通过检测图像中的角点、边缘或斑点，并提取其局部特征描述符，使得图像能够在不同尺度、旋转和光照条件下保持稳定性。特征点的寻找和描述在计算机视觉中被广泛应用，例如在物体识别中，通过比较不同图像中的特征点来匹配物体，从而实现目标检测和识别；在图像拼接中，通过匹配图像中的特征点来实现图像的无缝拼接；在slam(simultaneous localization and mapping)中，通过提取图像中的特征点来实现机器人的定位和地图构建等。因此，图像特征点的准确描述对于实现各种计算机视觉任务都十分关键。
2、在图像匹配中，针对旋转和模糊的鲁棒性至关重要。旋转鲁棒性确保算法能够识别和匹配图像中旋转角度不同的相同物体，因为拍摄角度往往不可控，这在实际应用中尤为关键。模糊鲁棒性则确保算法在面对模糊或低清晰度图像时仍能准确匹配，这在低光照条件、运动模糊情况下尤为重要。具备旋转和模糊鲁棒性的图像匹配算法能够更稳定地处理多种场景，提升匹配准确性和可靠性，使其能更加广泛得应用于计算机视觉任务如目标检测、图像拼接和场景重建中。
3、但是传统手工特征点提取存在一定劣势。首先，需要手动设计特征提取器，难以适应不同场景和变化。其次，对于复杂图像，特征点可能不稳定或无法提取出有效信息。相比之下，神经网络的优势在于其能够自动学习图像中的抽象特征，无需手动设计特征提取器，避免了人为偏差。此外，深度学习模型能够通过大规模数据进行端到端的训练，适应各种复杂场景和变化，表现更为出色。因此，神经网络获取特征点在图像处理和计算机视觉中具有更广泛的应用前景。
技术实现思路
1、本发明解决了现有技术中存在的问题，提出了一种基于图像特征点裁剪区域重排列的图像匹配的方法，为基于改进的vision transformer网络模型的特征点描述方法。
2、本发明为特征点描述网络，所以使用sift(尺度不变特征变换)作为特征点寻找方法。采用sift作为特征点的位置获取模块。
3、本发明根据特征点为中心，通过裁剪得到特征点周围24*24像素的局部区域，作为特征描述的图像基础。因为在图像描述中使用特征点周围的局部区域而不是全图区域有多个优势。首先，局部区域描述能够更加准确地捕捉特征点周围的细节信息，而全图描述可能包含大量冗余信息，增加计算复杂度。其次，局部区域描述对图像的部分遮挡和背景变化更具鲁棒性，因为它只关注特定关键区域，不易受全图其他部分的干扰。
4、为了增强图像特征点的稳定性，本发明采取了一系列图像处理步骤。首先，本发明对输入的局部图像进行了旋转变换，以获得旋转后的裁剪图像。这个步骤有助于使得特征点在不同方向上的表现更加稳定。其次，对原始图像进行了高斯模糊处理，生成了一张模糊图像。减少噪声对特征点检测的影响，从而提高了特征点的稳定性。最后，将原始局部图像、旋转局部图像和模糊局部图像作为同源图像输入，以确保算法能够在不同条件下识别出稳定的特征点。通过这些处理步骤，我们可以更可靠地获取图像的特征点，并在后续的图像处理或计算任务中取得更好的效果。
5、vision transformer模型对transformer模型进行修改，将其应用到了图像分类中，因为transformer在图像描述方面具有显著优势。通过自注意机制，transformer能够捕捉图像中长距离的依赖关系和复杂的上下文信息，从而更全面地理解图像的全局特征和局部细节。其并行处理能力提高了计算效率，适应大规模数据。此外，transformer无需手工设计特征提取器，自动学习特征，表现更加灵活和精准。
6、在本发明的特征点描述模块中，对vision transformer模型进行了针对性的改进。具体而言，我们在模型的设计中去除了原有的用于分类任务的序列部分。传统的visiontransformer模型中，分类任务涉及到对图像进行标签预测，这一过程在我们的应用场景中并不需要。因此，我们移除了这部分结构，并重新设计了模型的解码器部分。经过解码器处理后，我们将解码器输出的结果进行拼接，接着通过全连接降维模块进行处理，最终生成输入局部图像的特征描述子。这一过程有效地将图像中的特征信息转换为紧凑的描述子形式，便于后续的特征匹配和识别任务。
7、一种基于图像特征点裁剪区域重排列的图像匹配的方法，包括以下步骤：
8、1)获取原始图像，将原始图像进行随机旋转得到旋转图像，将原始图像进行随机模糊得到模糊图像，再将原始图像、旋转图像和模糊图像进行拼接得到增强数据集；
9、2)使用尺度不变特征变换方法从增强数据集中的原始图像获取特征点位置，根据特征点位置从增强数据集中的原始图像、旋转图像和模糊图像中获取特征点位置周围局部区域，作为特征描述图像；
10、3)将特征描述图像裁剪重排列，得到重新排列的裁剪区域；
11、4)将重新排列的裁剪区域，输入到vision transformer模型中，得到各个裁剪区域对应的描述子，将各个裁剪区域对应的描述子进行拼接和降序，得到特征点局部图像的最终描述向量，得到特征描述网络；
12、5)通过损失函数对特征描述网络进行优化，得到优化后的特征描述模型；
13、6)通过优化后的特征描述模型对待匹配的两张图像匹配。
14、步骤1)中，将原始图像进行随机旋转得到旋转图像，具体包括：
15、将原始图像进行随机顺时针50度至逆时针50度范围内旋转得到旋转图像。
16、步骤1)中，将原始图像进行随机模糊得到模糊图像，具体包括：
17、将原始图像进行随机卷积核大小为3*3或5*5的高斯模糊得到模糊图像。
18、步骤2)中，特征点位置周围局部区域是指特征点位置范围的(20～28)*(20～28)像素区域。
19、步骤3)中，将特征描述图像裁剪重排列，具体包括：
20、3.1)先将得到的特征描述图像进行裁剪，得到多块裁剪区域，并进行编号；
21、3.2)根据裁剪区域的中心点坐标，找到距离图像中心点最近的裁剪区域，标记为1，然后再在裁剪图像外一圈的裁剪区域顺时针标记为2至4，再外一圈标记为6-9，将裁剪区域根据编号由小到大进行重新排列。
22、步骤3.2)中，裁剪区域的中心点坐标，通过公式确定：
23、
24、其中，(xi,yi)为裁剪区域的中心点坐标，i为裁剪区域编号为1至9，(x_left，y_left)为裁剪区域的左上角坐标，w，h为裁剪区域的两个边长，w，h均为8个像素，特征描述图像的大小为24*24个像素。
25、步骤5)中，将特征点局部图像的最终描述向量三个为一组进行分割，分别计算，损失函数如下：
26、loss＝loss1+loss2； (1)
27、
28、公式(1)中，loss为用于反向传播的最终损失函数值；
29、公式(2)中，n为原始图像的特征点数量，即为n个特征点局部图像的最终描述向量；j为图像类型，其中为0是表示为原图，当j为1-2时分别表示旋转图，模糊图；为特征点局部图像的最终描述向量；mean()表示求取均值。
30、公式(3)中，n为原始图像的特征点数量，即为n个特征点局部图像的最终描述向量；j为图像类型，当j为1-3时分别表示原图，旋转图，模糊图；为对应特征点局部图像的最终描述向量；max为修正损失值，确保整个损失值loss2为非负值；mean()表示求取均值。
31、在编码模块中，我们采用了标准的transformer模块，这部分的具体架构如图1所示。transformer编码模块通过自注意力机制和前馈网络来提取图像中的高层次特征，保证了特征描述的准确性和鲁棒性。
32、网络的完整流程如图2所示，其中包括了从输入图像到最终特征描述子的各个处理步骤。图3展示了vision transformer模型的原始结构，以便于对比和理解我们所做的改进。在本发明的模型中，我们着重对特征点描述的准确性和效率进行了优化，使其在实际应用中能够更好地服务于特征匹配和识别任务。
33、为了增强图像的旋转稳定性，本发明提出了一种基于分割和排序的方法。首先，将输入局部图像进行分割成若干小块。接着，根据每个分割区域相对于图像中心点的位置远近，按照顺时针方向对这些小块进行排序。通过这种方式，可以有效减弱因图像旋转带来的误差，从而提高模型对旋转图像的鲁棒性，具体过程如图4所示。
34、在损失函数设计中，本发明采用同源局部图像之间的相似性和同一图像间的差异性之和作为反向传播的损失函数，来强化网络的能力。
35、在同源局部图像间，要求原图，旋转图，模糊图通过网络得到的描述子越接近越好，网络匹配准确性和两者相似性为正相关。所以该损失函数(loss1)计算方法如下，其中n为原始图像的特征点数量，即为n个特征点局部图像的最终描述向量；j为图像类型，其中为0是表示为原图，当j为1-2时分别表示旋转图，模糊图；为特征点局部图像的最终描述向量；mean()表示求取均值:
36、
37、在同一张图像中的局部图像得到的描述子我们需要其描述子差距越大越好，以更好的区分不同的特征点，网络匹配准确性和两者相似性为负相关，所以我们设定了一个较大值(max)。具体的损失函数loss2表达式如下所示,其中n为原始图像的特征点数量，即为n个特征点局部图像的最终描述向量；j为图像类型，当j为1-3时分别表示原图，旋转图，模糊图；为对应特征点局部图像的最终描述向量；max为修正损失值，确保整个损失值loss2为非负值；mean()表示求取均值：
38、
39、最后用于反向传播的最终损失函数loss，其中n1为计算公式如下：
40、loss＝loss1+loss2
41、本发明涉及一种针对旋转和模糊的基于vision transformer神经网络的特征点裁剪区域描述方法，分为图像增强，局部图像分割移位和特征点描述网络。在数据增强部分，将原图进行旋转和高斯模糊后，成为三张同源图片。局部图像分割移位模块中，根据局部图像在完整图像中的位置，对分割后的图片进行重排列，增强特征描述网络对于旋转的鲁棒性。在特征描述模块，本发明在vit模型上进行了修改，对去掉了其用于分类的分支模块，而是集中于图像描述，将分割部分的描述子相接，得到对局部图像的完整描述。再将其进行降维，得到最终的局部区域描述子。其损失函数由两部分组成，包括同一图像内的局部图像的描述子相似性loss1和同源局部图像间的相似性loss2。其中对于loss2我们需要它越大越好，使得特征点描述子之间的差异性越大，提高匹配的准确性。再将loss1和loss2求和作为最终的损失值。
42、与现有技术相比，本发明具有如下优点：
43、(1)提出了一种基于vision transformer神经网络改进的局部图像描述方法，相对于其他的神经网络网络方法，大大加强了对于图像旋转和模糊的稳定性和准确性；
44、(2)采用局部图像来获取特征点的描述子，使网络能够关注于特征点周围区域的特征，减少全图其他区域的无关信息的详细，增强描述的准确性。
45、(3)采用数据增强技术生成同源图片，能够提高神经网络对不同角度和模糊程度下的特征点的识别能力，增强了网络的泛化能力，使其在实际场景中表现更为稳健。
46、(4)输入图像分割后根据其特征点的相对位置，对分割图进行重新排列，增强了网络对于旋转的鲁棒性。
47、(5)在损失函数中采用对应特征点之间的相似性和非对应特征点之间的差异性之和作为损失值，不需要标准的标签。
1.一种基于图像特征点裁剪区域重排列的图像匹配的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于图像特征点裁剪区域重排列的图像匹配的方法，其特征在于，步骤1)中，将原始图像进行随机旋转得到旋转图像，具体包括：
3.根据权利要求1所述的基于图像特征点裁剪区域重排列的图像匹配的方法，其特征在于，步骤1)中，将原始图像进行随机模糊得到模糊图像，具体包括：
4.根据权利要求1所述的基于图像特征点裁剪区域重排列的图像匹配的方法，其特征在于，步骤2)中，特征点位置周围局部区域是指特征点位置范围的(20～28)*(20～28)像素区域。
5.根据权利要求1所述的基于图像特征点裁剪区域重排列的图像匹配的方法，其特征在于，步骤3)中，将特征描述图像裁剪重排列，具体包括：
6.根据权利要求5所述的基于图像特征点裁剪区域重排列的图像匹配的方法，其特征在于，步骤3.2)中，裁剪区域的中心点坐标，通过公式确定：
7.根据权利要求1所述的基于图像特征点裁剪区域重排列的图像匹配的方法，其特征在于，步骤5)中，损失函数如下：
