本发明涉及计算机视觉，具体涉及一种面向不良天候的多尺度特征融合无人机目标检测方法。
背景技术：
1、无人机在各类复杂环境中的应用日益广泛，尤其是在军事监视、灾难救援、农业监控等领域，然而，在实际应用中，不良天候(如大雾、暴雨、强风、雪天等)对无人机的目标检测能力提出了严峻挑战。传统的目标检测方法多依赖于单一的视觉传感器，如红外相机或可见光相机，但在恶劣天气条件下，这些传感器的性能往往受到显著影响，从而导致检测效果不佳。因此，如何有效融合来自不同传感器的多模态数据，以提高不良天候下无人机目标检测的准确性，是一个亟待解决的问题。
2、目前在国内外，面向不良天候的多尺度特征融合无人机目标检测方法的研究正在不断发展，已多模态数据融合技术上取得了显著进展，很多研究集中在利用卷积神经网络(convolutional neural networks，简称cnn)和注意力机制，将可见光图像、红外图像、毫米波雷达数据等进行融合，以应对不良天气条件。也有学者提出了多模态卷积神经网络(multimodal convolutional neural network，简称mmcnn)模型，能够在雾天、夜间等复杂环境中提升无人机的目标检测性能。也有研究团队开发了基于yolo和faster r-cnn等目标检测算法的改进模型，通过结合多模态数据，提高了检测的准确性和鲁棒性。例如，有研究将多模态数据输入深度融合网络，实现了雨天和大雾环境下目标的有效检测。比如在相关技术中，公布号为cn118230117a的专利申请文献中提出了一种基于注意力机制自适应融合的伪装目标检测方法，该方法通过利用伪装目标的光学信息和红外信息，基于图像特征级融合手段实现了伪装目标的有效检测。公布号为cn116311363a的专利申请文献中提出了一种基于动态网络特征融合和yolov5的rgb_红外多源图像目标检测方法，该方法基于单阶段可见光yolov5目标检测模型，设计了多源特征提取模块，实现了rgb-红外图像对多尺度特征提取；受注意力机制和专家模型动态网络的启发，构建了动态网络多源特征融合模块，实现了通道级、空间级和上下文长距离联系的多源特征动态融合，提高了模型的鲁棒性。
3、然而研究表明，在融合多模态数据时，选择适当的融合策略非常困难，这主要是由于多模态数据融合涉及物理特性差异、时空对齐难度、信号质量和噪声差异、信息冗余与互补性、融合方法的复杂性、计算资源需求以及应用场景的特殊需求。这些因素共同构成了一个高度复杂的挑战，要求在理论、算法、实践等多个层面上进行深入研究和优化。
4、融合方法根据应用场景的不同，包括早期融合(特征级别融合)、中期融合(网络层级融合)及晚期融合(决策级别融合)，其中：早期融合是指在数据输入阶段直接融合原始数据，这种方法能够利用各模态数据的低层次特征，但可能会因为数据的异质性和噪声特性差异，导致信息丢失或融合效果不佳。中期融合是指在神经网络的中间层进行特征图的融合，这种方法可以在保留各模态特征的同时，通过网络的学习能力找到最佳的融合方式，但网络设计复杂度高，需要大量的实验和调参。晚期融合是指在各模态数据独立处理后的最终结果上进行融合，这种方法可以利用每个模态的强项，但由于不同模态之间的相互作用较少，可能无法充分利用多模态数据的互补性。
技术实现思路
1、本发明所要解决的技术问题在于如何提高恶劣环境中的目标检测精度和鲁棒性。
2、本发明通过以下技术手段解决上述技术问题的：
3、提出了一种面向不良天候的多尺度特征融合无人机目标检测方法，所述方法包括：
4、采集多模态数据，所述多模态数据包括可见光图像数据和热红外图像数据；
5、将所述多模态数据输入至目标检测模型，其中，所述目标检测模型包括第一模态特征提取网络、第二模态特征提取网络、多尺度金字塔特征融合网络、跨模态融合网络和目标检测头网络；
6、利用第一模态特征提取融合网络对可见光图像数据进行多尺度特征提取，得到可见光多尺度特征；
7、利用第二模态特征提取融合网络对热红外图像数据进行多尺度特征提取，得到热红外多尺度特征；
8、利用多尺度金字塔特征融合网络分别对所述可见光多尺度特征和所述热红外多尺度特征进行处理，得到可见光特征图和热红外特征图；
9、利用跨模态融合网络对可见光特征图和热红外特征图进行融合，得到融合特征图；
10、利用目标检测头网络对融合特征图进行目标检测，得到目标检测结果。
11、进一步地，所述第一模态特征提取网络和第二模态特征提取网络均采用层级式特征提取网络，所述层级式特征提取网络包括依次连接的低层卷积子网络和高层卷积子网络；
12、所述低层卷积子网络包括依次连接的卷积层conv1和conv2，所述高层卷积子网络包括依次连接的卷积层conv3、conv4和conv5，卷积层conv2与卷积层conv3连接；
13、所述低层卷积子网络和所述高层卷积子网络分别输出低层特征图和高层特征图。
14、进一步地，所述层级式特征提取网络采用深度卷积神经网络。
15、进一步地，所述多尺度金字塔特征融合网络包括依次连接的第一特征金字塔子网络和多尺度特征融合子网络；
16、所述第一特征金字塔子网络用于在所述高层特征图上进行上采样，并与对应的低层特征图结，得到可见光图像数据或热红外图像数据对应的多尺度特征图；
17、所述多尺度特征融合子网络用于对所述多尺度特征图中各自尺度上的特征信息进行处理后融合，得到所述可见光特征图或热红外特征图。
18、进一步地，所述多尺度特征图包括高分辨率特征图、中分辨率特征图和低分辨率特征图，所述多尺度特征融合子网络包括第一融合层、第二融合层和第三融合层；
19、所述第一融合层用于对所述高分辨率特征图进行卷积、relu激活以强化局部细节信息，得到细节特征图；
20、所述第二融合层用于对中分辨率特征图进行卷积、relu激活以增强目标结构信息，得到目标特征图；
21、所述第三融合层用于对低分辨率特征图进行卷积、relu激活以提取全局语义信息，得到语义特征图；
22、对所述细节特征图、所述目标特征图和所述语义特征图进行加权求和操作，得到可见光特征图或热红外特征图。
23、进一步地，所述对所述细节特征图、所述目标特征图和所述语义特征图进行加权求和操作，得到可见光特征图或热红外特征图，包括：
24、通过注意力机制为所述细节特征图、所述目标特征图和所述语义特征图分配对应的权重；
25、按照对应的权重，对所述细节特征图、所述目标特征图和所述语义特征图进行加权求和操作，得到可见光特征图或热红外特征图。
26、进一步地，所述通过注意力机制为所述细节特征图、所述目标特征图和所述语义特征图分配对应的权重，包括：
27、利用通道注意力机制和空间注意力机制分别在通道维度和空间维度上为不同特征图分配权重。
28、进一步地，所述跨模态融合网络包括依次连接的第二特征金字塔子网络、注意力机制、卷积层和全连接层，所述可见光特征图和热红外特征图分别作为所述第二特征金字塔子网络的输入，所述全连接层输出所述融合特征图。
29、进一步地，所述目标检测头网络采用yolov8目标检测网络，并通过自适应锚框生成策略检测目标物体的位置。
30、进一步地，所述方法还包括：
31、对所述目标检测模型进行训练，训练过程中所采用的损失函数为联合损失函数，公式表示为：
32、ltotal＝α·lcls+β·lloc+γ·lreg
33、式中，lcls为分类损失函数，lloc为定位损失函数，lreg为正则化损失函数，α、β、γ分别为对应的权重系数。
34、本发明的优点在于：
35、(1)本发明通过在多尺度金字塔特征融合网络中引入特征金字塔网络，能够有效融合来自不同尺度的特征，确保了网络在检测不同大小目标时具有强大的适应性，在无人机目标检测中，小型无人机在远处可能只占据几个像素，而近处的大型无人机则占据更大面积。多尺度特征融合能够同时准确检测到这些不同尺度的目标，且融合后的多尺度特征不仅包含了细节信息还包含了语义信息，从而提升了特征的表达能力，改善了检测的准确性和鲁棒性。
36、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
1.一种面向不良天候的多尺度特征融合无人机目标检测方法，其特征在于，所述方法包括：
2.如权利要求1所述的面向不良天候的多尺度特征融合无人机目标检测方法，其特征在于，所述第一模态特征提取网络和第二模态特征提取网络均采用层级式特征提取网络，所述层级式特征提取网络包括依次连接的低层卷积子网络和高层卷积子网络；
3.如权利要求2所述的面向不良天候的多尺度特征融合无人机目标检测方法，其特征在于，所述层级式特征提取网络采用深度卷积神经网络。
4.如权利要求1所述的面向不良天候的多尺度特征融合无人机目标检测方法，其特征在于，所述多尺度金字塔特征融合网络包括依次连接的第一特征金字塔子网络和多尺度特征融合子网络；
5.如权利要求4所述的面向不良天候的多尺度特征融合无人机目标检测方法，其特征在于，所述多尺度特征图包括高分辨率特征图、中分辨率特征图和低分辨率特征图，所述多尺度特征融合子网络包括第一融合层、第二融合层和第三融合层；
6.如权利要求1所述的面向不良天候的多尺度特征融合无人机目标检测方法，其特征在于，所述对所述细节特征图、所述目标特征图和所述语义特征图进行加权求和操作，得到可见光特征图或热红外特征图，包括：
7.如权利要求6所述的面向不良天候的多尺度特征融合无人机目标检测方法，其特征在于，所述通过注意力机制为所述细节特征图、所述目标特征图和所述语义特征图分配对应的权重，包括：
8.如权利要求1所述的面向不良天候的多尺度特征融合无人机目标检测方法，其特征在于，所述跨模态融合网络包括依次连接的第二特征金字塔子网络、注意力机制、卷积层和全连接层，所述可见光特征图和热红外特征图分别作为所述第二特征金字塔子网络的输入，所述全连接层输出所述融合特征图。
9.如权利要求所述的面向不良天候的多尺度特征融合无人机目标检测方法，其特征在于，所述目标检测头网络采用yolov8目标检测网络，并通过自适应锚框生成策略检测目标物体的位置。
10.如权利要求1-9任一项所述的面向不良天候的多尺度特征融合无人机目标检测方法，其特征在于，所述方法还包括：
