本发明涉及智能无人系统中的无人机巡检领域，尤其涉及一种基于跨模态数据类增量学习的无人机巡检方法及系统。
背景技术：
1、无人机巡检系统主要利用无人机来进行设施或区域的自动化监测和检查。这种系统通常应用于电力线路、油气管道、铁路、桥梁等关键基础设施的维护工作，以及在农业、森林监测和城市管理等领域。无人机巡检系统的核心优势包括：提高效率、降低成本和减少人员的安全风险。无人机巡检需要对输入数据进行收集和分析以进行自动决策，可见光图像和红外图像是常用的两种数据，具有一定的互补性。在白天时，可见光图像可以提供更丰富的信息；在夜晚时，由于光照条件不足，红外图像可以提供更丰富的信息。因此，如何设计面向跨模态数据的无人机巡检研究成为了一个亟需解决的问题。
2、现有无人机巡检模型通过收集高清摄像头或红外摄像头捕捉到的高清图像或红外图像进行处理，基于跨模态图像数据集对深度神经网络模型进行训练，使用模型对新收集的跨模态图像进行推理预测以判断其所属类别。这种方法虽然能够达到不错的性能，但是无人机巡检模型一旦部署将无法更新。通常地，巡检目标的类型随着社会的发展会逐渐发生变化，大量的新类将以各种模态的形式不断涌现。现有方法由于仅能识别学习过的旧类型跨模态目标，因此难以进行实际使用。
3、跨模态增量学习是一种使模型能够在已有跨模态任务的基础上学习新任务，从而具备同时处理新旧跨模态任务能力的方法。在跨模态增量学习中，模型通过不断整合来自不同感知模态的新信息，以提升理解和泛化能力。然而，由于新任务的跨模态数据分布与旧任务的跨模态数据分布差异较大，深度神经网络在学习新任务时可能会改变旧任务相关的重要参数，导致模型对旧任务的识别能力显著下降。这种现象被称为灾难性遗忘，模型的参数倾向于新任务，从而影响了对旧任务的识别和处理能力。
4、针对此问题，现有方法设计了一些解决知识遗忘的方法，例如：进行正则化、添加重放机制、动态架构扩展等，但它们在很大程度上只关注了单模态知识的保持。在实际应用中，尽管这些策略有助于减轻单模态灾难性遗忘的问题，但它们通常忽略了跨模态数据独有的挑战。因此，如何解决跨模态增量学习中模型对旧任务的模态遗忘问题，是无人机巡检模型能否有效进行大规模部署的关键因素。
技术实现思路
1、本发明提供了一种基于跨模态数据类增量学习的无人机巡检方法及系统，本发明考虑到无人机巡检任务跨模态增量学习中模态遗忘的问题，设计了一种基于跨模态数据类增量学习的方法，通过使用通道尺度上的块对角结构稀疏性的跨模态特征信息交换机制和虚拟类别的构建，约束模型在不丢失先前学习知识的情况下，增量地引入新类别，并使用已知类别的增强特征为跨模态新类数据预留学习空间，使得跨模态新旧任务之间的干扰得到有效缓解，从而提高无人机巡检模型的跨模态增量学习能力，大幅度增加无人机巡检的鲁棒性和泛化性，详见下文描述：
2、一种基于跨模态数据类增量学习的无人机巡检方法，所述方法包括：
3、通过跨模态特征混合融合模块将各个模态的特征进行拼接重组；对每一组处理后的输入特征图分配一套独立的卷积核，进行分组卷积，最后生成完整的特征图；
4、对于完整的特征图中的每个池化窗口，根据自适应平均池化计算窗口内所有元素的平均值，将该平均值作为输出特征图对应位置的元素，对所有区域重复进行该过程，得到最终的输出特征图；
5、将经过自适应平均池化模块处理后得到的输出特征图进行展平，输入到全连接层当中提取和组合特征，生成最终的分类输出，随后根据损失函数的梯度，更新模型参数；将训练好的模型部署到无人机上实时采集可见光和热成像图像，提取特征并通过模型进行识别和预测。
6、其中，所述通过跨模态特征混合融合模块将各个模态的特征进行拼接重组具体为：
7、将特征图中来自各个模态的特征划分为多个组，每个组包含了一定数量的通道，从一个模态的特定组中选取一部分通道，与另一模态中相对应组的通道进行拼接重组。
8、其中，所述损失函数包括：真实标签计算分类损失lcls和未知新类预留损失lukn，
9、真实标签计算分类损失lcls用于对当前已知类别的正确分类，衡量模型输出与真实标签之间的差异，确保模型能够准确识别和分类训练数据中包含的类别；
10、未知新类预留损失lukn在模型的输出空间中预留一部分学习空间，在训练时，输入数据通过模型，计算每个类别的预测输出；
11、将两种损失加权结合，形成总损失。
12、其中，所述跨模态特征混合融合模块为：
13、在批归一化层中，每个通道的特征被标准化，通过缩放和平移进行调整，较大的缩放因子γ值表示通道在模型学习过程中具有较高的活性和重要性，接近零的缩放因子γ值则表明该通道信息冗余，对输出影响较小；
14、将可见光和红外光模态的输入特征按通道细分成多个预定义的组并进行专门处理，在混合融合阶段，模型运用动态选择机制从一个模态的特定组中挑选出最重要或最具代表性的通道，将这些通道与另一模态中对应组的通道结合；在训练过程中根据数据特征和任务需求自动调整通道重组策略。
15、其中，所述跨模态特征混合融合模块定义为：
16、
17、
18、其中，||表示连接，和代表从两种不同模态提取的特征组，和的特征互相包含。
19、其中，所述损失函数为：
20、损失函数lcls使模型从标签中学习已知类别，损失函数lukn为未知的新类别预留学习空间，使已学习的已知类别表示更为紧凑，目标函数定义为：
21、
22、其中，是从跨模态特征混合融合模块获得的增强嵌入，y是标签，y′是虚拟类别中的伪标签，λ是平衡两种损失的系数；
23、掩码函数定义为：
24、
25、其中，mask函数应用于特征向量该特征向量代表从增量学习中得到的嵌入表示，和分别代表两种模态的嵌入，表示哈达马乘积用于将特征向量与一个独热编码向量的逐元素补码相乘；独热编码向量onehot(y)表示当前已知类别的标签，其余类别位置为0，当前类别位置为1；通过1-onehot(y)操作，将已知类别的位置置0，未知类别的位置置1。
26、第二方面、一种基于跨模态数据类增量学习的无人机巡检系统，所述系统包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行第一方面中的任一项所述的方法。
27、第三方面、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行第一方面中的任一项所述的方法。
28、本发明提供的技术方案的有益效果是：
29、1、本发明同时考虑跨模态平衡建模和新旧类别间的相关关系，进一步提高对跨模态新旧类的学习能力，减轻跨模态模型的模态遗忘现象，提高跨模态数据的增量学习能力，大幅度增加无人机巡检的鲁棒性和泛化性，提升无人机巡检的识别精度；
30、2、本发明针对无人机巡检场景中的跨模态数据识别任务提出了一种新的跨模态数据类增量学习方法，此方法通过特征分组融合和学习空间预留相结合的策略，改进了无人机巡检模型增量学习的模态遗忘问题，可以帮助无人机在接纳新类别信息的同时，保持对旧类别的记忆，减少重训练的需求；
31、3、本发明设计了一个混合融合与学习空间预留相结合的模块，根据通道特征分组交互的方式对跨模态知识进行挖掘，并通过构建虚拟类，使得已知类别的表示更加紧凑，为未知的新类别预留学习空间；
32、4、本发明通过优化特征融合和信息交换机制，可以有效地整合来自不同传感器的数据，提高无人机在复杂环境中的感知能力，这对于在光线不足或视线受阻的环境中尤其重要；
33、5、本发明通过预先配置的虚拟空间，允许无人机在不接触实际数据的情况下预测和适应未知新类别；这种快速适应新环境的能力可以显著提高无人机的操作效率和响应速度，尤其是在应对紧急情况或进行快速部署时；
34、6、本发明有效解决了模型学习过程中的遗忘问题，减少了因频繁更新模型而产生的计算资源消耗和需要手动标记的数据量，提高了模型的适应性，有助于降低长期运营成本。
1.一种基于跨模态数据类增量学习的无人机巡检方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种基于跨模态数据类增量学习的无人机巡检方法，其特征在于，所述通过跨模态特征混合融合模块将各个模态的特征进行拼接重组具体为：
3.根据权利要求1所述的一种基于跨模态数据类增量学习的无人机巡检方法，其特征在于，所述损失函数包括：真实标签计算分类损失lcls和未知新类预留损失lukn，
4.根据权利要求1所述的一种基于跨模态数据类增量学习的无人机巡检方法，其特征在于，所述跨模态特征混合融合模块为：
5.根据权利要求4所述的一种基于跨模态数据类增量学习的无人机巡检方法，其特征在于，所述跨模态特征混合融合模块定义为：
6.根据权利要求3所述的一种基于跨模态数据类增量学习的无人机巡检方法，其特征在于，所述损失函数为：
7.一种基于跨模态数据类增量学习的无人机巡检系统，所述系统包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行权利要求1-6中的任一项所述的方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时使所述处理器执行权利要求1-6中的任一项所述的方法。
