跨域的小样本点云地物分类方法及系统

专利2026-02-03  17


本发明涉及点云数据处理与应用,特别涉及一种跨域的小样本点云地物分类方法及系统。


背景技术:

1、点云语义分割近些年取得了快速发展,为地形测绘和地物提取提供了新的可能。在充分标记样本的监督训练下,许多先进的方法不断被提出以提高复杂场景下的分类性能。但现有的点云地物分类研究多关注于训练和测试样本具有相似分布的静态场景。当场景改变时,已有训练好的模型难以适应新的差异。即便是在相似场景下训练好的模型,当遇到少见的新类别时也需要不断学习。同时,在目标场景迁移的时候,对整个场景进行标注在现实中通常是不可行的。因此,在广泛的应用需求下,跨场景迁移学习逐渐引起了关注,然而类别不一致、域差异和小样本的问题使得提高模型泛化性能仍具有挑战。

2、在解决标签不一致的问题上,模型微调是常用的迁移方法。但这依赖一个通用的大量的基础训练样本集和一个强大的通用特征提取网络。相比于二维的基础模型和imagenet那样的数据集,三维语义分割在这两方面都有所欠缺。先前的工作已经证实了当新旧数据间有较大差异时,微调的方式可能会导致模型遗忘先前学习到的通用知识,而难以应对数据分布的变化。增量学习通过不断加入新的数据来更新模型以解决灾难性遗忘的问题,许多用在二维分类任务上的增量学习方法采用余弦相似度进行类别比较,但这些方法难以适用于稀疏的点云特征上,随着新数据的加入,点云类别之间存在的显著数据分布差异会加剧模型在新类别上的泛化性能下降。

3、为了使模型学习到的特征与目标领域的数据分布相一致,域适应方法通过调整模型参数或特征表示来减少领域之间的差异。然而,大部分工作假设源域和目标域的类别一致,这就导致在不同场景间存在显著的分布和语义差异情况时,模型可能无法迁移到新场景的新类别。特别是,新类别的样本通常相对通用类别来说是极少的。由于数据采样的偏差,模型很容易过拟合在小样本数据分布上。半监督学习方法考虑用大量无标注样本的数据分布来平衡样本差异,但在现实场景中领域独有的类别通常很难估计。小样本学习通过多任务采样来高效学习类别间的差异,从而让模型学会学习。但点云数据样本不平衡和特征不一致会进一步加剧模型性能的下降。因此,为了能够有效地泛化到新的小样本类别,这就要求模型能够既不能遗忘旧的通用知识,还要动态快速适应小样本的新类别数据分布。总结而言,跨场景迁移面临着以下难点:1)现有通用的小样本分类方法难以解决类别不一致的问题;2)场景独有地物类别样本较少导致模型难以学到辨别特征;3)采样的数据分布偏差和跨场景偏移会影响模型的泛化性能。


技术实现思路

1、本发明的目的是为了解决目前在仅有少量标签下深度学习模型对不同目标场景的适用能力不足的问题,提出一种跨域的小样本点云地物分类方法及系统,有效提升了小样本条件下点云跨域迁移学习的精度。

2、为实现上述目的,所采取的技术方案是:

3、一种跨域的小样本点云地物分类方法,包含:

4、在源数据集上预训练源域特征提取器和源域分类器;

5、在跨领域迁移学习阶段,将来自相同基类的点级源域特征、目标域特征以及对应的预测结果输入条件域对抗网络,以训练目标域教师模型的目标特征提取器和目标分类器,其中目标域特征是利用小样本数据通过目标特征提取器获得的;

6、在目标域内类别增量学习阶段,目标领域的学生模型增量地学习新类别的特征,在学习的教师模型的目标提取器与当前学生模型之间进行增量特征语义知识蒸馏,同时利用语义对抗学习模块区分新类别的特征表示和基础类别的特征表示。

7、根据本发明跨域的小样本点云地物分类方法,进一步地,条件域对抗网络目标是最小化领域判别器对具有相同标签的源域特征和目标域特征的预测误差,使领域判别器无法区分跨领域生成的特征表示;由于预测结果中包含潜在的信息,因此,将特征和预测结果的联合分布作为领域判别器d的输入。

8、根据本发明跨域的小样本点云地物分类方法,进一步地,用联合变量h=(f,g)=(gf(x),gc(gf(x)))替换领域判别器的特征输入,其中gf和gc分别表示特征提取器和分类器,x表示输入数据;使用随机多线性映射建模特征和预测结果的联合分布如下:

9、

10、其中,和是随机矩阵,同时d<<df×dg,⊙是同或运算。

11、根据本发明跨域的小样本点云地物分类方法,进一步地,条件域对抗网络的对抗损失公式如下:

12、

13、其中,和分别表示教师模型的目标特征提取器和目标分类器,hs是源领域联合变量,ht是目标领域联合变量,和表示源领域和目标领域数据分布的期望;在这一阶段只优化目标域教师模型的目标特征提取器、目标分类器和领域判别器:

14、

15、其中,表示目标数据集基类数据,表示目标特征提取器参数和目标分类器参数,上标s表示源域,上标t表示目标域。

16、根据本发明跨域的小样本点云地物分类方法,进一步地,由于少量目标样本有标签,因此计算有监督的交叉熵损失函数:

17、

18、其中,cbase表示目标数据集基类的种类数目,pi表示第i个点的预测类别标签,qi表示第i个点的真实类别标签。

19、根据本发明跨域的小样本点云地物分类方法,进一步地,计算跨领域迁移学习的总损失如下:

20、

21、其中,θd为领域判别器参数,ytbase为目标数据集基类数据的真实类别标签,λ1为加权因子。

22、根据本发明跨域的小样本点云地物分类方法,进一步地,利用教师模型的目标特征提取器参数和目标分类器参数初始化学生模型,定义基础类别和新类别的学生模型语义损失:

23、

24、其中,cbase+cnovel是类别总数,pi表示第i个点的预测类别标签,qi表示第i个点的真实类别标签。

25、根据本发明跨域的小样本点云地物分类方法,进一步地,增量特征语义知识蒸馏包含:

26、首先通过特征蒸馏将教师模型中的局部结构信息转移到学生模型中的所有输入点上:

27、

28、特征蒸馏通过最小化从教师嵌入网络gf(x)与学生嵌入网络g′f(x)中提取的局部特征之间的均方误差来实现;

29、然后通过最小化教师模型和学生模型之间的kl散度损失,以模拟基础类别之间的隐含类别间信息:

30、

31、其中,logitsbase',c和logitsbase,c分别是学生分类器和教师分类器中第c个基础类别的对数几率,t表示蒸馏温度,t是一个用于控制的标量,β表示控制温度t对kl散度的影响程度的超参数。

32、根据本发明跨域的小样本点云地物分类方法,进一步地,语义对抗学习模块的对抗损失公式如下:

33、

34、其中,和表示基类和新类目标数据分布的期望,ds表示语义判别器,g′f(x)表示学生模型的目标特征提取器;

35、最终域内类别增量学习的总损失如下:

36、

37、其中,λ2、λ3、λ4、λ5均为加权因子。

38、进一步地,本发明还提出一种跨域的小样本点云地物分类系统,包含:

39、源域预训练模块,用于在源数据集上预训练源域特征提取器和源域分类器;

40、跨领域学习模块,用于将来自相同基类的点级源域特征、目标域特征以及对应的预测结果输入条件域对抗网络,以训练目标域教师模型的目标特征提取器和目标分类器,其中目标域特征是利用小样本数据通过目标特征提取器获得的;

41、增量学习模块,用于目标领域的学生模型增量地学习新类别的特征,在学习的教师模型的目标提取器与当前学生模型之间进行增量特征语义知识蒸馏,同时利用语义对抗学习模块区分新类别的特征表示和基础类别的特征表示。

42、采用上述技术方案,所取得的有益效果是:

43、针对不同目标场景机载激光雷达点云数据不足、现有方法跨场景迁移泛化能力差的问题,本发明提出了一种跨域的小样本点云地物分类方法,与以往受限于相同领域的少量样本方法或受限于相同语义标签的领域适应方法不同,所提方法分别为领域共享类别和领域特定类别提出了跨领域迁移学习和领域内增量学习两种策略,适用于更广泛的应用场景。实验结果表明:本方法在三组小样本机载激光雷达点云跨域迁移任务中证明了其有效性,且优于最先进的少量样本学习方法,尤其在那些领域特定的少数类别上展现了良好的泛化能力。具体而言,本发明具备以下优点:

44、(1)本发明提出了一种将跨领域迁移学习与类别增量学习相结合来解决3d跨域迁移问题的方案。通过从类别角度将任务分解为两个学习阶段,所提出的框架可以同时解决少样本学习和领域适应的挑战。

45、(2)本发明提出了一种基于主体类别的跨域迁移学习方法,为了将通用特征推广到不同的目标领域,在主要类别的微调过程中引入了条件域对抗网络。对齐的语义标签的利用使得可以在不同场景中动态适应,而不需要大量的标注数据。

46、(3)本发明提出了一种域内类别增量学习方法,为了学习领域特定的类别特征,该方法不仅可以保留基础特征,还能不断学习新类别特征。结合小样本学习,所提出的多级蒸馏约束和语义对抗学习模块可以进一步提升模型的泛化性能。


技术特征:

1.一种跨域的小样本点云地物分类方法,其特征在于,包含:

2.根据权利要求1所述的跨域的小样本点云地物分类方法,其特征在于,条件域对抗网络目标是最小化领域判别器对具有相同标签的源域特征和目标域特征的预测误差,使领域判别器无法区分跨领域生成的特征表示;由于预测结果中包含潜在的信息,因此,将特征和预测结果的联合分布作为领域判别器d的输入。

3.根据权利要求2所述的跨域的小样本点云地物分类方法,其特征在于,用联合变量h=(f,g)=(gf(x),gc(gf(x)))替换领域判别器的特征输入,其中gf和gc分别表示特征提取器和分类器,x表示输入数据;使用随机多线性映射建模特征和预测结果的联合分布如下:

4.根据权利要求3所述的跨域的小样本点云地物分类方法,其特征在于,条件域对抗网络的对抗损失公式如下:

5.根据权利要求4所述的跨域的小样本点云地物分类方法,其特征在于,由于少量目标样本有标签,因此计算有监督的交叉熵损失函数:

6.根据权利要求5所述的跨域的小样本点云地物分类方法,其特征在于,计算跨领域迁移学习的总损失如下:

7.根据权利要求4所述的跨域的小样本点云地物分类方法,其特征在于,利用教师模型的目标特征提取器参数和目标分类器参数初始化学生模型,定义基础类别和新类别的学生模型语义损失:

8.根据权利要求7所述的跨域的小样本点云地物分类方法,其特征在于,增量特征语义知识蒸馏包含:

9.根据权利要求8所述的跨域的小样本点云地物分类方法,其特征在于,语义对抗学习模块的对抗损失公式如下:

10.一种跨域的小样本点云地物分类系统,其特征在于,包含:


技术总结
本发明涉及点云数据处理与应用技术领域,特别涉及一种跨域的小样本点云地物分类方法及系统,在源数据集上预训练源域特征提取器和源域分类器;在跨领域迁移学习阶段,将来自相同基类的点级源域特征、目标域特征以及对应的预测结果输入条件域对抗网络,以训练目标域教师模型的目标特征提取器和目标分类器,其中目标域特征是利用小样本数据通过目标特征提取器获得的;在目标域内类别增量学习阶段,目标领域的学生模型增量地学习新类别的特征,在学习的教师模型的目标提取器与当前学生模型之间进行增量特征语义知识蒸馏,同时利用语义对抗学习模块区分新类别的特征表示和基础类别的特征表示。本发明有效提升了小样本条件下点云跨域迁移学习的精度。

技术研发人员:戴莫凡,邢帅,徐青,汪汉云,李鹏程,王丹菂,张国平,高铭,刘少聪,陈丽,孔瑞瑶,刘季坤
受保护的技术使用者:中国人民解放军网络空间部队信息工程大学
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-29372.html