本发明涉及计算机视觉，更具体的说是涉及一种基于深度学习的激光雷达点云新类别发现的语义分类方法及系统。
背景技术：
1、三维激光雷达点云语义分割是对点云中每个点进行不同分类的任务，在自动驾驶、机器人导航、智能城市等许多领域都有着重要的应用。随着深度学习的不断发展，现有方法的成功在很大程度上依赖于大量的标注数据，而这些数据往往难以获得或代价昂贵。相比之下，未标注的数据更丰富且容易获取。一些学者引入了新类别发现(novel classdiscovery,ncd)问题，该问题的目的是利用一组标记数据的知识将未标记数据分类为不同的类，其中标记数据和未标记数据中的类是不相交的。新类别发现(novel classdiscovery,ncd)是一项尝试从未标记的数据中发现学习新类别的任务。目前主要有两种解决该问题的方法类型：多阶段学习方法和联合学习方法。
2、多阶段学习方法即包含多个训练阶段的学习方法，这些方法通常首先在有标记数据上进行预训练，然后再使用预训练的模型在完整的数据上进行调优。其中，对于无标记数据部分，在调优之前，使用预训练模型的编码器计算得到相应特征后借助聚类方法赋予伪标签，随后使用生成的伪标签和真实标签一起对模型进行调优。该类方法的问题存在两个问题：第一，由于预训练是基于已知类别数据进行的，因此预训练的编码器在新类别中往往表现很差，最终聚类得到的伪标签噪声较多。第二，为了能够给数据生成伪标签，我们需要在线得到所有未知数据的特征，随后对其进行聚类以获取伪标签。对于分割任务而言，需要获取像素级别或者点级别的特征，这样庞大的数据量是灾难级的。
3、不同于多阶段学习，联合学习方法尝试在一个训练阶段中同时学习标记数据和未标记数据。这类方法在训练期间使用一个单独的分类器来为无标记数据生成伪标签信息，并直接使用伪标签以及真实标注信息通过交叉熵来训练一个完整的分类器。为了提高伪标签的质量，以往的方法均使用了深度聚类的方式来约束伪标签的生成。这种方法会强制性的将伪标签结果进行均匀划分，以避免结果退化的情况出现(所有的伪标签被分到了同一个类别中)。因此，这类方法往往假设各类未知数据的数量相对均衡，而这个假设很明显并非总是成立的。同时，我们的实验结果也表明，当类别数量失衡时，这种方法的性能会急剧的下降。
4、因此，如何避免出现无法处理类别数量失衡情况以及在已知类别上过拟合是本领域技术人员亟需解决的问题。
技术实现思路
1、有鉴于此，本发明提供了一种基于深度学习的激光雷达点云新类别发现的语义分类方法及系统，有助于避免出现无法处理类别数量失衡情况以及在已知类别上过拟合的问题。
2、为了实现上述目的，本发明采用如下技术方案：
3、一种基于深度学习的激光雷达点云新类别发现的语义分类方法，包括：
4、获取点云场景数据并进行预处理得到第一坐标数据和第二坐标数据；
5、将所述第一坐标数据和所述第二坐标数据输入至编码器，对应得到第一点特征和第二点特征；
6、基于所述第一点特征和所述第二点特征进行处理，对应得到多个第一标注簇、多个第一未标注簇和多个第二标注簇、多个第二未标注簇，共同组成簇集合；
7、基于所述簇集合与目标优化函数对所述编码器进行训练，得到训练好的编码器；
8、将所述点云场景数据分批次输入至所述训练好的编码器，得到点云场景特征；基于所述点云场景特征得到标注特征和未标注特征；
9、基于所述标注特征计算各个类别的平均值得到类别原型；基于所述未标注数据进行聚类得到未知类别原型；
10、基于所述类别原型和所述未知类别原型组成分类器；基于所述分类器和所述训练好的编码器组成预测模型；
11、将待测点云场景数据输入至所述预测模型，得到预测类型结果。
12、优选的，所述预处理包括：
13、基于所述点云场景数据进行刚体变化，得到点云场景在第一视图下的所述第一坐标数据，在第二视图下的所述第二坐标数据；
14、所述第一视图和所述第二视图点云形状结构完全相同，位置和朝向不同。
15、优选的，基于所述第一点特征和所述第二点特征进行处理，具体包括：
16、基于所述第一点特征划分得到多个第一标注点特征和多个第一未知点特征；
17、基于所述第二点特征划分得到多个第二标注点特征和多个第二未知点特征；
18、基于所有的所述第一标注点特征和所述第二标注点特征分别进行第一分簇处理，对应得到多个第一标注簇和多个第二标注簇；
19、基于所有的所述第一未知点特征和所述第二未知点特征分别进行第二分簇处理，对应得到多个第一未标注簇和多个第二未标注簇。
20、优选的，所述第一分簇处理包括：
21、基于所有的所述第一标注点特征和所述第二标注点特征分别根据类别信息进行划分，将同一类中所有的点特征进行聚合，对应得到多个所述第一标注簇和多个所述第二标注簇；
22、所述第二分簇处理包括：
23、基于所有的所述第一未知点特征和所述第二未知点特征分别进行聚类，对应得到第一初始簇和第二初始簇；
24、基于所述点云场景数据得到点特征直方图；
25、基于所述点特征直方图分别对所述第一初始簇和所述第二初始簇进行聚类，对应得到多个所述第一未标注簇和多个所述第二未标注簇。
26、优选的，基于所述簇集合与目标优化函数对所述编码器进行训练，具体包括：
27、基于所述簇集合中的多个所述第一标注簇、多个所述第一未标注簇、多个所述第二标注簇和多个所述第二未标注簇分别计算簇特征，对应得到多个第一标注簇特征、多个第一未标注簇特征、多个第二标注簇特征和多个第二未标注簇特征，共同组成簇特征集；
28、基于所述簇特征集与所述目标优化函数对所述编码器进行训练；
29、所述簇特征计算公式均为：
30、
31、其中，fc表示簇特征，k表示对应簇中的点的数量，表示对应簇c中的第k个点对应提取的特征,q表示模型输出的特征维度。
32、优选的，将训练过程中的所述簇特征集缓存到缓冲列队；
33、将当前批训练数据与所述缓冲列队中的数据进行拼接作为最终训练数据；
34、基于所述最终训练数据对所述编码器进行训练。
35、优选的，所述目标优化函数l为：
36、l＝(1-λ)ls+λlu
37、
38、
39、其中，λ表示无监督损失的权重系数，ls表示监督对比学习目标函数，lu表示无监督的目标函数，n(i)表示了同一个批次中和第一视图xi属于同一个类别的其他点，zi＝φ(fξ(xi))，fξ表示编码器，φ表示多层感知机投影头，1n≠i表示指示函数，zq和zn分别表示同一个批次中和xi属于同一个类别以及不同类别所提取得到的特征，τ表示温度系数，lcluster和分别表示簇内一致性约束损失函数和簇间无监督对比损失函数，α表示簇内一致性约束损失函数的权重系数。
40、优选的，得到类别原型，具体包括：
41、将所述标注特征放入临时缓存；
42、逐批次迭代过程中，将各个批次中提取的新特征放入所述临时缓存，并更新各个类别的特征平均值，得到更新平均值；
43、基于所述临时缓存去除距离所述更新平均值大于第一阈值的特征，遍历所有所述点云场景数据后，基于所述临时缓存中的特征数据根据类别得到平均值作为所述类别原型。
44、优选的，得到未知类别原型，具体包括：
45、基于聚类算法对所述未标注特征进行聚类，得到第一聚类中心；
46、基于所述第一聚类中心对所述未标注特征进行采样缓存，得到距离所述第一聚类中心小于第二阈值的多个未标注特征作为缓存特征，得到缓存数据集；
47、基于聚类算法对所述缓存数据集中的未标注特征进行聚类，得到第二聚类中心作为所述未知类原型。
48、一种基于深度学习的激光雷达点云新类别发现的语义分类系统，包括：数据处理模块、特征提取模块、簇集合获取模块、训练模块、原型获取模块、预测模型构建模块和结果输出模块；
49、所述数据处理模块，用于获取点云场景数据并进行预处理得到第一坐标数据和第二坐标数据；
50、所述特征提取模块，用于将所述第一坐标数据和所述第二坐标数据输入至编码器，对应得到第一点特征和第二点特征；
51、所述簇集合获取模块，用于基于所述第一点特征和所述第二点特征进行处理，对应得到多个第一标注簇、多个第一未标注簇和多个第二标注簇、多个第二未标注簇，共同组成簇集合；
52、所述训练模块，用于基于所述簇集合与目标优化函数对所述编码器进行训练，得到训练好的编码器；
53、所述原型获取模块，用于将所述点云场景数据分批次输入至所述训练好的编码器，得到点云场景特征；基于所述点云场景特征得到标注特征和未标注特征；基于所述标注特征计算各个类别的平均值得到类别原型；基于所述未标注数据进行聚类得到未知类别原型；
54、所述预测模型构建模块，用于基于所述类别原型和所述未知类别原型组成分类器；基于所述分类器和所述训练好的编码器组成预测模型；
55、所述结果输出模块，用于将待测点云场景数据输入至所述预测模型，得到预测类型结果。
56、经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于深度学习的激光雷达点云新类别发现的语义分类方法及系统，有助于避免出现无法处理类别数量失衡情况以及在已知类别上过拟合的问题，具有以下
57、有益效果：
58、1、本发明使用了对比训练的方案，在解决ncd任务的同时，避免了以往基于深度聚类方案所导致了类均衡约束问题。
59、2、本发明在所有数据上应用无监督的对比学习，同时在已知数据上执行监督对比学习，可以让模型的输出特征尽可能类内聚合且类间分离。
60、3、考虑到单个点云场景可能仅包含全部类别的子集，为了能够进行更有效的对比学习，本发明使用了一个数据缓冲队列缓存训练期间各个类别模型输出的特征信息，并将其引入到训练过程中增强学习效果，缓解甚至避免单个批次内类别信息不完整的问题，从而提高最终训练的特征分类效果。
61、4、本发明采用了一种基于簇的对比学习策略，通过使用簇进行对比学习来进行训练，能够在使用对比学习训练点云分割模型的同时，有效的缓解gpu在训练期间的存储压力。
1.一种基于深度学习的激光雷达点云新类别发现的语义分类方法，其特征在于，包括：
2.根据权利要求1所述的一种基于深度学习的激光雷达点云新类别发现的语义分类方法，其特征在于，所述预处理包括：
3.根据权利要求1所述的一种基于深度学习的激光雷达点云新类别发现的语义分类方法，其特征在于，基于所述第一点特征和所述第二点特征进行处理，具体包括：
4.根据权利要求3所述的一种基于深度学习的激光雷达点云新类别发现的语义分类方法，其特征在于，所述第一分簇处理包括：
5.根据权利要求1所述的一种基于深度学习的激光雷达点云新类别发现的语义分类方法，其特征在于，基于所述簇集合与目标优化函数对所述编码器进行训练，具体包括：
6.根据权利要求1所述的一种基于深度学习的激光雷达点云新类别发现的语义分类方法，其特征在于，将训练过程中的所述簇特征集缓存到缓冲列队；
7.根据权利要求1所述的一种基于深度学习的激光雷达点云新类别发现的语义分类方法，其特征在于，所述目标优化函数l为：
8.根据权利要求1所述的一种基于深度学习的激光雷达点云新类别发现的语义分类方法，其特征在于，得到类别原型，具体包括：
9.根据权利要求1所述的一种基于深度学习的激光雷达点云新类别发现的语义分类方法，其特征在于，得到未知类别原型，具体包括：
10.一种基于深度学习的激光雷达点云新类别发现的语义分类系统，其特征在于，包括：数据处理模块、特征提取模块、簇集合获取模块、训练模块、原型获取模块、预测模型构建模块和结果输出模块；
