本发明涉及类增量学习，尤其涉及一种基于图像级后验指导和知识解耦的图像增量语义分割方法。
背景技术：
1、连续学习(continual learning,cl)源自对记忆与遗忘机制的认知神经科学研究,是一种专注于顺序获取知识的方法，亦被称为增量学习(incremental learning,il)或终身学习(lifelong learning),在过去十年里取得了显著发展。传统机器学习通常建立在固定的预定义数据集之上，无法应对连续出现的新数据和任务。连续学习的核心挑战是：模型如何在有限的计算和存储资源下平衡稳定性和可塑性，其中稳定性指模型保留先前知识的能力，可塑性指模型整合新知识的能力。
2、类增量学习(class incremental learning,cil)是一种按类别顺序不断获取知识的方法，旨在缓解灾难性遗忘问题的同时不断学习新类别。现有研究主要分为三类：回放(replay)方法包括存储旧类别的数据或特征，或生成包含旧类别的数据，以减轻灾难性遗忘。这一类方法可以进一步分为经验回放、生成回放和特征回放。正则化(regularization)方法侧重于设计损失函数，这些损失函数包含基于参数对不同任务贡献的惩罚。此类方法还依赖于知识蒸馏，通常使用前一阶段的模型作为教师模型来约束当前阶段的模型。动态架构(architecture)方法根据新数据动态调整模型参数，包括为不同数据分配特定参数和将模型参数分解为任务特定或共享部分。
3、类增量语义分割(class incremental semantic segmentation,ciss)类似于类增量学习，将任务扩展到像素级预测。类增量语义分割面临语义漂移(semantic drift)的挑战，这种现象是指随着新类逐步学习，背景类别包含内容的逐渐变化与演变。语义漂移通常由背景、旧类和未来类之间的混合语义导致。
4、对于类增量语义分割的研究，有学者首先采用蒸馏策略来缓解这一问题。还有学者利用伪标签技术进行增量分割，以解决背景转移问题，还有学者进一步结合显著性信息，在每个学习阶段引入“未知类别”的概念，并使用内存池存储旧数据，以防止灾难性遗忘。还有学者使用提案生成器来模拟未见过的类别。还有学者强调类内和类间的差异，设计了一种对比损失来调整类的特征分布。还有学者强调预先学习未来知识，以增强模型对新旧类别的区分能力。
5、上述现有技术中的增量语义分割方法大多采用动态架构，针对不同阶段的类别会分配不同的参数学习新知识，然而在模型输出阶段缺少统一的、全局的优化手段，这种独立优化方式易导致对旧类别的错误强响应，严重扰乱模型产生正确预测。
6、上述现有技术中的增量语义分割方法仅仅缓解了一部分语义偏移问题、大多针对图像前景区域进行研究，但并未解决背景中由未知类别引起的噪声语义信息对模型预测效果的影响。
技术实现思路
1、本发明提供了一种基于图像级后验指导和知识解耦的图像增量语义分割方法，以实现有效地对图像进行增量语义分割处理。
2、为了实现上述目的，本发明采取了如下技术方案。
3、一种基于图像级后验指导和知识解耦的图像增量语义分割方法，包括：
4、对原始图像数据进行数据增强处理，利用特征提取器从数据增强处理后的图像数据中获得特征图，将所述特征图并行输入到图像级后验指导分支、永久学习分支和临时学习分支中；
5、所述图像级后验指导分支利用动态平均池化、多层感知机对所述特征图进行处理，得到图像级的类别信息；
6、所述永久学习分支利用卷积层和上采样层对所述特征图进行处理，得到永久学习分支的分割结果；
7、所述临时学习分支利用增量学习头学习当前增量阶段所述特征图中存在的类别知识，得到临时学习分支的分割结果；
8、将所述永久学习分支的分割结果和所述临时学习分支的分割结果进行整合，得到聚合的中间预测结果；
9、利用所述图像级的类别信息对所述聚合的中间预测结果进行优化，得到所述原始图像数据的增量语义分割结果。
10、优选地，所述的对原始图像数据进行数据增强处理，利用特征提取器从数据增强处理后的图像数据中获得特征图，将所述特征图并行输入到图像级后验指导分支、永久学习分支和临时学习分支中，包括：
11、在增量学习的每一阶段，接受来自对应阶段的图像数据和来自记忆缓冲区的图像数据，对输入的原始图像数据经过翻转，随机裁剪数据增强处理，将数据增强处理后的图像数据输入到系统模型中，系统模型利用特征提取器从图像数据中获得特征图，特征图蕴含了图像的各类抽象信息；
12、将所述特征图并行输入到下述图像级后验指导分支、永久学习分支和临时学习分支中。
13、优选地，所述的图像级后验指导分支利用动态平均池化、多层感知机对所述特征图进行处理，得到图像级的类别信息，包括：
14、将所述特征图输入到所述图像级后验指导分支后，经过动态平均池化处理，展平成一维向量，再输入到多层感知机，被处理成形状为[b,c1:t]的类别预测结果其中b表示批次大小，c1:t表示截止到当前增量阶段模型接触的所有类别；
15、训练所述图像级后验指导分支模型时使用类别标签计算进行约束，计算二值交叉熵损失函数；
16、
17、其中，bce表示二元交叉熵损失函数，φc表示该分支的分类头，表示图像经过上一阶段的模型获得的伪类别信息。
18、优选地，所述的永久学习分支利用卷积层和上采样层对所述特征图进行处理，得到永久学习分支的分割结果，包括：
19、将原始图像数据的图像标签重新分配为：
20、
21、其中，表示求补运算符，φt―1(xi)表示上一阶段模型预测结果，s(·)是显著性检测器，是分配给永久学习分支φp的标签；
22、将所述特征图输入到所述永久学习分支φp后，特征图经过永久学习分支φp的三层卷积层和一层上采样层后，生成针对纯背景c′b和固定前景cf的分割结果，永久学习分支φp的输出数据为形状为[b,2,h,w]，其中b,h,w分别表示批次大小、输入图像的高和宽，2表示纯背景和固定前景这两个维度；
23、在所述永久学习分支φp的训练过程中，使用像素级标签利用下述公式(3)计算进行约束，并计算二值交叉熵损失函数；
24、
25、优选地，所述的临时学习分支利用增量学习头学习当前增量阶段所述特征图中存在的类别知识，得到临时学习分支的分割结果，包括：
26、将原始图像数据的图像标签额外重新分配为：
27、
28、其中，表示求补运算符，s(·)是先前工作ssul中使用的显著性检测器。是对应于当前任务t的增量学习头的标签；
29、将增量学习头作为临时学习分支，临时学习分支用于学习当前增量阶段中存在的类别知识ct，特征图经过当前增量学习头的三层卷积层和一层上采样层后，生成针对当前阶段类别ct、其余前景区域(cf―ct)、纯背景区域c′b的分割结果，临时学习分支的输出数据为形状为[b,ct+2,h,w]，其中b,h,w分别表示批次大小、输入图像的高和宽；在所述临时学习分支的训练过程中，使用像素级标签利用下述公式(5)计算进行约束，并计算二值交叉熵损失函数；
30、
31、其中，cinner表示各增量阶段对应的前景类别。
32、优选地，所述的将所述永久学习分支的分割结果和所述临时学习分支的分割结果进行整合，得到聚合的中间预测结果，包括：
33、从永久学习分支φp的输出数据[b,2,h,w]中提取针对纯背景的分割结果[b,1,h,w]，从各临时分支的输出数据{[b,ci+2,h,w]}i＝1:t中提取对各类别的分割结果{[b,ci,h,w]}i＝1:t，整合后得到聚合的中间预测结果形状为[b,c1:t+1,h,w]。
34、优选地，所述的利用所述图像级的类别信息对所述聚合的中间预测结果进行优化，得到所述原始图像数据的增量语义分割结果，包括：
35、图像级后验指导分支提供的图像级类别信息形状为[b,c1:t]，增加背景维度后变为[b,c1:t+1]，进一步扩展维度变为[b,c1:t+1,1,1]，将[b,c1:t+1,1,1]与形状为[b,c1:t+1,h,w]的中间预测结果进行逐元素相乘，得到所述原始图像数据的增量语义分割结果，该增量语义分割结果包含对图像中背景区域和各个类别区域的分割结果；
36、进行下一轮系统迭代处理，重复执行上述处理过程，直到完成所有增量学习阶段，得到所述原始图像数据的最终的增量语义分割结果。
37、由上述本发明的实施例提供的技术方案可以看出，本发明将图像类别信息用于指导增量语义分割任务，将图像级知识应用到像素级任务当中，解决了语义偏移问题。本发明方法将复杂的图像类别知识解耦为永久的静态概念和临时的动态概念，分而治之，最终整合输出结果，有效提升了模型对抗语义偏移的能力。
38、本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
1.一种基于图像级后验指导和知识解耦的图像增量语义分割方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述的对原始图像数据进行数据增强处理，利用特征提取器从数据增强处理后的图像数据中获得特征图，将所述特征图并行输入到图像级后验指导分支、永久学习分支和临时学习分支中，包括：
3.根据权利要求2所述的方法，其特征在于，所述的图像级后验指导分支利用动态平均池化、多层感知机对所述特征图进行处理，得到图像级的类别信息，包括：
4.根据权利要求2所述的方法，其特征在于，所述的永久学习分支利用卷积层和上采样层对所述特征图进行处理，得到永久学习分支的分割结果，包括：
5.根据权利要求2所述的方法，其特征在于，所述的临时学习分支利用增量学习头学习当前增量阶段所述特征图中存在的类别知识，得到临时学习分支的分割结果，包括：
6.根据权利要求2所述的方法，其特征在于，所述的将所述永久学习分支的分割结果和所述临时学习分支的分割结果进行整合，得到聚合的中间预测结果，包括：
7.根据权利要求6所述的方法，其特征在于，所述的利用所述图像级的类别信息对所述聚合的中间预测结果进行优化，得到所述原始图像数据的增量语义分割结果，包括：
