本发明属于病理图像处理，具体涉及一种基于自监督学习和多任务学习的病理图像分析方法及设备。
背景技术：
1、在肿瘤诊断领域，病理图像诊断被视为不可动摇的金标准。对于结直肠癌而言，病理学家通过对组织切片进行的组织病理学评估是确诊的关键。因此，苏木精和伊红染色（h&e）的组织切片成为结直肠癌患者诊断的常规程序。
2、病理医生必须借助显微镜，细致观察组织切片的形态特征和细胞结构，进而提供精确的病理学评估。然而，由于病理图像的复杂性和庞大性，这一传统诊断方法面临诸多挑战：它不仅难度大、专业要求高，而且存在漏诊风险，诊断结果在一定程度上也受到病理医生主观判断的影响。这些问题一直是肿瘤研究领域的热点和难点，亟待通过技术创新来解决。
3、众多研究均表明，深度学习技术能够直接从数字化h&e染色的结直肠癌组织切片中进行分析，有助于结直肠癌的诊疗流程。
4、随着人工智能的发展，一系列基于人工智能技术的结直肠癌分析方法开始涌现，通过设计针对性的网络架构以及对h&e病理图像的深度学习，使训练好的神经网络模型可以对结直肠癌微卫星状态进行分析，一定程度上弥补了传统方法的不足。
5、然而，该系列方法也存在以下问题：
6、第一，标注成本巨大，尤其对于分割类型的任务，需要医生手动勾画肿瘤区域或者感兴趣区域，或由医生手动勾画后训练出来的分类模型帮助进行筛选。此过程也会引入病理医生主观勾画的差异，对结果造成一定影响。
7、部分方法为了避免病理医生的勾画差异，在模型中，会引入预训练好的肿瘤识别的模型来帮助判断图像块tiles是否是肿瘤，或是分割模型，将肿瘤区域识别出来。但对这些模型，在其训练的时候，也依然需要病理医生先手动勾画。
8、第二，任务单一，泛化性差，精度无法达到临床的要求。虽然越来越多的深度学习模型在算法精度上，取得了越来越好的效果，但大部分都是建立在特定的数据集上，一旦采用了临床数据集，则精度会下降，达不到临床使用的目的。
技术实现思路
1、为了解决上述技术问题，本发明提出了一种基于自监督学习和多任务学习的病理图像分析方法及设备。
2、为了达到上述目的，本发明的技术方案如下：
3、一方面，本发明公开一种基于自监督学习和多任务学习的病理图像分析方法，包括：
4、步骤s1：收集若干无标签信息的病理图像以及若干具有标签信息的病理图像，标签信息包括：具有对肿瘤区域或者感兴趣区域的分割标注的标注图以及癌症严重程度的分级标注；
5、步骤s2：将收集的无标签信息的病理图像划分为若干图像块，形成无标签数据集；
6、将收集的具有标签信息的病理图像的原图及对应标注图划分为若干图像块，形成有标签数据集；
7、步骤s3：建立自监督学习模型和多任务学习模型；
8、自监督学习模型用于对图像块进行特征提取，分别获取块编码特征和类编码特征；
9、多任务学习模型用于基于块编码特征和类编码特征，执行分割任务，且将获得的肿瘤区域或者感兴趣区域的分割预测结果辅助分级任务，获得癌症严重程度的分级预测结果；
10、步骤s4：利用无标签数据集对自监督学习模型进行训练；
11、步骤s5：利用训练好的自监督学习模型对有标签数据集进行特征提取，分别获取块编码特征和类编码特征；
12、再利用获取的块编码特征和类编码特征对多任务学习模型进行训练；
13、步骤s7：将待分析的病理图像划分为若干图像块，并使用训练好的自监督学习模型、多任务学习模型对其进行预测，获得肿瘤区域或者感兴趣区域的分割预测结果及癌症严重程度的分级预测结果。
14、在上述技术方案的基础上，还可做如下改进：
15、作为优选的方案，步骤s2包括：
16、步骤s2.1：将收集的所有病理图像归一到同样的像素大小和分辨率；
17、步骤s2.2：将每个无标签信息的病理图像按照固定尺寸划分为互不重叠的若干图像块，形成无标签数据集；
18、步骤s2.3：将每个具有标签信息的病理图像的原图及标注图均按照同样的固定尺寸划分为互不重叠的若干图像块；
19、对标注图划分后的所有图像块进行筛选，删除肿瘤区域或者感兴趣区域的像素值占比低于阈值的图像块，并形成有标签数据集。
20、作为优选的方案，步骤s5包括：
21、步骤s5.1：利用训练好的自监督学习模型对有标签数据集进行特征提取，分别获取块编码特征和类编码特征；
22、步骤s5.2：将步骤s5.1获得的块编码特征和类编码特征输入多任务学习模型，执行分割任务和分级任务；
23、分割任务：将步骤s5.1获取的块编码特征通过卷积层进行解码，再经过softmax函数归一化，输出像素级别的分割预测结果；
24、分级任务：将步骤s5.1获取的块编码特征通过卷积层进行解码，经过池化层进行池化，经过全连接层获得查询键；
25、将查询键和步骤s5.1获取的块编码特征进行注意力机制加权，计算块编码特征和类编码特征的相关程度，最后经过分类网络获得分级预测结果。
26、作为优选的方案，步骤s5中，使用动态的损失函数训练多任务学习模型，具体如下：
27、；
28、；
29、；
30、；
31、；
32、其中：
33、与分别为分割任务中像素i的标签值与预测值，n为像素点总个数；
34、与分别为分级任务的真实标签与预测结果，c为分级类别数量，n为测试样本数量；
35、、分别为调节因子，epoch为当前迭代次数，epochs为训练多任务学习模型需要的迭代次数。
36、作为优选的方案，病理图像分析方法还包括：
37、步骤s6：使用若干评价指标对多任务学习模型中的分割任务和分级任务进行评估。
38、此外，另一方面，本发明还公开一种基于自监督学习和多任务学习的病理图像分析设备，包括：
39、病理图像收集模块，用于收集若干无标签信息的病理图像以及若干具有标签信息的病理图像，标签信息包括：具有对肿瘤区域或者感兴趣区域的分割标注的标注图以及癌症严重程度的分级标注；
40、病理图像划分模块，用于将收集的无标签信息的病理图像划分为若干图像块，形成无标签数据集；
41、将收集的具有标签信息的病理图像的原图及对应标注图划分为若干图像块，形成有标签数据集；
42、模型建立模块，用于建立自监督学习模型和多任务学习模型；
43、自监督学习模型用于对图像块进行特征提取，分别获取块编码特征和类编码特征；
44、多任务学习模型用于基于块编码特征和类编码特征，执行分割任务，且将获得的肿瘤区域或者感兴趣区域的分割预测结果辅助分级任务，获得癌症严重程度的分级预测结果；
45、自监督学习模型训练模块，用于利用无标签数据集对自监督学习模型进行训练；
46、多任务学习模型训练模块，用于利用训练好的自监督学习模型对有标签数据集进行特征提取，分别获取块编码特征和类编码特征；
47、再利用获取的块编码特征和类编码特征对多任务学习模型进行训练；
48、病理图像分析模块，用于将待分析的病理图像划分为若干图像块，并使用训练好的自监督学习模型、多任务学习模型对其进行预测，获得肿瘤区域或者感兴趣区域的分割预测结果及癌症严重程度的分级预测结果。
49、作为优选的方案，病理图像划分模块包括：
50、归一化单元，用于将收集的所有病理图像归一到同样的像素大小和分辨率；
51、无标签数据集形成单元，用于将每个无标签信息的病理图像按照固定尺寸划分为互不重叠的若干图像块，形成无标签数据集；
52、有标签数据集形成单元，用于将每个具有标签信息的病理图像的原图及标注图均按照同样的固定尺寸划分为互不重叠的若干图像块；
53、对标注图划分后的所有图像块进行筛选，删除肿瘤区域或者感兴趣区域的像素值占比低于阈值的图像块，并形成有标签数据集。
54、作为优选的方案，多任务学习模型训练模块包括：
55、特征提取单元，用于利用训练好的自监督学习模型对有标签数据集进行特征提取，分别获取块编码特征和类编码特征；
56、任务执行单元，用于将特征提取单元获得的块编码特征和类编码特征输入多任务学习模型，执行分割任务和分级任务；
57、分割任务：将特征提取单元获取的块编码特征通过卷积层进行解码，再经过softmax函数归一化，输出像素级别的分割预测结果；
58、分级任务：将特征提取单元获取的块编码特征通过卷积层进行解码，经过池化层进行池化，经过全连接层获得查询键；
59、将查询键和特征提取单元获取的块编码特征进行注意力机制加权，计算块编码特征和类编码特征的相关程度，最后经过分类网络获得分级预测结果。
60、作为优选的方案，多任务学习模型训练模块使用动态的损失函数训练多任务学习模型，具体如下：；
61、 ；
62、 ；
63、；
64、；
65、其中：
66、与分别为分割任务中像素i的标签值与预测值，n为像素点总个数；
67、与分别为分级任务的真实标签与预测结果，c为分级类别数量，n为测试样本数量；
68、、分别为调节因子，epoch为当前迭代次数，epochs为训练多任务学习模型需要的迭代次数。
69、作为优选的方案，病理图像分析设备还包括：
70、模型评估模块，用于使用若干评价指标对多任务学习模型中的分割任务和分级任务进行评估。
71、本发明公开一种基于自监督学习和多任务学习的病理图像分析方法及设备，其具有以下有益效果：
72、第一，本发明建立自监督学习模型和多任务学习模型，自监督学习模型无需大量的标注，通过自监督学习的方式，从大量病理图像中，提取通用特征，再利用多任务学习模型，将分割任务和分级任务密切关联，同时提高了两个任务的预测精度。
73、第二，本发明能够加快病理图像处理效率，有助于及时发现疾病、制定治疗方案，减少病理医生的工作量，提升工作效率，尤其对于大规模的病理图像数据处理，具有重要的实际意义。
1.基于自监督学习和多任务学习的病理图像分析方法，其特征在于，包括：
2.根据权利要求1所述的病理图像分析方法，其特征在于，所述步骤s2包括：
3.根据权利要求1所述的病理图像分析方法，其特征在于，所述步骤s5包括：
4.根据权利要求1所述的病理图像分析方法，其特征在于，所述步骤s5中，使用动态的损失函数训练多任务学习模型，具体如下：
5.根据权利要求1所述的病理图像分析方法，其特征在于，所述病理图像分析方法还包括：
6.基于自监督学习和多任务学习的病理图像分析设备，其特征在于，包括：
7.根据权利要求6所述的病理图像分析设备，其特征在于，所述病理图像划分模块包括：
8.根据权利要求6所述的病理图像分析设备，其特征在于，所述多任务学习模型训练模块包括：
9.根据权利要求6所述的病理图像分析设备，其特征在于，所述多任务学习模型训练模块使用动态的损失函数训练多任务学习模型，具体如下：
10.根据权利要求6所述的病理图像分析设备，其特征在于，所述病理图像分析设备还包括：
