本发明涉及计算机视觉和小目标识别，尤其涉及一种基于深度优化的视觉检测菌群识别及计数方法。
背景技术：
1、食品检验检测是确保食品安全与卫生的关键环节，其涵盖了食品生产、加工、储存、运输及销售等各个环节的质量与安全性评估。该过程不仅直接关系到消费者的健康与生命安全，而且对于食品质量管理以及食品行业的可持续发展具有基础性的作用。鉴于其重要性，食品检验检测评估在全球范围内被广泛实施，并且将持续得到应用。
2、然而，现行的食品检验检测体系通常需要对标准培养基中培养的细菌总数进行计数，这在一定程度上限制了检测的效率和准确性。因此，对现有技术和实践进行改进是十分必要的，任何能够提高检测精确度和效率的创新都应受到鼓励和赞赏。
3、目前，食品检验检测领域主要采用两种细菌计数方法。第一种是平板计数法，该方法涉及将待检样品稀释后接种至培养基平板中，经过一定时间的培养以形成菌落形成单位(colony-forming units,cfu)。cfu是指在琼脂平板上，经过特定温度和时间培养后形成的每个菌落，它被广泛用作细菌或霉菌数量的度量单位。第二种方法是膜过滤计数法，通过将待检样品过滤至膜上，然后将膜转移至培养基中进行培养，同样计数cfu。尽管通过培养皿或膜上的菌落数量可以估算细菌的活菌数，但人工计数过程不仅耗时耗力，而且存在较高的误差率。此外，cfu计数的准确性受限于培养基的特性、培养条件以及微生物的生理状态等多种因素，导致即使在相同条件下，不同操作者得到的计数结果也可能存在差异。
4、目前普遍采用两种方法：人工计数，由经验丰富的检测师根据规则和经验对培养皿中的菌群进行计数；以及设备计数，使用市场上现有的自动计数器进行操作。然而，人工方法存在劳动强度大、主观性强、误差率高的问题，而设备方法则受限于应用范围狭窄、适应性差和兼容性不足。
5、解决这一问题的研究工作已有文献介绍，主要在以下三个技术路线下展开。
6、第一是基于经典图像处理方法，例如otsu和canny方法因其计算效率而在菌群图像分割中得到广泛应用，如果单纯从图像处理效果的角度来看是可以令人满意的，但在菌群识别计数处理方面无法满足要求，原因在于该方法无法实现批量处理，每张图片所需的阈值各异，识别效率低下，且无法稳定输出和进行标准化评估。
7、第二是免费开源工具。opencfu和cellprofiler都是该领域较为流行的检测、计数和量化菌落形成单位(cfu)工具。但opencfu虽然参数设置简单，但其严格的cfu选择标准限制了其应用范围，更适合圆形且分离度高的目标。cellprofiler虽然集成了多种图像处理算法，但其核心方法论仍局限于图像技术处理层面，且参数众多，操作繁琐，不适合工业化应用场景。
8、第三是结合机器学习算法和深度学习模型的方法，例如welikala等人提出了一种基于unet-like架构的深度学习模型，通过二值分割定位菌群，并结合权重图提高对拥挤细胞边界的识别。anantharaman等人展示了如何使用开源深度学习技术来分析细菌显微镜图像，包括图像分割、对象检测和去噪等任务。
9、以上方法在各自领域进行了很好的探索，但都基于特定对象，如细胞，对食品检测领域的复杂菌群形态没有给出解决方案。
10、因此，如何提供一种基于深度优化的视觉检测菌群识别及计数方法是本领域技术人员亟需解决的问题。
技术实现思路
1、本发明的一个目的在于提出一种基于深度优化的视觉检测菌群识别及计数方法，本发明利用优化的yolo-v7深度学习模型，通过自动化图像处理与数据增强，实现高效精准的菌群识别计数，具有高准确性、低误差率和广泛适应性的优点。
2、根据本发明实施例的一种基于深度优化的视觉检测菌群识别及计数方法，包括如下步骤：
3、s1、图像采集：通过图像采集系统获取菌群图像；
4、s2、图像预处理：使用python的opencv库对采集到的菌群图像进行预处理；
5、s3、数据标注：使用labelimg软件对预处理后的菌群图像进行标注，将识别目标分为多个类别；
6、s4、数据集扩充：通过数据增强方法扩充训练数据集；
7、s5、模型优化：对原始yolo-v7模型进行优化，包括新增小目标检测层和优化锚定框；
8、s6、模型训练：使用优化后的yolo-v7模型对训练数据集进行训练；
9、s7、结果验证：利用独立测试集评估模型，计算f1-score和map指标，验证模型的准确性和稳定性；
10、s8、实际应用：提供可视化用户界面和数据存储功能。
11、进一步的，所述图像采集系统包括机架、工业相机、led环形光源、mini工控机、采集卡和显示器；所述工业相机为海康彩色面积阵列型号，具备1.2英寸的目标面和1200万像素的分辨率；所述led环形光源功率为10瓦，色温设定为6500k。
12、更进一步，所述s2具体包括：
13、s21、以培养皿中心为原点，将原始图像从1920×1080像素裁剪至960×960像素，裁切的原因是图像中的非有效区的干扰因素太多；
14、s22、对图像非有效区域进行净化处理，将四角非有效区域设置为全白像素[255,255,255]，以减少对卷积神经网络特征提取的干扰；
15、s23、使用3×3高斯核对图像进行锐化处理，突出边缘并保留图像细节。
16、更进一步，所述数据标注类别包括按菌群形态进行划分的类别和按菌群所属科目进行划分的类别。这样划分的目的是以项目的研究目的为导向的，项目的研究目的是以菌群的计数为首要目标，而对菌群的所属科目的识别是次要目标，因为菌群的所属科目是需要经过严格的实验鉴定的过程，而不能仅凭形态上的类似加以确认。
17、更进一步，所述数据增强包括旋转、添加高斯噪声和亮度变化，通过结合python图像处理模块与labelimg程序，自动化并高精度地处理图像；所述数据增强的互换公式为：
18、逆时针旋转90°时：x′＝1-y；y′＝x；w′＝h；h′＝1-w；
19、顺时针旋转90°时：x′＝y；y′＝1-x；w′＝h；h′＝1-w；
20、其中，x、y、w和h分别表示转换前的横坐标、纵坐标、宽度和高度；x′、y′、w′和h′分别表示转换后的横坐标、纵坐标、宽度和高度。
21、更进一步，所述模型优化的原始yolo-v7模型包括三个检测层和对应三组初始化的锚定框值，第75层的检测层用于检测8×8像素以上的目标，第88层用于检测16×16像素以上的目标，第101层用于检测32×32像素以上的目标；
22、所述新增小目标检测层的新型网络结构包括：
23、在第75层对特征图进行上采样操作，扩大特征图的尺寸；
24、在第77层将160×160像素的特征图与骨干网络中的第11层特征图进行融合，用于获得更大的特征图以用于小目标检测；
25、在第87层增加一个160×160像素的检测层，用于检测4×4像素以上的目标。
26、更进一步，所述优化锚定框包括使用1000次迭代的k-means聚类算法重新计算锚定框的大小和比例。
27、更进一步，开发可视化用户界面的应用程序，支持云部署和本地部署，实现从图像采集、预处理、上传到自动检测技术，再到人工审核、修订和入库的全流程操作。
28、更进一步，所述程序具备菌群图片的存储、分类、检索、可视化以及对菌群类别数量进行简单分析和预警的功能。
29、本发明的有益效果是：
30、(1)提高菌群识别和计数的准确性：通过使用深度学习技术，尤其是优化后的yolo-v7模型，该方法能够显著提高菌群识别和计数的准确性。相比于传统的人工计数方法和现有的自动化设备，本发明能够减少误差率，提高检测结果的一致性。
31、(2)提高检测效率：该方法通过自动化图像采集、预处理和数据标注等步骤，显著减少了人工操作的时间和劳动强度。数据增强技术和优化后的模型训练方法进一步提高了检测效率，能够在较短时间内处理大量样本。
32、(3)适应多种菌群形态：本发明能够处理多种菌群形态，包括单倍菌、双倍菌、链状菌等不同形态的菌群，具有广泛的适用性。通过优化锚定框和增加小目标检测层，模型能够准确识别并计数不同形态的菌群，适应性强。
33、(4)减少漏检和误检现象：优化后的yolo-v7模型在检测过程中能够有效减少漏检和误检现象，尤其是对小目标菌群的检测更加精准。新增的小目标检测层和重新配置的锚定框使得模型能够更好地处理复杂背景和多样化的菌群形态。
34、(5)提高全面的检测解决方案：该方法不仅包括图像采集和预处理，还提供了数据标注、模型训练、结果验证和实际应用的全流程解决方案。通过开发用户友好界面的应用程序，支持云部署和本地部署，实现从图像采集到结果输出的全自动化流程，方便用户使用。
35、(6)增强数据存储和分析能力：开发的应用程序具备菌群图片的存储、分类、检索、可视化及简单分析和预警功能。用户可以方便地管理和分析检测数据，进一步提高食品检验检测的质量和效率。
1.一种基于深度优化的视觉检测菌群识别及计数方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于深度优化的视觉检测菌群识别及计数方法，其特征在于，所述图像采集系统包括机架、工业相机、led环形光源、mini工控机、采集卡和显示器；所述工业相机为海康彩色面积阵列型号，具备1.2英寸的目标面和1200万像素的分辨率；所述led环形光源功率为10瓦，色温设定为6500k。
3.根据权利要求1所述的一种基于深度优化的视觉检测菌群识别及计数方法，其特征在于，所述s2具体包括：
4.根据权利要求1所述的一种基于深度优化的视觉检测菌群识别及计数方法，其特征在于，所述数据标注类别包括按菌群形态进行划分的类别和按菌群所属科目进行划分的类别。
5.根据权利要求1所述的一种基于深度优化的视觉检测菌群识别及计数方法，其特征在于，所述数据增强包括旋转、添加高斯噪声和亮度变化，通过结合python图像处理模块与labelimg程序，自动化并高精度地处理图像；所述数据增强的互换公式为：
6.根据权利要求1所述的一种基于深度优化的视觉检测菌群识别及计数方法，其特征在于，所述模型优化的原始yolo-v7模型包括三个检测层和对应三组初始化的锚定框值，第75层的检测层用于检测8×8像素以上的目标，第88层用于检测16×16像素以上的目标，第101层用于检测32×32像素以上的目标；
7.根据权利要求1所述的一种基于深度优化的视觉检测菌群识别及计数方法，其特征在于，所述优化锚定框包括使用1000次迭代的k-means聚类算法重新计算锚定框的大小和比例。
8.根据权利要求1所述的一种基于深度优化的视觉检测菌群识别及计数方法，其特征在于，开发可视化用户界面的应用程序，支持云部署和本地部署，实现从图像采集、预处理、上传到自动检测技术，再到人工审核、修订和入库的全流程操作。
9.根据权利要求8所述的一种基于深度优化的视觉检测菌群识别及计数方法，其特征在于，所述程序具备菌群图片的存储、分类、检索、可视化以及对菌群类别数量进行简单分析和预警的功能。
