基于DeepSORT的目标动态跟踪方法、系统、设备和介质与流程

专利2025-11-29  3


本发明涉及计算机视觉,特别是涉及一种基于deepsort的目标动态跟踪方法、系统、设备和介质。


背景技术:

1、近年来现代农业结合计算机视觉技术的各种智能设备在农业生产中的应用日益普及,并且成为农业领域的研究热点。具体到苹果生产方面,基于深度学习目标检测技术可以通过相机或无人机航拍的图片或视频进行苹果识别、产量预测、病虫害识别,也可以通过图像信息对苹果果实进行优劣分级等,这些技术极大地推动了苹果生产管理的智能化发展。其中,利用目标检测技术对苹果果实进行精确识别后再预测产量对果园的经营与管理有着重要意义,能够为果农提供果园产量的信息。

2、用于农作物产量估算的传统技术在一定程度上仍然存在诸多问题,例如滑动窗口导致图像边界不清晰、目标特征设计复杂、可移植性差、人工设计繁琐等问题。因此越来越多的基于深度学习的目标检测算法被应用于农业生产中。这些算法根据算法实现流程大致可以分为单阶段和两阶段算法。经典的两阶段目标检测算法有r-cnn、fast r-cnn、fasterr-cnn等。相较于两阶段算法,单阶段算法冗余计算更少,检测速度更快,对硬件性能要求更低。代表性的单阶段算法有yolov系列、ssd等。单阶段算法省去了生成候选目标区域的步骤,直接在输入图像上预测目标的类别或位置,检测速度得到了较大的提升,因此在农业领域得到了广泛应用。

3、现有苹果数量检测方法大多都是基于静态图像进行实验的,拍摄的静态图像视角单一,视野有限。此外,在拍摄过程中会出现相同区域的苹果出现在不同的图像中,从而导致重复计数,很难对苹果进行自动准确的计数,直接影响了产量估计的准确性。


技术实现思路

1、本发明的目的是提供一种基于deepsort的目标动态跟踪方法、系统、设备和介质,用于解决现有技术中相同区域的目标出现在不同图像中被重复计数直接影响计数准确性的技术问题。

2、为解决上述技术问题,作为本发明的一个方面,提供了一种基于deepsort的目标动态跟踪方法,包括以下步骤:

3、将视频流数据输入目标检测器以使所述目标检测器按帧依次输出目标的检测框信息;

4、给t帧中每个目标检测框对应的目标分配目标id;其中,t为大于0的整数;

5、根据目标在t帧的检测框信息,预测目标在t+1帧的预测框信息;

6、根据t+1帧的检测框信息和t+1帧的预测框信息,将t+1帧的预测框和检测框进行iou匹配;

7、在t+1帧中iou匹配成功的检测框对应的目标分配对应于t帧的目标id;

8、当一个目标的预测框和检测框连续n帧iou匹配后,将n帧后的每一帧中的目标与连续n帧iou匹配后的目标进行级联匹配;其中,n为大于1的整数;

9、统计级联匹配成功的目标id,以作为检测结果。

10、进一步的,所述检测框信息包括检测框的宽、高和检测框中心点坐标,所述预测框信息包括预测框的宽、高和预测框中心点坐标;所述根据目标在t帧的检测框信息,预测目标在t+1帧的预测框信息,包括:

11、根据目标在t帧的检测框宽、高和检测框中心点坐标,计算出目标的状态矩阵;其中,所述状态矩阵包括目标在t帧的检测框中心点坐标、检测框的宽高比、高度、以及中心点坐标、宽高比和高度的变化率;

12、根据目标的状态矩阵,通过卡尔曼滤波计算出目标在t+1帧的预测框信息。

13、进一步的,所述将n帧后的每一帧中的目标与连续n帧iou匹配后的目标进行级联匹配,包括:

14、在连续n帧中选取一帧以利用reid网络提取iou匹配后的目标在该帧中的第一外观特征信息,以及通过该目标的检测框信息获取该目标在该帧中的第一位置信息;

15、在n帧后的当前帧中,利用reid网络提取当前帧中所有目标的第二外观特征信息,以及通过预测框信息获取当前帧中所有目标的第二位置信息;

16、根据所述第一外观特征信息和所述第二外观特征信息、以及所述第一位置信息和所述第二位置信息,计算出代价矩阵;

17、根据代价矩阵,通过匈牙利匹配算法完成级联匹配。

18、进一步的,所述根据所述第一外观特征信息和所述第二外观特征信息、以及所述第一位置信息和所述第二位置信息,计算出代价矩阵,包括:

19、根据所述第一外观特征信息和所述第二外观特征信息,计算外观特征信息的余弦距离;

20、根据所述第一位置特征信息和所述第二位置特征信息,计算位置信息的马氏距离;

21、根据所述外观特征信息的余弦距离和所述位置信息的马氏距离,构建代价矩阵。

22、进一步的,所述第一外观特征信息和所述第二外观特征信息至少均包括目标的大小、形状和颜色。

23、进一步的,还包括:当有多个目标完成连续n帧iou匹配后,将多个目标按照连续iou匹配的帧数的大小对该多个目标进行优先级排序,以使n帧后的每一帧中的目标优先与优先级高的目标进行级联匹配;其中,连续iou匹配的帧数越多,优先级越高。

24、进一步的,还包括:删除iou匹配失败的预测框。

25、作为本发明的第二个方面,提供了一种基于deepsort的目标动态跟踪系统,包括:

26、检测模块,用于将视频流数据输入目标检测器以使所述目标检测器按帧依次输出目标的检测框信息;

27、第一id分配模块,用于给t帧中每个目标检测框对应的目标分配目标id;其中,t为大于0的整数;

28、预测模块,用于根据目标在t帧的检测框信息,预测目标在t+1帧的预测框信息;

29、iou匹配模块,用于根据t+1帧的检测框信息和t+1帧的预测框信息,将t+1帧的预测框和检测框进行iou匹配;

30、第二id分配模块,用于在t+1帧中iou匹配成功的检测框对应的目标分配对应于t帧的目标id;

31、级联匹配模块,用于当一个目标的预测框和检测框连续n帧iou匹配后,将n帧后的每一帧中的目标与连续n帧iou匹配后的目标进行级联匹配;其中,n为大于1的整数;

32、统计模块,用于统计级联匹配成功的目标id,以作为检测结果。

33、作为本发明的第三个方面,提供一种电子设备,包括:

34、一个或多个处理器;

35、存储装置,用于存储一个或多个程序;

36、当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述第一方面所述的方法。

37、作为本发明的第四个方面,提供一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现上述第一方面所述的方法。

38、本发明的有益效果是:

39、本发明是对目标视频(而非静态图像)进行计数,解决了由于拍摄静态图像视角单一和视野有限的问题;另外,本发明将不同图像中iou匹配成功的两个目标分配相同的id,且连续多帧iou匹配后进行级联匹配,只有级联匹配成功的目标id才被统计到检测结果中,减小id跳变对计算准确率的影响,解决了相同区域的目标出现在不同图像中被重复计数直接影响计数准确性的问题。


技术特征:

1.一种基于deepsort的目标动态跟踪方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于deepsort的目标动态跟踪方法,其特征在于,所述检测框信息包括检测框的宽、高和检测框中心点坐标,所述预测框信息包括预测框的宽、高和预测框中心点坐标;所述根据目标在t帧的检测框信息,预测目标在t+1帧的预测框信息,包括:

3.根据权利要求2所述的基于deepsort的目标动态跟踪方法,其特征在于,所述将n帧后的每一帧中的目标与连续n帧iou匹配后的目标进行级联匹配,包括:

4.根据权利要求3所述的基于deepsort的目标动态跟踪方法,其特征在于,所述根据所述第一外观特征信息和所述第二外观特征信息、以及所述第一位置信息和所述第二位置信息,计算出代价矩阵,包括:

5.根据权利要求3所述的基于deepsort的目标动态跟踪方法,其特征在于,所述第一外观特征信息和所述第二外观特征信息至少均包括目标的大小、形状和颜色。

6.根据权利要求1所述的基于deepsort的目标动态跟踪方法,其特征在于,还包括:当有多个目标完成连续n帧iou匹配后,将多个目标按照连续iou匹配的帧数的大小对该多个目标进行优先级排序,以使n帧后的每一帧中的目标优先与优先级高的目标进行级联匹配;其中,连续iou匹配的帧数越多,优先级越高。

7.根据权利要求1所述的基于deepsort的目标动态跟踪方法,其特征在于,还包括:删除iou匹配失败的预测框。

8.一种基于deepsort的目标动态跟踪系统,其特征在于,包括:

9.一种电子设备,其特征在于,包括:

10.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。


技术总结
本发明涉及计算机视觉技术领域,提供一种基于DeepSORT的目标动态跟踪方法、系统、设备和介质,解决了现有技术中相同区域的目标出现在不同图像中被重复计数直接影响计数准确性的问题。其中,该方法包括:将视频流数据输入目标检测器以使所述目标检测器按帧依次输出目标的检测框信息;给t帧中每个目标检测框对应的目标分配目标ID;预测目标在t+1帧的预测框信息;将t+1帧的预测框和检测框进行IOU匹配;在t+1帧中IOU匹配成功的检测框对应的目标分配对应于t帧的目标ID;当连续N帧IOU匹配后,将N帧后的每一帧中的目标与连续N帧IOU匹配后的目标进行级联匹配;统计级联匹配成功的目标ID,以作为检测结果。

技术研发人员:曹动,向绍华,颜振宇
受保护的技术使用者:湖南科天健光电技术有限公司
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-28175.html