本技术涉及数据处理,特别是涉及基于多视图表示的事件相机多目标追踪方法、装置和设备。
背景技术:
1、多目标跟踪是计算机视觉领域的一项具有挑战性的任务,且应用领域十分广泛。
2、在基于帧相机领域中,多目标跟踪任务已经涌现了许多高精度方法,但是在小目标、高速运动、高动态等情况下,基于帧相机观测困难,以至于无法进行后续任务。
3、因此,事件相机领域应运而生,事件相机的优势能够降低极端环境下对弱纹理小目标的观测难度,但其不同于传统帧相机的数据编码方式,使得需要根据事件相机数据特性重新设计相应的算法。
4、现有技术中,事件数据的处理手段通常分为逐事件与伪事件帧两种;前者通常采用聚类算法,按照距离等参数进行不同目标簇的分离,虽然充分利用了数据的时空信息,但当不同运动速度的目标在时间维度上的跨度不一致时,聚类参数难以确认;后者将数据流变换成二维图像,这种方式直接压缩了部分维度的事件信息,当不同轨迹发生部分重叠或者相交时容易检测跟踪错误。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种基于多视图表示的事件相机多目标追踪方法、装置和设备,能够提高多目标追踪精度,且以更加直观的方式展示事件流的时空信息,另外还能适配多种图像分割算法。
2、基于多视图表示的事件相机多目标追踪方法,包括:
3、采用事件相机拍摄空间多目标的运动过程,得到事件流;对事件流进行分割,得到事件块;
4、对每个事件块,在时间重对齐映射后,进行多平面投影,得到每个事件块的多视图表示;
5、对每个视图,进行分割处理,并遍历所有非零像素点,得到每个视图的二维轨迹区域,轨迹区域包括多个轨迹分段;
6、对多视图,合并同一轨迹的所有轨迹分段,得到每个事件块的多个轨迹域;对每个事件块,合并同一轨迹的所有轨迹域,得到每个事件块的多个轨迹段;对所有事件块,合并同一轨迹的所有轨迹段,得到事件流的多个轨迹;
7、根据事件流的多个轨迹,完成多目标追踪。
8、在一个实施例中,对每个事件块,在时间重对齐映射后,进行多平面投影,得到每个事件块的多视图表示,包括:
9、选择三维笛卡尔直角坐标系中的三个正交平面作为多视图投影平面;
10、对每个事件块,进行时间重对齐映射,得到重对齐事件块;
11、将重对齐事件块投影到多视图投影平面,并经过多尺度的高斯金字塔,得到每个事件块的多视图表示。
12、在一个实施例中,对每个事件块,进行时间重对齐映射,包括:
13、
14、式中,t′为伪时间戳集合,t为事件块的原始时间戳集合,ti′为t′的组成元素,ti为t的组成元素,g(·)为重标号函数。
15、在一个实施例中,将重对齐事件块投影到多视图投影平面,包括:将重对齐事件块投影到xoy视图投影平面、yot视图投影平面以及tox视图投影平面;
16、其中,将重对齐事件块投影到yot视图投影平面,包括:
17、
18、式中,ei为第i个事件,(ti,xi,yi,pi)分别为第i个事件的时间戳、横坐标、纵坐标、极性,e为事件块,δ(·)为狄拉克函数。
19、在一个实施例中,对每个视图,进行分割处理,并遍历所有非零像素点,得到每个视图的二维轨迹区域,轨迹区域包括多个轨迹分段,包括:
20、使用带权梯度算子,计算每个视图的梯度幅值;
21、按照梯度幅值降序,对每个视图的所有非零像素点进行排序,作为种子列表,并以种子列表中表头的非零像素点为初始种子点;
22、搜索初始种子点的指定邻域,若存在非零像素点且未访问过,则将该非零像素点加入区域列表和种子列表的末尾,并将该非零像素点设为已访问过;否则继续搜索,直至遍历初始种子点的指定邻域;
23、以种子列表中初始种子点的下一个非零像素点为下一种子点,搜索下一种子点的指定邻域,直至遍历种子列表,以遍历完投影面所有非零像素点得到所有的轨迹提取结果,并根据区域列表,删除轨迹面积小于预设值的区域,得到每个视图的二维轨迹区域,轨迹区域包括多个轨迹分段。
24、在一个实施例中,对多视图,合并同一轨迹的所有轨迹分段,得到每个事件块的多个轨迹域,包括:
25、对多视图中包含时间轴的两个视图,将轨迹区域按照面积进行降序排列,并计算每个轨迹区域的平面区域参数;
26、以面积最大的轨迹区域为第一轨迹区域,将满足第一预设条件的所有轨迹区域合并至第一轨迹区域,得到第二轨迹区域;
27、计算第二轨迹区域的平面区域参数,并重新搜索、重新合并,直至无法合并;
28、遍历未进行合并的所有轨迹区域,进行计算、搜索、合并,以合并包含时间轴的两个视图中同一轨迹的所有轨迹分段;
29、将包含时间轴的两个视图中同一轨迹的所有轨迹分段以及不包含时间轴的所有视图的轨迹区域反投影至三维事件空间中,得到每个事件块的多个轨迹域。
30、在一个实施例中,对每个事件块,合并同一轨迹的所有轨迹域,得到每个事件块的多个轨迹段,包括:
31、对每个事件块,计算所有轨迹域的xyt空间参数;
32、取点数最多的轨迹域为第一轨迹域,并进行搜索,将满足第二预设条件的其他轨迹域合并至第一轨迹域,得到第二轨迹域,并更新第二轨迹域的xyt空间参数;
33、重新搜索、合并、更新参数,直至无法合并,遍历未进行合并的所有轨迹域,得到每个事件块的多个轨迹段。
34、在一个实施例中,对所有事件块,合并同一轨迹的所有轨迹段,得到事件流的多个轨迹,包括:
35、分别计算当前事件块以及相邻前n个事件块内所有轨迹段的xyt空间参数;
36、若前n个事件块内存在与当前事件块中轨迹满足第三预设条件的轨迹段,则合并前n个事件块与当前事件块中同一轨迹的所有轨迹段;若不满足,则继续搜索满足轨迹段延长线交点位于两轨迹段延长点内时空区域的轨迹段,并合并;直至遍历所有事件块,得到事件流的多个轨迹。
37、基于多视图表示的事件相机多目标追踪装置,包括:
38、获取模块,用于采用事件相机拍摄空间多目标的运动过程,得到事件流;对事件流进行分割,得到事件块;
39、投影模块,用于对每个事件块,在时间重对齐映射后,进行多平面投影,得到每个事件块的多视图表示;
40、分割模块,用于对每个视图,进行分割处理,并遍历所有非零像素点,得到每个视图的二维轨迹区域,轨迹区域包括多个轨迹分段;
41、合并模块,用于对多视图,合并同一轨迹的所有轨迹分段,得到每个事件块的多个轨迹域;对每个事件块,合并同一轨迹的所有轨迹域,得到每个事件块的多个轨迹段;对所有事件块,合并同一轨迹的所有轨迹段,得到事件流的多个轨迹;
42、追踪模块,用于根据事件流的多个轨迹,完成多目标追踪。
43、一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
44、采用事件相机拍摄空间多目标的运动过程,得到事件流;对事件流进行分割,得到事件块;
45、对每个事件块,在时间重对齐映射后,进行多平面投影,得到每个事件块的多视图表示;
46、对每个视图,进行分割处理,并遍历所有非零像素点,得到每个视图的二维轨迹区域,轨迹区域包括多个轨迹分段;
47、对多视图,合并同一轨迹的所有轨迹分段,得到每个事件块的多个轨迹域;对每个事件块,合并同一轨迹的所有轨迹域,得到每个事件块的多个轨迹段;对所有事件块,合并同一轨迹的所有轨迹段,得到事件流的多个轨迹;
48、根据事件流的多个轨迹,完成多目标追踪。
49、上述基于多视图表示的事件相机多目标追踪方法、装置和设备,利用事件包含的时间与空间信息,进行三平面表示,结合事件相机高时间分辨率的特性,将目标跟踪问题转化成轨迹分割问题,构建了一种可应用传统图像帧算法的事件相机目标追踪结构,利用不同平面的轨迹信息互补得到准确的目标跟踪结果,测量方法精确高效,流程简单便捷,可广泛服务于相关的目标跟踪、目标分割等任务。
1.基于多视图表示的事件相机多目标追踪方法,其特征在于,包括:
2.根据权利要求1所述的基于多视图表示的事件相机多目标追踪方法,其特征在于,对每个事件块,在时间重对齐映射后,进行多平面投影,得到每个事件块的多视图表示,包括:
3.根据权利要求2所述的基于多视图表示的事件相机多目标追踪方法,其特征在于,对每个事件块,进行时间重对齐映射,包括:
4.根据权利要求3所述的基于多视图表示的事件相机多目标追踪方法,其特征在于,将重对齐事件块投影到多视图投影平面,包括:将重对齐事件块投影到xoy视图投影平面、yot视图投影平面以及tox视图投影平面;
5.根据权利要求1至4任一项所述的基于多视图表示的事件相机多目标追踪方法,其特征在于,对每个视图,进行分割处理,并遍历所有非零像素点,得到每个视图的二维轨迹区域,轨迹区域包括多个轨迹分段,包括:
6.根据权利要求1至4任一项所述的基于多视图表示的事件相机多目标追踪方法,其特征在于,对多视图,合并同一轨迹的所有轨迹分段,得到每个事件块的多个轨迹域,包括:
7.根据权利要求1至4任一项所述的基于多视图表示的事件相机多目标追踪方法,其特征在于,对每个事件块,合并同一轨迹的所有轨迹域,得到每个事件块的多个轨迹段,包括:
8.根据权利要求1至4任一项所述的基于多视图表示的事件相机多目标追踪方法,其特征在于,对所有事件块,合并同一轨迹的所有轨迹段,得到事件流的多个轨迹,包括:
9.基于多视图表示的事件相机多目标追踪装置,其特征在于,包括:
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。