变电站室内典型动作的在线行为识别方法、装置和设备与流程

专利2025-04-17  21


本申请涉及视频图像处理,尤其是涉及到一种变电站室内典型动作的在线行为识别方法、装置和设备。


背景技术:

1、人体行为识别是计算机视觉和人工智能领域中的一个重要研究方向,旨在通过对人体动作的捕捉和分析,实现对特定行为的自动识别。

2、相关技术中,纯粹的动作识别网络通常是对视频片段进行处理,它的输入要求只包含一个待识别的动作,通过深度网络提取视频帧中蕴含的时空信息,再经过分类层预测当前视频中动作的类别,但是无法定位动作发生的位置。而时序动作检测在动作类别检测的基础上增加了动作位置的预测。

3、但是,基于神经网络模型的时序动作检测需要大量的带有时序信息标注的数据来训练神经网络模型,才能达到较好的定位和分类效果,且会带来大量的时间损耗。特定场景下的数据集获取是非常困难的,而额外的时序标注会造成更多的成本。并且,特定数据集上训练的神经网络模型通常只能在相同类型场景下有良好的效果。因此基于神经网络模型的时序动作检测通用性差,泛化能力有限。

4、而对于变电站室内人员的行为识别而言,需要实时性和较高的准确性,影响行为识别准确性的因素除了上述检测网络的性能之外,另一个重要因素是输入视频的质量。变电站室内存在多种典型动作,如打电话、打开电柜门、关闭电柜门、跨越隔离带、绕过隔离带、站起、下蹲、跑步、行走、跨过障碍以及双人交谈等。但是工作人员在检修过程中,并非所有时刻都存在需要检测的特定动作,存在着大量的无关帧序列。而相关技术中按照固定时间长度来逐次滑动输入一定数量的帧序列,将大大影响行为识别的效果。此外,帧序列的划分也影响着行为识别的效果,每种动作的时间长度不同,不同人的动作速度也不同,如何准确的判断动作的起始和终止也是一个重要的问题。


技术实现思路

1、有鉴于此,本申请提供了一种变电站室内典型动作的在线行为识别方法、装置和设备,无需提前标注大量的数据,也无需提前进行大量的训练,能够在变电站室内识别场景下,对不同动作长度与不同动作密度程度的视频片段进行识别,精准定位典型动作发生的片段,以及准确检测出动作的类别。

2、根据本申请的一个方面,提供了一种变电站室内典型动作的在线行为识别方法,包括:获取待识别帧序列;其中,所述待识别帧序列包括多个按时间顺序排列的待识别帧图像;对所述待识别帧序列进行姿态检测;按照随机帧划分策略和连续帧划分策略分别将检测到姿态信息的所述待识别帧序列划分为第一子序列集合和第二子序列集合;分别对所述第一子序列集合和所述第二子序列集合中动作片段以及所述动作片段的动作标签进行识别,确定所述待识别帧序列的第一识别结果、第二识别结果;根据所述第一识别结果、所述第二识别结果,在所述待识别帧序列中确定多个目标动作片段,以及各个所述目标动作片段对应的动作类别。

3、根据本申请的另一方面,提供了一种变电站室内典型动作的在线行为识别装置,包括:

4、获取模块,用于获取待识别帧序列;其中,所述待识别帧序列包括多个按时间顺序排列的待识别帧图像;

5、检测模块,用于对所述待识别帧序列进行姿态检测;

6、划分模块,用于按照随机帧划分策略和连续帧划分策略分别将检测到姿态信息的所述待识别帧序列划分为第一子序列集合和第二子序列集合;

7、识别模块,用于分别对所述第一子序列集合和所述第二子序列集合中动作片段以及所述动作片段的动作标签进行识别,确定所述待识别帧序列的第一识别结果、第二识别结果;

8、确定模块,用于根据所述第一识别结果、所述第二识别结果,在所述待识别帧序列中确定多个目标动作片段,以及各个所述目标动作片段对应的动作类别。

9、根据本申请又一个方面,提供了一种计算机设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,处理器执行程序时实现上述变电站室内典型动作的在线行为识别方法的步骤。

10、借由上述技术方案,本申请提供了一种变电站室内典型动作的在线行为识别方法、装置和设备,通过随机帧划分策略和连续帧划分策略分别将检测到姿态信息的待识别帧序列划分为不同的子序列集合,并通过对不同的子序列集合的分别识别,确定待识别帧序列的第一识别结果与第二识别结果。接着将第一识别结果与第二识别结果进行整合,互相验证,减小误判的可能性,从而在待识别帧序列中确定多个目标动作片段,以及各个目标动作片段对应的动作类别。本申请无需提前标注大量的数据,也无需要提前进行大量训练,能够在变电站室内识别场景下,对不同动作长度与不同动作密度程度的视频片段进行识别,精准定位典型动作发生的片段,以及准确检测出动作的类别,提高行为识别的通用性和可靠性。

11、上述说明仅是本申请技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。



技术特征:

1.一种变电站室内典型动作的在线行为识别方法,其特征在于,所述方法包括:

2.根据权利要求1所述的变电站室内典型动作的在线行为识别方法,其特征在于,所述对所述第一子序列集合中动作片段以及所述动作片段的动作标签进行识别,确定所述待识别帧序列的第一识别结果,包括:

3.根据权利要求2所述的变电站室内典型动作的在线行为识别方法,其特征在于,

4.根据权利要求2所述的变电站室内典型动作的在线行为识别方法,其特征在于,

5.根据权利要求2所述的变电站室内典型动作的在线行为识别方法,其特征在于,所述根据所述第一子序列的识别结果,去除匹配到相同所述动作标签的所述第一子序列,得到目标子序列,包括:

6.根据权利要求2所述的变电站室内典型动作的在线行为识别方法,其特征在于,所述方法还包括:

7.根据权利要求1中所述的变电站室内典型动作的在线行为识别方法,其特征在于,

8.根据权利要求1述的变电站室内典型动作的在线行为识别方法,其特征在于,所述根据所述第一识别结果、所述第二识别结果,在所述待识别帧序列中确定多个目标动作片段,以及各个所述目标动作片段对应的动作类别,包括:

9.一种变电站室内典型动作的在线行为识别装置,其特征在于,所述装置包括:

10.一种计算机设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至8中任一项所述的变电站室内典型动作的在线行为识别方法。


技术总结
本申请公开了一种变电站室内典型动作的在线行为识别方法、装置和设备。所述方法包括:获取待识别帧序列;对待识别帧序列进行姿态检测;按照随机帧划分策略和连续帧划分策略分别将检测到姿态信息的待识别帧序列划分为第一子序列集合和第二子序列集合;分别对第一子序列集合和第二子序列集合中动作片段以及动作片段的动作标签进行识别,确定待识别帧序列的第一识别结果、第二识别结果;根据第一识别结果、第二识别结果,在待识别帧序列中确定多个目标动作片段,以及各个目标动作片段对应的动作类别。本申请无需提前标注大量的数据,也无需提前进行大量的训练,能够对变电站室内识别场景下不同的视频片段中典型动作发生的片段进行精准识别。

技术研发人员:施绮,张强,顾春杰,何星
受保护的技术使用者:国家电网有限公司华东分部
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-23540.html