本发明涉及图卷积神经网络领域，尤其涉及一种改进st-gcn的自动驾驶车辆行人意图识别方法。
背景技术：
1、随着计算机视觉在自动驾驶领域的发展，自动驾驶汽车的前景非常光明，其经济投资也在蓬勃发展。但根据世界卫生组织发布的《全球道路安全现状报告》，全球道路死亡人数已达到前所未有的最高水平，每年死亡135万人。其中，近一半的交通事故受害者是弱势道路使用者，比如正在过街的行人。避免车辆与行人碰撞是当今高级驾驶辅助系统和未来自动驾驶汽车的关键要求。以此为背景，高级辅助驾驶系统尽早预测出行人的意图，为驾驶员提供充足的时间来做出反应或是直接干预驾驶员以防止碰撞变得尤为重要。
2、目前，道路交通场景下的行人识别通常用于重要交通路口的固定区域监控，视野区域固定，无法满足自动驾驶车辆在不同环境不同场景下的行人意图识别。由于涉及到生命安全问题，自动驾驶车辆下的行人姿态估计需要很高的精度、准确性和检测速度。因此，为了满足自动驾驶车辆下的行人意图检测的精度、准确性与检测速度，本发明提出了一种改进st-gcn的自动驾驶车辆行人意图识别方法，为自动驾驶车辆以及高级辅助驾驶系统提供了理论指导与解决方案。本发明的目的是为了尽早预测出行人的意图，为驾驶员提供充足的时间来做出反应或是直接干预驾驶员以防止发生对行人的碰撞。
技术实现思路
1、本发明针对现有技术的不足，提出了一种改进st-gcn的自动驾驶车辆行人意图识别方法，实现了在自动驾驶车辆中对行人过街意图的预测识别。
2、本发明采用下述技术方案实现：
3、改进st-gcn的自动驾驶车辆行人意图识别方法，该方法采用下述步骤实现：
4、步骤一，通过车载单目摄像头捕获交通场景下的行人视频流；
5、步骤二，利用人体姿态估计网络对行人关键点进行预测，提取行人关键点坐标，生成行人2d骨架结构图；
6、步骤三，通过将自适应图卷积网络以及多分支时间卷积与st-gcn网络进行融合，实现自动驾驶车辆行人意图识别。
7、其中，步骤一中具体为：自动驾驶车辆搭载的单目usb相机以最高2k的分辨率采集智能驾驶车辆在交通场景下的彩色视频流，将视频流传输到车载计算平台上，并得到视频分辨率以定义像素坐标系。
8、步骤二中具体步骤包括：(1)使用在cspdarknet的基本构件中引入了5×5的深度可分离卷积构建一个单阶段物体检测器对行人进行检测得到行人在输入图像帧像素坐标系下的位置，根据定位的行人框提取出人体图像；其中，行人数据集是公开的jaad数据集以及基于实际的交通场景自制的数据集。(2)将行人数据集标注为mscoco格式以训练人体姿态估计网络，通过数据集训练，人体姿态网络学习到行人的关节点x轴y轴的坐标，生成行人骨架图；其中，生成的行人关节点包括鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左手腕、右手腕、左臀部、右臀部、左膝盖、右膝盖、左脚踝、右脚踝。
9、步骤三中具体步骤包括：
10、(1)构建行人骨架图的时间与空间结构；每帧行人骨架用一个无向时空图g＝(v,e)来表示，其中v表示关节点，e表示骨骼边。行人骨架时空图中关节点集合设为v＝{vti|t＝1,...,t,i＝1,...,n}，t表示骨架帧的时间序号，i表示每帧关节点的空间序号。行人骨架关键点i在第t帧的特征向量为f(vti)，由该点的x，y坐标和置信度组成。将所有的边e分为两个集合，空间域中，代表的是人体骨架的骨骼信息，es＝{vtivtj|(i,j)∈h}，其中h表示行人骨架关键点的连接；时域中，代表骨架时间运动信息，记为ef＝{vtiv(t+1)i|t＝1,...,t-1}，对于关节点i，若将ef中时间边连接起来，形成关节点i的时间运动轨迹。图卷积网络在空间维度卷积过程中，人体关节点vti的图卷积操作计算公式如下：
11、
12、其中v是图的人体关节点，f为特征图；bti表示vti的卷积采样区域，vtj对应于vti在采样区域的距离为1的邻接节点；ω是权重函数。bti中的顶点数量是可变的；映射函数mti使关节点有唯一的权重。
13、图卷积公式可以总结如下：
14、
15、其中，k为子集类别个数；表示元素乘法；m是表示每个关节点重要性的注意图；表示物体中连接的无向图的邻接矩阵；i为单位矩阵；wk为可训练权矩阵。加上自身节点的特性，表示为dk是一个归一化的度矩阵；
16、(2)改进自适应图卷积网络；在空间维度中，行人的特征表现为单帧行人骨架关键点坐标，原始的st-gcn网络的空间图卷积是基于行人骨架的自然连接关系，行人骨架的拓扑结构是固定的，行人胳膊与腿之间没有直接的连接关系，对于行人意图识别而言，无法对其赋予权重，导致网络忽略了胳膊与腿之间的关系依赖，无法很好的学习如行人行走、奔跑等需要考虑行人上肢与下肢之间交互关系的动作。因此，本文对原始st-gcn网络的空间图卷积层进行改进，使用改进的自适应图卷积网络，学习行人节点间的连接，并对不必要的冗余参数进行优化，具体表示为：
17、
18、其中，fin为输入行人骨架特征，wk为卷积权值。kv为卷积核大小，由于采用将节点分为根、向心、离心三组的空间划分策略，将卷积核大小设置为3。bk是一个参数化的图，可以在训练过程中从数据中学习，初始化的参数为行人骨架结构物理连接的归一化邻接矩阵α表示一个可训练系数，表示图ck在不同块中的重要性，初始化值设为0。ck的计算方法如下：
19、
20、其中，wθk表示表示嵌入卷积操作θ的权值，v表示行人关节点的数量。使用卷积运算θ嵌入输入特征fin。使用嵌入的特征映射及其反卷积来测量两个行人关节点的相关性，从而得到矩阵并且使用tanh来标准化ck。因此，ck的第i行，第j列的元素就表示行人关节点vi和关节点vj之间的相关性；
21、(3)多分支时间卷积；在时间维度上，原始st-gcn网络使用卷积核为9的一维卷积对时间信息进行建模，大的卷积核覆盖了广泛的时间感受野。这种设计缺乏灵活性，会导致模型参数量与计算量的冗余，为了更为有效的捕获行人意图远程的依赖关系，采用多分支的时间卷积来有效捕获行人意图的远程依赖关系和行人粗至细粒度特征，并降低网络的复杂度。多分支时间卷积网络结构采用的多分支时间卷积由6个分支组成：一个1×1卷积分支、一个最大值池化分支和4个暂态一维卷积分支，其卷积核大小为3，膨胀系数为1到4。多分支时间卷积首先用1×1卷积进行特征变换，并分成通道宽度相等的6组，用单个分支处理每个特征组。残差连接当是当卷积步幅为2时，在残差路径中插入残差块，将输入尺寸与主路径输出尺寸进行匹配。将六个输出连接在一起，形成多支路时间卷积的输出。多分支时间卷积有效提高了行人骨架结构的时间建模能力，而且由于减小了每个分支的通道宽度，减少了模型的计算量与参数量；
22、(4)改进st-gcn模型；改进的网络主要由9个基本的时空单元块构成。每个时空单元块的输出通道数依次为64、64、64、128、128、128、256、256和256。在改进网络开始时加了一个批量归一化层，用于对输入数据进行规范化，使网络能在更好的数据分布下进行训练，增加了网络的收敛速度。在改进网络的最后执行一个全局平均池化层，以收集并统一不同样本的特征图。将全局平均池化层的输出发送到softmax分类器，用以计算各个类别的概率，并将概率最大的类别作为预测结果获得行人过街意图预测结果。
23、本发明的上述技术方案的有益效果如下：
24、(1)本发明可以有效识别不同角度和不同交通场景下的行人过街意图动作，满足自动驾驶车辆行人过街意图的预测识别；
25、(2)本发明所提出的使用改进st-gcn的自动驾驶车辆行人意图识别方法是一个轻量且强大的模型框架，将其部署在自动驾驶车辆或高级辅助驾驶系统中可以满足对行人过街意图识别快速性与准确性的要求，能够在一定程度上避免自动驾驶车辆与行人发生碰撞。
1.一种改进st-gcn的自动驾驶车辆行人意图识别方法，其特征在于，包括步骤：
2.根据权利要求1改进st-gcn的自动驾驶车辆行人意图识别方法，其特征在于：所述步骤一中，具体为：自动驾驶车辆搭载的单目usb相机以最高2k的分辨率采集智能驾驶车辆在交通场景下的彩色视频流，将视频流传输到车载计算平台上，并得到视频分辨率以定义像素坐标系。
3.根据权利要求1所述改进st-gcn的自动驾驶车辆行人意图识别方法，其特征在于：所述步骤二中，具体步骤包括：
4.根据权利要求1所述改进st-gcn的自动驾驶车辆行人意图识别方法，其特征在于：所述步骤三中，具体步骤包括：
