本发明涉及机车非正常行车检测领域，具体为一种非正常行车检测方法及其在非正常行车培训系统中的应用。
背景技术：
1、在机车正常行驶的过程中，会面临许多的非正常行车场景，需要工作人员在行车过程中对机车的行车状态进行检测和识别，之后机车上的工作人员对非正常行车场景中的危险因素进行妥善处理，以保证机车的正常行车安全，并且，对于一些可能发生的非正常行车场景，还需要组织培训以提高机车工作人员的处理能力，以提高机车工作人员处理此类非正常行车问题的能力。
2、驾驶员的疲劳状况监测一直是保证机车安全行驶的重要条件之一，疲劳驾驶通常表现为反应迟钝或者无反应，目前通过图像检测疲劳驾驶的方法有多种，比如通过识别出眼睑开合大小降低、特定手势错误或者不标准以及驾驶员身体在该动作时无动作等，均能作为驾驶员是否疲劳的判断方法，但是在疲劳驾驶早期，驾驶员的疲劳程度较低时，其眼睑开合大小、特定手势完成以及身体动作频率和幅度方面难以发现异常，因此，这些方法都难以从驾驶员的反应是否及时这方面来判断其是否疲劳驾驶，具有一定的局限性。
技术实现思路
1、针对现有技术的不足，本发明提供了一种非正常行车检测方法及其在非正常行车培训系统中的应用，解决了目前通过图像检测驾驶员是否疲劳时，缺少从驾驶员的反应是否及时这方面来判断其是否疲劳驾驶的问题。
2、为实现上述目的，本发明提供如下技术方案：
3、一种非正常行车检测方法，该检测方法包括如下步骤：
4、s1、根据行车过程建立历史操作点和对应操作时间的操作表，并获取包含驾驶员进行行车控制的控制时间、对应的控制项目以及机车驾驶室的控制图像；
5、s2、根据控制图像识别驾驶员的手部，并生成手部的操作轨迹；
6、s3、根据控制图像计算驾驶员面部在任一时刻的面部正对向量，并根据视线方向计算其正视向量，以及根据正视向量计算驾驶员在控制台上的正视区域；
7、s4、控制图像根据计算任一时刻操作轨迹和对应控制按键的最小距离，并根据最小距离是否小于距离阈值判断该时刻的控制图像是否为操作图像，并提取出标准图像；
8、若是，则提取对应的控制图像以生成操作图像，并根据操作图像提取出标准图像；
9、若否，则不提取对应的控制图像；
10、s5、将操作表中任一操作时间和标准图像所对应的时刻标记为操作时刻，并根据任一操作时刻所对应的正视区域和标准图像计算驾驶员的疲劳度。
11、作为优选，在步骤s2中，具体包括如下步骤：
12、s21、根据控制图像提取驾驶员手部的轮廓图像；
13、s22、计算轮廓图像上驾驶员手部轮廓线上任一点的尖角；尖角的计算公式为：
14、
15、上式中，cosδ(0)表示手部轮廓线上0点的尖角的余弦数值，p0-k'和pk-0表示0点分别与位于其两侧手部轮廓线上的第k个和k'个像素点所组成的向量。
16、s23、根据驾驶员手部轮廓线上任一点的曲率是否大于曲率阈值，判断该点是否为指尖点；
17、若是，则该点为指尖点；
18、若否，则该点为轮廓点；
19、s24、根据指尖点在各时刻的坐标，生成驾驶员手部的操作轨迹。
20、作为优选，在步骤s3中，具体包括如下步骤：
21、s31、根据控制图像获取驾驶员双眼和嘴部的坐标；
22、s32、计算任一时刻驾驶员头部的基础平面；基础平面的表达式为：
23、
24、上式中，x、y和z分别表示基础平面上点集的x轴、y轴和z轴的坐标，x1、x2和x3分别表示驾驶员双眼和嘴部的x轴坐标，y1、y2和y3分别表示驾驶员双眼和嘴部的y轴坐标，z1、z2和z3分别表示驾驶员双眼和嘴部的z轴坐标；
25、s33、根据基础平面计算驾驶员面部的面部正对向量；面部正对向量的表达式为：
26、s＝a1i+a2j+a3k
27、其中，
28、a1＝y1z2-y1z3-y2z1+y2z3+y3z1-y3z2
29、a2＝-x1z2+x1z3+x2z1-x2z3-x3z1+x3z2
30、a3＝x1y2-x1y3-x2y2+x2y3+x3y1-x3y2
31、上式中，s表示面部正对向量，a1、a2和a3分别为第一系数、第二系数和第三系数，x1、x2和x3分别表示驾驶员双眼和嘴部的x轴坐标，y1、y2和y3分别表示驾驶员双眼和嘴部的y轴坐标，z1、z2和z3分别表示驾驶员双眼和嘴部的z轴坐标；
32、s34、根据控制图像获取驾驶员的双眼图像；
33、s35、根据双眼图像计算面部正对向量的偏移角度，并对正视向量进行修正以获得正视向量；
34、s36、根据正视向量和驾驶员的眼部坐标构建正视曲线，并计算驾驶员的正视区域。
35、作为优选，在步骤s35中，具体包括如下步骤：
36、s351、根据双眼图像计算两个眼睛瞳孔的第一向量；第一向量的表达式为：
37、s1＝(x′1-x′2，y′1-y′2，z′1-z′2)
38、上式中，s1表示第一向量，x'1、y'1和z'1表示其中一个眼睛瞳孔的x轴、y轴和z轴的坐标，x'2、y'2和z'2表示另一个眼睛瞳孔的x轴、y轴和z轴的坐标。
39、s352、计算眼睛瞳孔的横向偏移量和纵向偏移量；
40、横向偏移量的计算公式为：
41、
42、纵向偏移量的计算公式为：
43、
44、上式中，δm1和δm2分别为横向偏移量和纵向偏移量，x'1、y'1和z'1表示其中一个眼睛瞳孔的x轴、y轴和z轴的坐标，x'2、y'2和z'2表示另一个眼睛瞳孔的x轴、y轴和z轴的坐标；
45、s353、根据横向偏移量和纵向偏移量计算横向偏移角度和纵向偏移角度；
46、
47、上式中，θ1和θ2分别为横向偏移角度和纵向偏移角度，和分别为横向偏移量和纵向偏移量，r为眼球半径；
48、s354、根据横向偏移角度和纵向偏移角度对面部正对向量进行修正以获得正视向量。
49、作为优选，在步骤s354中，具体包括如下步骤：
50、s3541、以面部正对向量为y轴、第一向量为x轴以及垂直于正对向量和第一向量的方向为z轴，建立眼部空间坐标系；
51、s3542、根据横向偏移角度和面部正对向量计算正视向量在眼部空间坐标系的xy平面上的第一投影向量；第一投影向量的表达式为：
52、
53、上式中，cosθ1表示第一投影向量与第一向量的夹角的余弦，表示正视向量在眼部空间坐标系的xy平面上的第一投影向量，s1为第一向量；
54、s3543、根据纵向偏移角度和面部正对向量计算正视向量在眼部空间坐标系的yz平面上的第二投影向量；第二投影向量的表达式为：
55、
56、上式中，cosθ2表示第二投影向量与面部正对向量的夹角的余弦，表示正视向量在眼部空间坐标系的xy平面上的第二投影向量，s0为面部正对向量；
57、s3544、根据第一投影向量和第二投影向量计算正视向量；正视向量的表达式为：
58、
59、上式中，s2表示正视向量，表示第一投影向量的x轴坐标，表示第一投影向量的y轴坐标，表示第二投影向量的z轴坐标。
60、作为优选，在步骤s36中，具体包括如下步骤：
61、s361、根据正视向量和驾驶员双眼的眼部坐标构建正视曲线；
62、正视曲线的表达式为：
63、
64、上式中，a4、a5、a6和a7分别表示第四、第五、第六和第七系数，x、y和z分别为正视曲线上的点的x轴、y轴和z轴的坐标，x1、y1和z1分别为其中一只眼睛的x轴、y轴和z轴坐标，x2、y2和z2分别为另一只眼睛的x轴、y轴和z轴坐标；
65、s362、以驶员双眼的中心点为顶点，并以正视曲线为中轴线建立锥形的正视区域；正视区域的表达式为：
66、
67、上式中，x、y和z分别为正视区域内点集的x轴、y轴和z轴的坐标，xi、yi和zi分别为正视曲线上以坐标为起点且满足正视向量约束的任一点的x轴、y轴和z轴坐标，x1、y1和z1分别为其中一只眼睛的x轴、y轴和z轴坐标，x2、y2和z2分别为另一只眼睛的x轴、y轴和z轴坐标，θ为视线拓展角。
68、作为优选，在步骤s4中，具体包括如下步骤：
69、s41、根据控制图像计算操作轨迹中任一时刻手部与对应操作按键的最小距离；最小距离的计算公式为：dmin＝min[d(posα,pos2)]
70、上式中，dmin表示任一时刻手部与对应操作按键的最小距离，min(·)表示取最小值，d(posα,pos2)表示计算第α个手部位置和对应操作按键的最小距离；
71、s42、设置距离阈值，并根据最小距离是否小于距离阈值，判断该时刻的控制图像是否为操作图像；
72、若是，则提取该时刻的控制图像并标记为操作图像；
73、若否，则不提取对应的控制图像。
74、s43、筛选出时刻相邻的若干个操作图像中最小距离数值最小的操作图像，并标记为标准图像。
75、作为优选，在步骤s5中，具体包括如下步骤：
76、s51、将操作表中任一操作时间和标准图像所对应的时刻标记为操作时刻；
77、s52、将仅在标准图像中的时刻标记为第一操作时刻，将其余操作时刻标记为第二操作时刻；
78、s54、根据正视区域计算任一第二操作时刻的第二疲劳度；任一时刻第二疲劳度的计算公式为：
79、
80、上式中，表示任一第二操作时刻t的第二疲劳度，为操作表中与第二操作时刻t最接近的任一操作时间的所有时刻集合，为任一第二操作时刻t所对应的标准图像的时刻，f2和f3分别为第二疲劳度和第三疲劳度，表示对应的操作按键的坐标，zmt表示正视区域的点集集合；
81、s55、对第一操作时刻的第一疲劳度进行赋值，并计算驾驶员在任一时刻的疲劳度；驾驶员在任一时刻的疲劳度的计算公式为：
82、
83、上式中，为任一第一操作时刻t的第一疲劳度，表示任一第二操作时刻ti时的第二疲劳度，n表示驾驶员在进行驾驶的时刻总数，h表示驾驶员出现疲劳情况的次数，即时以及第一操作时刻的出现总次数。
84、本发明还提供了一种非正常行车检测方法在非正常行车培训系统中的应用方法，该方法包括如下步骤：
85、s11、制作若干个驾驶员驾驶机车的行车场景视频；
86、s12、计算并显示各行车场景视频中驾驶员在任一时刻的疲劳度数值；
87、s13、设置疲劳度阈值，并根据各驾驶员疲劳度的数值和增速计算其非正常危险系数；
88、s14、将非正常危险系数划分为若干个注意等级，并设置若干个对应的处理措施；
89、s15、根据驾驶员所处的不同的注意等级，通过行车场景视频向受培训人员展示对应的处理措施。
90、作为优选，在步骤s13中，非正常危险系数的计算公式为：
91、
92、上式中，dlt表示驾驶员在时刻t时的非正常危险系数，flt表示驾驶员在t时刻的第一疲劳度，fl表示基础疲劳度，flt-z表示在t时刻前的第z个时刻的疲劳度，δfl表示疲劳系数。
93、与现有技术相比，本发明提供了一种非正常行车检测方法及其在非正常行车培训系统中的应用，具备以下有益效果：
94、1、本发明通过获取操作表和控制图像，通过操作表来获取驾驶员需要进行操作的各个历史时刻，并通过手部的操作轨迹和正视区域来计算在需要进行操作的时刻驾驶员的疲劳度，从而用于反映驾驶员的手眼协调程度，以作为反映驾驶员是否正在进行疲劳驾驶这一非正常行车情况的重要因素。
95、2、本发明通过先计算驾驶员的面部正对向量，再通过驾驶员的眼睛的瞳孔位置进一步计算驾驶员眼镜的正视向量和正视区域，通过计算横向偏移角度和纵向偏移角度，以及向量投影的方式计算正视向量的方向，进一步通过驾驶员眼睛的位置和正视向量计算正视曲线，并根据人眼视区呈锥形的关系设置视线拓展角，以模拟人眼所看到的区域范围，从而更好的表现出人眼的正视区域。
96、3、本发明通过提取标准图像，从而在驾驶员手部伸向对应按键和离开对应按键时，能够仅提取一个最具有代表性的时刻，该时刻机车驾驶员的手部与按键最可能接触，可以防止驾驶员在按一个按键的过程中，操作图像中判定多个时刻手与按键均可能接触，提取一个最具有代表性的标准图像，以避免后续的重复计算，提高疲劳度的计算准确度。
97、4.本发明通过计算标准图像和对应操作表中的时刻是否存在重合，以通过不同的方式计算驾驶员在任一时刻的疲劳度，用来反映驾驶员在行车过程中进行操作时的手眼协调程度，作为判定驾驶员在行车过程中是否出现了疲劳驾驶的重要因素。
98、5.本发明通过在计算疲劳度的基础上进一步计算非正常危险系数，并且设置若干个注意等级和对应的处理措施，帮助受培训人员对驾驶员不同的非正常危险系数按照不同的预设的处理措施进行处理，使受培训人员更好的处理此类非正常行车问题。
1.一种非正常行车检测方法，其特征在于，该检测方法包括如下步骤：
2.根据权利要求1所述的检测方法，其特征在于，在步骤s2中，具体包括如下步骤：
3.根据权利要求1所述的检测方法，其特征在于，在步骤s3中，具体包括如下步骤：
4.根据权利要求3所述的检测方法，其特征在于，在步骤s35中，具体包括如下步骤：
5.根据权利要求4所述的检测方法，其特征在于，在步骤s354中，具体包括如下步骤：
6.根据权利要求3所述的检测方法，其特征在于，在步骤s36中，具体包括如下步骤：
7.根据权利要求1所述的检测方法，其特征在于，在步骤s4中，具体包括如下步骤：
8.根据权利要求1所述的检测方法，其特征在于，在步骤s5中，具体包括如下步骤：
9.上述权利要求1—8任一项所述的非正常行车检测方法在非正常行车培训系统中的应用方法，其特征在于，该方法包括如下步骤：
10.根据权利要求9所述的检测方法，其特征在于，在步骤s13中，非正常危险系数的计算公式为：
