本发明属于数学、计算机和医学交叉，特别涉及一种基于行走视频辅助青少年特发性脊柱侧凸早期判断的方法。
背景技术：
1、近年来，随着人工智能的发展，计算机视觉技术凭借其能够从图像中提取信息的卓越能力，已被广泛应用于疾病诊断、分类和预测等领域。例如，深度学习分析可以自动对眼部疾病进行分类，通过患者病史和血液样本预测心血管风险。此外，一些研究发现计算机视觉可用于检测图像特征或关键点。受这些方法的影响，一些学者通过kinect传感器提取患者的关节作为关键点，并通过肩高差、骨盆高差和腿长不匹配等因素确定脊柱姿势畸形。熵度量可以表征动态系统中信息的变化率，已被广泛用于量化一些生物信号，如基因网络、蛋白质相互作用网络和生物体。近年来，熵方法被有效地应用于分析神经系统疾病的步态不稳定性。
2、在所有类型的脊柱侧弯中，青少年特发性脊柱侧凸(adolescent idiopathicscoliosis，ais)是一种典型的骨科问题，多发生在10岁至18岁之间。脊柱侧弯的程度会随着骨骼生长而恶化，从而造成背痛和心肺损伤导致的残疾，因此早期诊断脊柱侧弯可以降低手术风险，但仍然具有挑战性。许多专业组织，如脊柱侧弯研究学会、北美儿科骨科协会，认为早期发现可以提高有效的非手术治疗的机会。目前，ais的诊断方法主要可分为两类：体检方法和放射学方法，但由于一些不确定因素的影响，始终没有更好的早期诊断方案。
3、申请号为201711396072.2的中国发明专利申请中公开了一种与青少年特发性脊柱侧凸相关的新的分子标记物，其可以在发生疾病的早期进行诊断。
4、申请号为202211112412.5的中国发明专利申请中公开了一种青少年特发性脊柱侧凸pumc分型方法，其用预先训练好的椎体语义分割模型对各脊柱图像进行处理，自动进行pumc分型。
5、申请号为202310719244.4的中国发明专利申请中公开了一种青少年脊柱侧凸矫形手术效果预测方法，其能够实现对ais手术矫正效果的预测，且准确率高，从而能够辅助临床医师术前规划手术方案。
6、申请号为202311293757.x的中国发明专利申请中公开了一种基于深度学习辅助的青少年特发性脊柱侧凸手术节段选择的方法，其从输入x线图像到计算置信度的整个过程无需人工干预。
7、随着计算机视觉技术的迅速发展，脊柱侧凸的早期诊断有希望从人工判断转变为机器处理，作为x光线片的辅助手段，在实现ais患者早期诊断的同时最大程度地降低检测复杂度、减少青少年所受的辐射伤害，辅助医生进行判断并减少患者的治疗不便。但目前尚未发现有效的方法。
技术实现思路
1、为了解决上述问题，本发明的目的在于提供一种基于行走视频辅助青少年特发性脊柱侧凸早期判断的方法。
2、为了达到上述目的，本发明提供的基于行走视频辅助青少年特发性脊柱侧凸早期判断的方法包括按顺序进行的下列步骤：
3、1)采集ais患者的行走视频并标注出每一帧图像中的关节点，然后从关节点中选取多个关键点，并得到ais患者的二维关键点坐标；
4、2)使用直接线性变换方法从步骤1)获得的ais患者的二维关键点坐标推导出三维关键点坐标；
5、3)根据步骤2)获得的ais患者的三维关键点坐标，计算出ais患者行走时关键点序列的滑动角度熵和滑动边加权图熵，然后利用典型相关分析方法将上述滑动角度熵和滑动边加权图熵进行融合，根据融合后的数值计算出对应的功率谱指数；
6、4)将上述步骤3)获得的每位ais患者的功率谱指数进行排序并分类，并与x光学检查的cobb角结果进行对比分析，得出ais患者的患病程度。
7、在步骤1)中，所述采集ais患者的行走视频并标注出每一帧图像中的关节点，然后从关节点中选取多个关键点，并得到ais患者的二维关键点坐标的方法是：
8、采用双目相机拍摄ais患者面向镜头和背对镜头的行走视频，然后利用alphapose系统标注出每一帧图像中的关节点，之后从中选取左肩、颈、右肩、左手肘、右手肘、左臀、右臀、左膝盖、右膝盖、左脚踝、右脚踝、左手肘、右手肘及髋部共计14个关节点分别作为关键点1—14，并得到ais患者的二维关键点坐标；
9、所述alphapose系统包括五个模块：数据加载模块、检测模块、数据转换模块、姿态检测模块和后处理模块；其中，数据加载模块是将输入的图像、视频或摄像头中的信息加载到先入先出的队列中；然后检测模块使用人体检测器检测出人体区域，并将检测得到的人体区域存入先入先出的队列中；之后数据转换模块对上述检测出的人体区域进行非极大值抑制，以排除检测精度不高的人体区域，并且对保留的人体区域进行裁剪和改变大小的处理，以方便后续的姿态估计；然后姿态估计模块使用姿态估计器估计出人体姿态，并使用追踪器进行人体跨帧追踪；最后后处理模块利用姿态非极大值来抑制排除检测精度不高的关键点，并将保留的关键点可视化以及保存二维关键点坐标。
10、在步骤2)中，所述使用直接线性变换方法从步骤1)获得的ais患者的二维关键点坐标推导出三维关键点坐标的方法是：
11、首先利用巴特沃斯低通滤波器对ais患者的二维关键点坐标进行处理，去除噪声和异常值，然后通过相机的内外参数，利用直接线性变换方法描述图像平面上的关键点和三维空间中的关键点之间的关系，从二维关键点坐标推导出三维关键点坐标。
12、在步骤3)中，所述根据步骤2)获得的ais患者的三维关键点坐标，计算出ais患者行走时关键点序列的滑动角度熵和滑动边加权图熵，然后利用典型相关分析方法将上述滑动角度熵和滑动边加权图熵进行融合，根据融合后的数值计算出对应的功率谱指数的方法是：
13、设由人体骨架图中每一个关键点组成的关键点序列为j＝{j1,j2,…,jn}，关键点ji对应的坐标为(xi,yi,zi),i＝1,…,n；
14、所述滑动角度熵的计算方法如下：
15、(1)根据步骤2)获得的ais患者的三维关键点坐标，计算每一帧图像中ais患者左右两侧关节角度的差值，由上述所有差值构成角度差动态网络公式如下：
16、
17、式中，表示左肩关节角1和右肩关节角4的差值，表示左肩与脊椎关节角2和右肩与脊椎关节角3的差值；t表示时间；
18、计算连续两帧图像之间每个关节角度的差值，由上述所有差值构成帧间关节角度差网络公式如下：
19、
20、式中，表示左肩关节角1相邻两帧图像之间的差值，表示左肩与脊椎关节角2相邻两帧图像之间的差值，表示右肩与脊椎关节角3相邻两帧图像之间的差值，表示右肩关节角4的差值，s表示帧数量；
21、(2)根据上述角度差动态网络建立角度差动态网络图信号ft(n)，根据帧间关节角度差网络建立帧间关节角度差网络图信号hs(n)，公式如下；
22、ft(n)＝{ft(1),…,ft(n)}
23、hs(n)＝{hs(1),…,hs(n)}
24、(3)利用图信号的笛卡尔乘积将上述角度差动态网络图信号ft(n)和帧间关节角度差网络图信号hs(n)结合起来，构成基于关节角的图信号y(n)，公式如下：
25、y(n)＝ft(n)*hs(n)＝{y(1),…,y(n)}
26、(4)利用相空间重构将上述基于关节角的图信号y(n)划分成多个滑动窗口，生成嵌入向量设置嵌入维数2≤m∈n，则嵌入向量的公式如下：
27、
28、(5)计算每个滑动窗口的嵌入向量的滑动角度熵，公式如下：
29、
30、式中，θi表示基于关节角的图信号y(n)中的每个关节角度值；
31、所述滑动边加权图熵的计算方法如下：
32、(1)分别将关键点2与关键点1连线作为边1、将关键点1与关键点6连线作为边2、将关键点6与关键点10连线作为边3、将关键点10与关键点14连线作为边4、将关键点2与关键点3连线作为边5、将关键点3与关键点7连线作为边6、将关键点7与关键点11连线作为边7、将关键点11与关键点14连线作为边8，然后分别计算上述各边的长度，之后分别计算边1和边5、边2和边6、边3和边7、边4和边8的长度差值，由上述所有长度差值构成距离差动态网络ddi，公式如下：
33、
34、式中，表示关键点集，表示边集，wt表示边权集；
35、将相邻两帧图像之间的同一个关键点连线，然后分别计算各连线的长度，由上述所有长度构成帧间关节距离网络inds，公式如下：
36、
37、式中，表示关键点集，表示边集，ins表示边权集；
38、(2)利用图信号的笛卡尔积将上述距离差动态网络ddi和帧间关节距离网络inds结合起来，构成基于关节距离的动态网络dgt；
39、dgt＝ddt*inds
40、(4)根据上述基于关节距离的动态网络dgt建立图信号d(n)；
41、(4)利用相空间重构将上述图信号d(n)划分成多个滑动窗口，生成嵌入向量设置嵌入维数2≤m∈n，嵌入向量的公式如下：
42、
43、(5)计算每个滑动窗口的嵌入向量的滑动边加权图熵：
44、
45、式中，
46、最后，利用典型相关分析方法将上述滑动角度熵和滑动边加权图熵进行融合，根据融合后的数值计算出对应的功率谱指数α。
47、在步骤4)中，所述将上述步骤3)获得的每位ais患者的功率谱指数进行排序并分类，并与x光学检查的cobb角结果进行对比分析，得出ais患者的患病程度的方法是：
48、将上述步骤3)获得的每位ais患者的功率谱指数α进行排序并分成轻度、中度和重度三类，并与x光学检查的cobb角结果进行对比分析，计算每类ais患者的分类准确率，由此得出ais患者的患病程度。
49、本发明提供的基于行走视频辅助青少年特发性脊柱侧凸早期判断的方法具有如下有益效果：
50、1、采用拍摄ais患者行走视频的数据采集方法，简单方便，不受时间空间的限制，并可减少辐射伤害，便于ais患者实时监控自身病情的发展情况，因此提供了一种便携式的ais程度实时监测的手段；
51、2、采用alphapose系统，同时引入dlt方法，能够增强三维关键点坐标估计的能力，解决了深度学习方法骨架倾斜以及缺少完整深度信息的问题；
52、3、采用mane和mge算法，能够从时间和空间两个维度对ais患者的行走特征进行描述，更加清晰地获取异常步态的特点；
53、4、将计算机技术应用到数据的获取、数学应用到特征的计算上，能够有效地辅助医生进行ais早期诊断，并制定对应的治疗方案，因此可以提高监测的效果和安全性，改善ais患者的生活质量。
1.一种基于行走视频辅助青少年特发性脊柱侧凸早期判断的方法，其特征在于：所述基于行走视频辅助青少年特发性脊柱侧凸早期判断的方法包括按顺序进行的下列步骤：
2.根据权利要求1所述的基于行走视频辅助青少年特发性脊柱侧凸早期判断的方法，其特征在于：在步骤1)中，所述采集ais患者的行走视频并标注出每一帧图像中的关节点，然后从关节点中选取多个关键点，并得到ais患者的二维关键点坐标的方法是：
3.根据权利要求1所述的基于行走视频辅助青少年特发性脊柱侧凸早期判断的方法，其特征在于：在步骤2)中，所述使用直接线性变换方法从步骤1)获得的ais患者的二维关键点坐标推导出三维关键点坐标的方法是：
4.根据权利要求1所述的基于行走视频辅助青少年特发性脊柱侧凸早期判断的方法，其特征在于：在步骤3)中，所述根据步骤2)获得的ais患者的三维关键点坐标，计算出ais患者行走时关键点序列的滑动角度熵和滑动边加权图熵，然后利用典型相关分析方法将上述滑动角度熵和滑动边加权图熵进行融合，根据融合后的数值计算出对应的功率谱指数的方法是：
5.根据权利要求1所述的基于行走视频辅助青少年特发性脊柱侧凸早期判断的方法，其特征在于：在步骤4)中，所述将上述步骤3)获得的每位ais患者的功率谱指数进行排序并分类，并与x光学检查的cobb角结果进行对比分析，得出ais患者的患病程度的方法是：
