本发明属于拱坝变形监测数据处理，具体涉及一种拱坝变形监测数据预处理方法及系统。
背景技术：
1、拱坝由于结构形式的特殊性和工作环境的复杂性，决定了其运行性态具有复杂、多变、不确定及时变等特点。变形是拱坝结构性态变化最直观的表征指标，有效的变形监测资料对及时了解大坝的运行状态至关重要。然而，在拱坝变形监测过程中，因仪器问题或人为因素等原因，会造成监测数据中出现粗差和数据缺失，由于粗差和缺失数据的存在会对拱坝变形状态分析造成一定干扰，进而影响对拱坝变形状态的客观评价及预警。因此，需要探究和建立粗差和数据缺失的处理方法，为后续拱坝变形状态预警分析提供客观的监测数据。
2、传统的大坝变形监测数据粗差识别方法，主要包括过程线法、统计检验法等，其中，过程线法虽简单直观，但其高度依赖于分析者的经验，对不明显的粗差难以识别，只适用于变形数据粗差的粗略估计；统计检验法进行粗差识别时往往需要假设变形数据满足一定的分布规律，对于小样本监测数据不具有通用性。在缺失数据处理方面，传统的单值缺失插补方法包括线性插值、三次样条插值等，这些方法往往需要对整体变形趋势构建较为理想的目标函数，而实际工程中，拱坝变形变化难以利用函数精确表达。此外，对于拱坝变形监测数据出现多值缺失的情况，传统的基于时间序列的多值缺失插补法，其插补精度依赖于环境量的有效性及所建模型的精度；而基于空间邻近点的多值缺失插补法，只利用缺失值邻近测点对其进行估计，并未完全反映缺失段的变化特征。
技术实现思路
1、发明目的：本发明目的在于针对现有技术的不足，提供一种拱坝变形监测数据预处理方法及系统，采用改进奇异谱分析进行拱坝变形监测数据粗差识别以及针对拱坝变形监测过程中出现缺测以及剔除粗差之后造成的变形数据序列缺失问题，综合运用lstm神经网络模型，进行监测数据缺失处理的方法。
2、技术方案：本发明所述拱坝变形监测数据预处理方法，包括以下步骤：
3、s1、收集拱坝变形监测数据；
4、s2、使用改进的奇异谱分析方法对变形监测数据进行粗差识别，包括以下子步骤：
5、s201、选择窗口长度l，在原始变形监测数据序列的前后两端分别添加长度为的伪数据，构造轨迹矩阵；
6、s202、对轨迹矩阵进行奇异值分解，得到特征值和特征向量；
7、s203、根据特征值的贡献率选取主成分，重构信号；
8、s204、对重构后的信号进行分析，识别出粗差并进行剔除；
9、s3、利用神经网络模型，对剔除粗差的变形监测数据进行缺失数据填补，包括以下子步骤：
10、s301、将剔除粗差的变形监测数据划分为训练集和测试集；
11、s302、构建神经网络模型，采用训练集对神经网络模型进行训练；
12、s303、使用训练好的神经网络模型对测试集中的缺失数据进行填补。
13、进一步完善上述技术方案，所述s201实现过程包括：在原始变形监测数据序列的前后两端各添加长度为的伪数据，构成新的变形序列；
14、所述s202实现过程包括：构建新的变形序列的轨迹矩阵，，
15、对轨迹矩阵进行ssa-pd分析，求取特征值与对应的特征向量，
16、,
17、,
18、式中，为初等矩阵；分别为轨迹矩阵的左、右特征向量，为奇异值；d为协方差矩阵s中大于0的特征值个数；
19、所述s203包括：根据所得特征值的贡献率选取相应的主成分进行变形序列重构，获取残余分量；
20、所述s20包括：采用准则对残余分量序列的模极值点进行粗差识别，重复该步骤直至筛选出所有粗差。
21、进一步地，所述s302包括：构建lstm神经网络模型，包括确定网络结构和超参数设置；所述lstm神经网络模型的网络结构包括至少一个隐藏层，每个隐藏层包括多个lstm单元。
22、进一步地，将训练集和测试集进行标准化处理，
23、将标准化处理后的训练集作为lstm神经网络模型输入值，lstm神经网络模型在每一个神经元内部增加遗忘门、输入门、输出门；
24、获取上一时刻隐含层的状态和当前时刻的变形监测数据并输入至遗忘门，由遗忘门计算并决定得到的值否被采用，再由输入门产生下一个神经元状态向量和初始输出，最后由输出门得到最终的输出值。
25、进一步地，遗忘门读取上一时刻隐含层的状态和当前时刻的变形监测数据输入，采用sigmoid 函数计算进行并赋值给，计算公式如下：
26、
27、式中：表示遗忘门权重，表示遗忘门对应的偏置项，表示遗忘门的sigmoid函数，计算得到的值在[0,1]之间，“0”表示“完全丢弃”，“1”表示“完全保留”；
28、输入门包括sigmoid 层和tanh 层两个模块，sigmoid 层确定要输入的值，其计算式为：
29、
30、式中：表示输入门权重，表示输入门对应的偏置项，表示输入门的sigmoid函数；
31、tanh层确定一个新的候选值向量，该向量对神经元状态的新贡献为：
32、
33、式中：tanh表示双曲正切激活函数；
34、输入门对神经元状态产生更新，将更新为，计算式为：
35、
36、以当前时刻的神经元状态为基础，最后由输出门的tanh 函数得到最终输出值；
37、,
38、,
39、式中：表示输出门权重，表示输出门对应的偏置项，表示输出门的sigmoid函数。
40、进一步地，根据拱坝变形监测数据的输出值计算预测效果，通过比较不同参数下lstm 神经网络模型的预测效果，选择最优的lstm 神经网络模型参数，确定最终用于拱坝变形监测数据缺失值处理的lstm 神经网络模型；
41、输入测试集数据，运用确定的lstm 神经网络模型进行拱坝变形监测数据缺失值进处理。
42、用于实现上述方法的拱坝变形监测数据处理系统，包括：
43、数据收集模块，用于收集拱坝变形监测数据的模块；
44、改进的奇异谱分析模块，用于对变形监测数据进行粗差识别并进行剔除；
45、神经网络模型，对剔除粗差的变形监测数据进行缺失数据填补。
46、有益效果：与现有技术相比，本发明的优点在于：本发明在剖析传统变形数据粗差识别方法不足的基础上，提出了基于改进奇异谱分析的拱坝变形监测数据粗差识别方法，运用奇异谱分析技术提取拱坝变形监测数据时间序列信号和残余高频信号，并结合3σ准则对高频分量进行判别，由此实现对粗差的辨识。
47、针对拱坝变形监测过程中出现缺测以及剔除粗差造成的变形数据缺失问题，运用lstm神经网络，提出了基于深度学习的拱坝变形监测数据缺失处理的方法。
1.一种拱坝变形监测数据预处理方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的拱坝变形监测数据预处理方法，其特征在于，所述s201实现过程包括：在原始变形监测数据序列的前后两端各添加长度为的伪数据，构成新的变形序列；
3.根据权利要求1或2所述的拱坝变形监测数据预处理方法，其特征在于，所述s302包括：构建lstm神经网络模型，包括确定网络结构和超参数设置；所述lstm神经网络模型的网络结构包括至少一个隐藏层，每个隐藏层包括多个lstm单元。
4.根据权利要求3所述的拱坝变形监测数据预处理方法，其特征在于，
5.根据权利要求4所述的拱坝变形监测数据预处理方法，其特征在于，遗忘门读取上一时刻隐含层的状态和当前时刻的变形监测数据输入，采用sigmoid 函数计算进行并赋值给，计算公式如下：
6.根据权利要求4所述的拱坝变形监测数据预处理方法，其特征在于，根据拱坝变形监测数据的输出值计算预测效果，通过比较不同参数下lstm 神经网络模型的预测效果，选择最优的lstm 神经网络模型参数，确定最终用于拱坝变形监测数据缺失值处理的lstm 神经网络模型；
7.一种拱坝变形监测数据处理系统，用于实现权利要求1至6中任一所述方法，其特征在于，包括：
