本发明涉及数据处理,特别涉及一种快速存取记录器的数据处理与参数识别方法、装置、设备及介质。
背景技术:
1、快速存取记录器(quick access recorder,qar)真实地记录了民用飞机主要系统/部件的各种飞行参数数据,反映了飞机各系统的性能变化趋势和各种工作状态,具有频率高数据量大、时序性强、受扰随机性、结构复杂、专业性强等特点,然而,传感器记录数据会受到各种因素的干扰,导致解析后的qar数据包含缺失值和异常值。因此,为了给数据分析与挖掘工作提供更可靠的数据支撑,如何提高qar数据的质量、可靠性与分析效率是目前亟待解决的问题。
技术实现思路
1、有鉴于此,本发明的目的在于提供一种快速存取记录器的数据处理与参数识别方法、装置、设备及介质,能够对原始参数数据进行缺失值、粗大误差值和异常值处理,提高qar数据质量与可靠性,并对关键参数进行识别并提取,进一步提升qar数据分析效率。其具体方案如下:
2、第一方面,本技术公开了一种快速存取记录器的数据处理与参数识别方法,包括:
3、获取快速存取记录器数据,基于所述快速存取记录器数据对应的解析规则文件对所述快速存取记录器数据进行解析,以得到原始参数数据,并利用分段线性插值法对所述原始参数数据中的缺失数据进行填补,以得到完整参数数据;
4、基于各参数的算术平均值以及标准偏差确定所述完整参数数据中的粗大误差值,利用所述算术平均值和所述标准偏差对所述粗大误差值进行替换处理,获取初始处理后参数数据,并通过滤波器对所述初始处理后参数数据中的异常值进行处理,以得到目标参数数据;
5、根据所述目标参数数据以及各参数的所述算术平均值构建预设评估数据矩阵,对所述预设评估数据矩阵中的各数据进行标准化处理,以得到标准化后数据;
6、通过所述标准化后数据构建比重矩阵,基于所述比重矩阵确定各参数的数据权重值,并根据所述数据权重值的大小识别所述快速存取记录器数据的目标参数。
7、可选的,所述基于各参数的算术平均值以及标准偏差确定所述完整参数数据中的粗大误差值,包括:
8、计算各参数的所述算术平均值以及所述标准偏差;
9、判断各所述参数与各自对应的算术平均值的差值的绝对值与预设倍数的标准偏差的大小关系;
10、若所述参数与各自对应的算术平均值的差值的绝对值小于或等于预设倍数的标准偏差,则判定所述参数为正常值;
11、若所述参数与各自对应的算术平均值的差值的绝对值大于预设倍数的标准偏差,则判定所述参数为所述完整参数数据中的粗大误差值;
12、相应的,所述利用所述算术平均值和所述标准偏差对所述粗大误差值进行替换处理,获取初始处理后参数数据,包括:
13、若所述粗大误差值与目标算术平均值的差值大于所述预设倍数的标准偏差,则利用所述目标算术平均值与所述预设倍数的标准偏差的和对所述粗大误差值进行替换处理,获取所述初始处理后参数数据;所述目标算数平均值为所述粗大误差值对应的参数的算数平均值;
14、若所述粗大误差值与所述目标算术平均值的差值小于所述预设倍数的标准偏差的负值,则利用所述目标算术平均值与所述预设倍数的标准偏差的差对所述粗大误差值进行替换处理,获取所述初始处理后参数数据。
15、可选的,所述通过滤波器对所述初始处理后参数数据中的异常值进行处理,以得到目标参数数据,包括:
16、将所述初始处理后参数数据输入所述滤波器,确定滤波器窗口中的各数据点以及数据点序列,并计算所述数据点序列的第一中位数;
17、确定各所述数据点与所述第一中位数的绝对偏差,基于所述绝对偏差构建偏差尺度序列;
18、计算所述偏差尺度序列的第二中位数,并基于所述第二中位数确定判定阈值;
19、若所述数据点的绝对偏差大于所述判定阈值,则判定所述数据点为异常值,并利用所述第一中位数替换所述异常值,以得到所述目标参数数据。
20、可选的,所述根据所述目标参数数据以及各参数的所述算术平均值构建预设评估数据矩阵,包括:
21、根据所述目标参数数据中各参数在目标时刻的目标值与所述参数的算术平均值之间的绝对误差值构建预设评估数据矩阵。
22、可选的,所述对所述预设评估数据矩阵中的各数据进行标准化处理,以得到标准化后数据,包括:
23、利用预设标准化处理公式对所述预设评估数据矩阵中的各数据进行标准化处理,以得到标准化后数据;其中,所述预设标准化处理公式为:
24、;
25、其中,xij为第j个参数在i时刻的值;为第j个参数的最大值;为第j个参数的最小值;为所述标准化后数据。
26、可选的,所述通过所述标准化后数据构建比重矩阵,包括:
27、基于预设比重计算公式计算所述标准化后数据对应的比重值,通过各所述比重值构建所述比重矩阵;其中所述预设比重计算公式为:
28、;
29、其中,为第j个参数在i时刻的所述比重值;为所述标准化后数据;m为时刻的取值上限;n为参数数量的取值上限。
30、可选的,所述基于所述比重矩阵确定各参数的数据权重值,包括:
31、基于预设信息熵计算公式以及所述比重矩阵计算各参数绝对误差序列的信息熵;所述预设信息熵计算公式为:
32、;
33、其中,为第j个参数绝对误差序列的信息熵;k为常数;为第j个参数在i时刻的所述比重值;m为时刻的取值上限;
34、根据预设信息效用值计算公式以及所述信息熵计算各参数的信息效用值;所述预设信息效用值计算公式为:
35、;
36、其中,为第j个参数的信息效用值;为第j个参数绝对误差序列的信息熵;
37、利用预设数据权重值计算公式以及所述信息效用值计算各参数的所述数据权重值;所述预设数据权重值计算公式为:
38、;
39、其中,为第j个参数的数据权重值;为第j个参数的信息效用值。
40、第二方面,本技术公开了一种快速存取记录器的数据处理与参数识别装置,包括:
41、数据填补模块,用于获取快速存取记录器数据,基于所述快速存取记录器数据对应的解析规则文件对所述快速存取记录器数据进行解析,以得到原始参数数据,并利用分段线性插值法对所述原始参数数据中的缺失数据进行填补,以得到完整参数数据;
42、粗大误差值处理模块,用于基于各参数的算术平均值以及标准偏差确定所述完整参数数据中的粗大误差值,利用所述算术平均值和所述标准偏差对所述粗大误差值进行替换处理,获取初始处理后参数数据;
43、异常值处理模块,用于通过滤波器对所述初始处理后参数数据中的异常值进行处理,以得到目标参数数据;
44、标准化处理模块,用于根据所述目标参数数据以及各参数的所述算术平均值构建预设评估数据矩阵,对所述预设评估数据矩阵中的各数据进行标准化处理,以得到标准化后数据;
45、参数识别模块,用于通过所述标准化后数据构建比重矩阵,基于所述比重矩阵确定各参数的数据权重值,并根据所述数据权重值的大小识别所述快速存取记录器数据的目标参数。
46、第三方面,本技术公开了一种电子设备,包括:
47、存储器,用于保存计算机程序;
48、处理器,用于执行所述计算机程序,以实现如前述的快速存取记录器的数据处理与参数识别方法。
49、第四方面,本技术公开了一种计算机可读存储介质,用于保存计算机程序,其中,所述计算机程序被处理器执行时实现如前述的快速存取记录器的数据处理与参数识别方法。
50、本技术在对快速存取记录器进行数据处理以及参数识别时,首先获取快速存取记录器数据,基于所述快速存取记录器数据对应的解析规则文件对所述快速存取记录器数据进行解析,以得到原始参数数据,并利用分段线性插值法对所述原始参数数据中的缺失数据进行填补,以得到完整参数数据;然后基于各参数的算术平均值以及标准偏差确定所述完整参数数据中的粗大误差值,利用所述算术平均值和所述标准偏差对所述粗大误差值进行替换处理,获取初始处理后参数数据,并通过滤波器对所述初始处理后参数数据中的异常值进行处理,以得到目标参数数据;接着根据所述目标参数数据以及各参数的所述算术平均值构建预设评估数据矩阵,对所述预设评估数据矩阵中的各数据进行标准化处理,以得到标准化后数据;最后通过所述标准化后数据构建比重矩阵,基于所述比重矩阵确定各参数的数据权重值,并根据所述数据权重值的大小识别所述快速存取记录器数据的目标参数。可见,本技术通过利用解析规则对获取的qar数据进行解析,得到qar原始参数数据,然后对原始参数数据进行缺失值、粗大误差值和异常值处理,提高qar数据质量,最后基于qar关键参数识别方法对关键参数进行识别并提取,消除了qar数据中的异常数据,进一步提升qar数据分析效率。
1.一种快速存取记录器的数据处理与参数识别方法,其特征在于,包括:
2.根据权利要求1所述的快速存取记录器的数据处理与参数识别方法,其特征在于,所述基于各参数的算术平均值以及标准偏差确定所述完整参数数据中的粗大误差值,包括:
3.根据权利要求1所述的快速存取记录器的数据处理与参数识别方法,其特征在于,所述通过滤波器对所述初始处理后参数数据中的异常值进行处理,以得到目标参数数据,包括:
4.根据权利要求1所述的快速存取记录器的数据处理与参数识别方法,其特征在于,所述根据所述目标参数数据以及各参数的所述算术平均值构建预设评估数据矩阵,包括:
5.根据权利要求1所述的快速存取记录器的数据处理与参数识别方法,其特征在于,所述对所述预设评估数据矩阵中的各数据进行标准化处理,以得到标准化后数据,包括:
6.根据权利要求1至5任一项所述的快速存取记录器的数据处理与参数识别方法,其特征在于,所述通过所述标准化后数据构建比重矩阵,包括:
7.根据权利要求6所述的快速存取记录器的数据处理与参数识别方法,其特征在于,所述基于所述比重矩阵确定各参数的数据权重值,包括:
8.一种快速存取记录器的数据处理与参数识别装置,其特征在于,包括:
9.一种电子设备,其特征在于,包括:
10.一种计算机可读存储介质,其特征在于,用于保存计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的快速存取记录器的数据处理与参数识别方法。