本申请涉及行驶数据处理,特别是涉及一种行驶工况数据的补缺方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
背景技术:
1、在汽车行驶工况数据的分析与应用中,数据预处理是至关重要的一步。工况数据包含了多种类型的信息,如报警信息、电机状态、电池状态等,这些数据中可能存在大量的冗余和缺失数据。数据预处理不仅能够提高数据质量,还能显著提升数据挖掘的准确性和效率。据统计,数据预处理占据了数据挖掘过程的60%,远超过学习训练的10%。
2、由于工况数据有大量的冗余和缺失的数据,缺失数据处理方法的选择直接影响到数据处理的效率和准确率,所以选择恰当的方式处理数据缺失数据是非常有必要的。目前对数据不完备问题的处理方法的应用非常局限,应对数据不完备问题会造成数据集原有信息的丢失,容易导致数据有用信息的浪费,同时信息的丢弃一定程度地影响了数据挖掘结果的正确性和客观性。
3、因此,亟需一种行驶工况数据的补缺方法、装置、计算机设备、计算机可读存储介质和计算机程序产品,能够充分利用数据本身的信息,使估计的填补值尽可能地接近原始的数据真实值。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够充分利用数据本身的信息,使估计的填补值尽可能地接近原始的数据真实值的行驶工况数据的补缺方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
2、第一方面,本申请提供了一种行驶工况数据的补缺方法,包括:
3、获取行驶工况的待检测数据集;
4、在所述待检测数据集中存在缺失数据的情况下,获取缺失数据的属性列集合和数据类型;
5、获取具有完整数据的行驶工况数据集;
6、根据所述行驶工况数据集、所述缺失数据的属性列集合和数据类型,对所述待检测数据集的缺失数据进行填充。
7、在其中一个实施例中,所述根据所述行驶工况数据集、所述缺失数据的属性列集合和数据类型,对所述待检测数据集的缺失数据进行填充,包括:
8、采用knn最近邻填充算法,获取所述待检测数据集和所述行驶工况数据集之间的欧氏距离;
9、从所述行驶工况数据集中筛选获得欧式距离小于预设距离阈值的行驶工况数据,并将所述行驶工况数据作为缺失数据所对应的目标工况数据;
10、根据所述目标工况数据,对所述待检测数据集中的缺失数据进行填充。
11、在其中一个实施例中,所述根据所述目标工况数据,对所述待检测数据集中的缺失数据进行填充,包括:
12、获取所述目标工况数据相应的最近邻权值;
13、根据所述目标工况数据和相应的最近邻权值,获得缺失数据的数值;
14、根据所述缺失数据的数值,对所述待检测数据集中的缺失数据进行填充。
15、在其中一个实施例中,所述获取所述目标工况数据相应的最近邻权值的计算式为:
16、;
17、其中,di(zi,g)为所述待检测数据集和所述行驶工况数据集之间的欧氏距离,欧氏距离的计算式为:
18、;
19、其中,zi为所述待检测数据集的特征,g为所述目标工况数据的最近邻数据。
20、在其中一个实施例中,所述根据所述目标工况数据和相应的最近邻权值,获得缺失数据的数值的计算式为:
21、;
22、其中,xi为所述目标工况数据的最近邻数据的数值。
23、在其中一个实施例中,所述获取行驶工况的待检测数据集,包括:
24、采集实时行驶工况数据;
25、对所述实时行驶工况数据进行数据清洗处理,获得行驶工况的待检测数据集。
26、第二方面,本申请还提供了一种行驶工况数据的补缺装置,包括:
27、获取模块,用于获取行驶工况的待检测数据集;
28、获取模块,还用于在所述待检测数据集中存在缺失数据的情况下,获取缺失数据的属性列集合和数据类型;
29、获取模块,还用于获取具有完整数据的行驶工况数据集;
30、填充模块,用于根据所述行驶工况数据集、所述缺失数据的属性列集合和数据类型,对所述待检测数据集的缺失数据进行填充。
31、第三方面,本申请还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
32、获取行驶工况的待检测数据集;
33、在所述待检测数据集中存在缺失数据的情况下,获取缺失数据的属性列集合和数据类型;
34、获取具有完整数据的行驶工况数据集;
35、根据所述行驶工况数据集、所述缺失数据的属性列集合和数据类型,对所述待检测数据集的缺失数据进行填充。
36、第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
37、获取行驶工况的待检测数据集;
38、在所述待检测数据集中存在缺失数据的情况下,获取缺失数据的属性列集合和数据类型;
39、获取具有完整数据的行驶工况数据集;
40、根据所述行驶工况数据集、所述缺失数据的属性列集合和数据类型,对所述待检测数据集的缺失数据进行填充。
41、第五方面,本申请还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
42、获取行驶工况的待检测数据集;
43、在所述待检测数据集中存在缺失数据的情况下,获取缺失数据的属性列集合和数据类型;
44、获取具有完整数据的行驶工况数据集;
45、根据所述行驶工况数据集、所述缺失数据的属性列集合和数据类型,对所述待检测数据集的缺失数据进行填充。
46、上述行驶工况数据的补缺方法、装置、计算机设备、计算机可读存储介质和计算机程序产品,通过填补缺失值,确保数据集的完整性,为数据分析和模型训练提供全面的数据支持。有效处理缺失和冗余数据,提升数据的准确性和可靠性,为数据挖掘提供高质量的输入。通过数据补全,可以更快地进行数据分析和模式识别,提高数据挖掘的整体效率。处理后的数据集能够更好地泛化到不同的行驶环境和条件,提高模型的鲁棒性。由于该方法专门针对缺失数据处理,可以显著减少数据预处理的时间,特别是对于大规模数据集。统一处理数据中的缺失问题,使得不同数据集或同一数据集中的不同记录之间具有更好的一致性。通过智能的补缺方法,最大限度地保留了数据的原始特征和信息,避免过度简化或错误解释。
1.一种行驶工况数据的补缺方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述根据所述行驶工况数据集、所述缺失数据的属性列集合和数据类型,对所述待检测数据集的缺失数据进行填充,包括:
3.根据权利要求2所述的方法,其特征在于,所述根据所述目标工况数据,对所述待检测数据集中的缺失数据进行填充,包括:
4.根据权利要求3所述的方法,其特征在于,所述获取所述目标工况数据相应的最近邻权值的计算式为:
5.根据权利要求3所述的方法,其特征在于,所述根据所述目标工况数据和相应的最近邻权值,获得缺失数据的数值的计算式为:
6.根据权利要求1所述的方法,其特征在于,所述获取行驶工况的待检测数据集,包括:
7.一种行驶工况数据的补缺装置,其特征在于,所述装置包括:
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
