本发明涉及工业互联网数据采集，尤其涉及基于工业互联网操作系统的数据采集方法及系统。
背景技术：
1、随着工业4.0革命的推进，工业互联网的应用日益广泛，成为推动制造业智能化、信息化发展的关键技术，工业互联网操作系统通过集成各类工业设备和传感器，实现数据的实时采集、处理和分析，支持决策制定和操作优化，然而，随着设备数量和数据类型的增加，现有的数据采集系统面临处理速度慢、数据管理复杂、安全性和可靠性难以保证等问题，这些问题限制了工业互联网技术在高效数据处理和实时响应方面的应用，影响了生产效率和系统稳定性。
2、目前的工业互联网数据采集系统普遍存在数据处理和存储效率低下的问题，尤其是在数据安全性和一致性保障方面存在明显短板，例如，数据在传输和存储过程中容易遭受篡改和丢失，缺乏有效的数据同步和一致性校验机制，导致数据质量和可靠性难以得到保证，此外，随着数据量的急剧增加，传统的数据采集系统在处理大规模数据时往往响应迟缓，无法满足工业生产中对实时性的高要求。
3、因此，迫切需要开发一种新的数据采集方法及系统，以解决数据处理速度慢、数据安全性和一致性难以保证的问题。
技术实现思路
1、基于上述目的，本发明提供了基于工业互联网操作系统的数据采集方法及系统。
2、基于工业互联网操作系统的数据采集方法，包括以下步骤：
3、s1：基于工业互联网操作系统，利用预设的智能识别算法自动检测并识别多个工业设备和传感器的数据源，包括设备类型、数据格式、采集频率和通信协议；
4、s2：从数据源中实时采集原始数据，并对原始数据进行预处理，包括去噪、滤波、修复以及标准化处理；
5、s3：在工业设备端进行边缘计算，对预处理后的数据进行初步分析和处理，将部分计算任务分布到多个边缘节点上，减轻中央处理单元的负担；
6、s4：将边缘计算处理后的数据临时存储在工业互联网操作系统的缓存模块中，并根据数据的重要性和实时需求，选择适当的存储策略，将数据分类存储到分布式数据库或云存储中；
7、s5：根据预设的时间窗口和数据类型，将缓存中的数据进行片段化处理，并对每个数据片段添加标签；
8、s6：通过工业互联网操作系统的多通道通信模块，将片段化的数据传输到中央数据处理中心，进行数据同步和一致性校验；
9、s7：在中央数据处理中心，对接收到的数据进行解析，并根据不同的应用需求，将数据转换成相应的格式，开放标准化的数据接口供第三方应用和分析工具调用。
10、可选的，所述s1具体包括：
11、s11：通过工业互联网操作系统中的设备管理模块，建立设备和传感器的初始列表，包含已知设备和传感器的基础信息，具体包括设备类型、数据格式、采集频率和通信协议；
12、s12：通过设备管理模块对工业现场的设备和传感器进行扫描，收集设备和传感器的实时信息，包括设备id、型号、位置和当前状态；
13、s13：将收集到的实时信息与初始列表进行匹配，利用支持向量机算法进行模式识别，识别出新加入的设备和传感器，并更新初始列表；
14、s14：对匹配和识别出的设备和传感器，利用卷积神经网络算法分析其数据格式和通信协议，通过预设的协议解析库，自动配置适应的通信协议和数据格式；
15、s15：根据设备类型和数据特性，动态调整数据采集频率，在不影响设备正常运行的前提下，最大化数据采集的准确性和及时性；设采集频率为f，则调整公式为：其中，f为采集频率，fmax为最大采集频率，c为预设常数，v为数据变化率；
16、s16：生成设备和传感器的完整配置文件，包括设备类型、数据格式、采集频率和通信协议。
17、可选的，所述s2具体包括：
18、s21：从数据源中实时采集原始数据，利用已配置的数据格式、采集频率和通信协议，获取工业设备和传感器生成的原始数据；
19、s22：对实时采集的原始数据进行去噪处理，使用基于小波变换的去噪算法，将原始数据中的随机噪声信号去除；
20、s23：采用卡尔曼滤波器对去噪处理后的数据进行滤波处理，滤除数据中的高频干扰成分，保留数据的有效信号部分；
21、s24：对滤波处理后的数据进行修复处理，利用拉格朗日插值法，对数据中的缺失值进行估计和补全；
22、s25：对修复处理后的数据进行标准化处理，具体使用z-score标准化算法，将数据转换到相同的尺度范围，消除不同数据源之间的尺度差异。
23、可选的，所述s3具体包括：
24、s31：在工业设备端部署边缘计算节点，包括嵌入式计算设备或工业控制器，每个节点均配置计算资源和存储容量，用于执行边缘计算任务；
25、s32：将预处理后的数据通过工业互联网操作系统中的数据传输模块，传输到边缘计算节点，并在边缘计算节点上进行初步分析和处理，包括数据聚合、数据过滤和数据特征提取；
26、s33：利用边缘计算节点的资源调度算法，根据计算任务的复杂度和每个边缘节点的负载情况，判定计算任务的分布，将高计算量的任务分配到计算能力高的边缘节点上，低计算量的任务分配到其他边缘节点上，以实现负载均衡；
27、s34：在边缘计算节点上执行分配的计算任务，包括数据处理、模型推理和实时响应；
28、s35：将边缘计算节点处理后的结果数据通过工业互联网操作系统，汇聚到中央数据处理中心，并对结果数据进行汇总。
29、可选的，所述s33具体包括：
30、s331：根据计算任务的复杂度，将任务划分为多个子任务；复杂度c通过任务所需的计算时间t和资源消耗r来衡量，公式为：c＝t×r，其中，t为计算时间，r为资源消耗；
31、s332：获取每个边缘节点的实时负载信息，包括cpu使用率u、内存占用率m和网络带宽b；负载l计算公式为：l＝αu+βm+γb，其中，α、β和γ为权重系数，反映各资源在总负载中的影响权重；
32、s333：计算每个边缘节点的可用资源量a，公式为：a＝rmax-l，其中，rmax为节点的最大资源容量，l为节点的当前负载；
33、s334：根据任务复杂度c和边缘节点的可用资源量a，利用资源调度算法判定计算任务的分布；资源调度算法采用基于负载均衡的最小资源利用率优先策略，具体公式为：其中，n为选定的边缘节点，i为所有候选边缘节点的索引，ai为第i个边缘节点的可用资源量，表示取使分数值最小的i值；并将子任务分配给选定的边缘节点n。
34、可选的，所述s4具体包括：
35、s41：对边缘计算处理后的数据进行重要性评估，基于数据的来源、类型、用途以及对工业生产过程的影响，设定数据重要性等级i；数据重要性等级分为高、中、低三类，分别对应重要性等级ih、im和il；
36、s42：根据实时需求对数据进行分类，评估数据的实时性要求r，实时性要求分为高实时性、中实时性和低实时性，分别对应实时性等级rh、rm和rl；
37、s43：基于数据的重要性等级i和实时性要求r，确定数据的存储策略，所述数据存储策略包括实时存储、周期性存储和归档存储；
38、对于高重要性和高实时性的数据ih,rh，采用实时存储策略，将数据直接存储到高性能分布式数据库中；
39、对于高重要性但中实时性的数据ih,rm，或中重要性且高实时性的数据im,rh，采用周期性存储策略，将数据按预设周期存储到分布式数据库中；
40、对于中重要性和中实时性的数据im,rm，或高重要性但低实时性的数据ih,rl，采用混合存储策略，将数据部分实时存储到分布式数据库中，另一部分周期性存储到云存储中；
41、对于低重要性但高实时性的数据il,rh，采用低延迟存储策略，将数据暂存到缓存模块中；
42、对于中重要性但低实时性的数据im,rl，或低重要性和中实时性的数据il,rm，采用归档存储策略，将数据直接存储到云存储中；
43、对于低重要性和低实时性的数据il,rl，采用延迟存储策略，将数据暂存在边缘节点的本地存储中，并在数据量达到一定阈值后批量存储到云存储中。
44、可选的，所述s5具体包括：
45、s51：根据预设的时间窗口和数据类型，对缓存中的数据进行片段化处理；所述时间窗口通过预定固定时间间隔或动态调整的时间间隔实现，将每个时间窗口内的数据作为一个片段；
46、s52：将每个时间窗口内的数据进行划分，生成多个数据片段，每个数据片段均包括时间窗口内的数据集合；
47、s53：对每个数据片段添加标签，包括时间戳、设备id、数据类型和异常标记；
48、s54：将添加标签后的数据片段存储在工业互联网操作系统的缓存模块中。
49、可选的，所述s6具体包括：
50、s61：通过工业互联网操作系统中的通信模块，选择传输协议，包括mqtt、http或coap，并将片段化的数据从边缘节点传输到中央数据处理中心；
51、s62：在数据传输过程中，使用tls协议进行数据加密，并采用gzip算法进行数据压缩；
52、s63：在中央数据处理中心接收到片段化的数据后，进行同步处理，具体通过时间戳比较和哈希校验，确保各个数据片段的时序和内容一致；
53、s64：对接收到的数据片段进行一致性校验，具体包括以下步骤：
54、s641：计算每个数据片段的哈希值，并与边缘节点传输的哈希值进行比较；
55、s642：对比数据片段的时间戳，检查是否存在数据丢失或重复传输的情况，若发现异常，则进行数据重传或合并；
56、s643：利用基于区块链技术的一致性校验算法，将数据片段的哈希值存储在区块链网络中。
57、可选的，所述s7具体包括：
58、s71：在中央数据处理中心接收到数据后，利用数据解析模块对数据进行解析，解析过程包括数据格式识别和数据内容提取；数据格式识别用于通过格式库匹配接收到的数据格式；数据内容用于提取通过解析器将数据内容转换为结构化数据；
59、s72：根据不同的应用需求，将结构化数据转换成相应的格式；具体包括以下步骤：
60、s721：根据应用需求，选择对应的数据转换规则；数据转换规则预先定义在转换规则库中，包括不同数据格式之间的映射关系；
61、s722：利用选定的转换规则，将结构化数据转换为目标格式，目标格式包括json、xml、csv；
62、s723：在转换过程中，同时进行数据单位转换和格式调整；
63、s73：开放标准化的数据接口供第三方应用和分析工具调用，具体包括以下步骤：
64、s731：在中央数据处理中心部署restful api服务，提供标准化的数据访问接口；restful api服务根据资源路径和http方法定义接口，包括get、post、put和delete；
65、s732：为每个数据接口定义详细的api文档，包括接口的请求格式、响应格式、参数说明和示例代码；
66、s733：通过api网关对数据接口进行安全管理和流量控制，采用oauth 2.0进行身份认证和授权；
67、s74：将解析和转换后的数据存储在中央数据处理中心的数据库中，并通过标准化的数据接口实时提供给第三方应用和分析工具。
68、基于工业互联网操作系统的数据采集系统，用于实现上述的基于工业互联网操作系统的数据采集方法，包括以下模块：
69、设备管理模块：用于建立和维护工业设备和传感器的初始列表，包括设备类型、数据格式、采集频率和通信协议，同时自动检测并识别新加入的设备和传感器；
70、数据采集模块：用于从识别的设备和传感器中实时采集原始数据，并对原始数据进行预处理，包括去噪、滤波、修复和标准化处理；
71、边缘计算模块：在工业设备端对预处理后的数据进行初步分析和处理，将计算任务分布到多个边缘节点上，减轻中央处理单元的负担；
72、缓存模块：用于临时存储边缘计算处理后的数据，根据数据的重要性和实时需求选择适当的存储策略，并将数据分类存储到分布式数据库或云存储中；
73、数据片段化模块：根据预设的时间窗口和数据类型，将缓存中的数据进行片段化处理，并对每个数据片段添加标签，包括时间戳、设备id、数据类型和异常标记；
74、通信模块：通过选择适当的传输协议，将片段化的数据从边缘节点传输到中央数据处理中心，并在传输过程中利用加密和压缩技术；
75、数据同步模块：在中央数据处理中心对接收到的数据进行同步处理；
76、数据校验模块：对接收到的数据片段进行一致性校验，计算每个数据片段的哈希值，并利用区块链技术存储哈希值；
77、数据解析模块：对接收到的数据进行解析，包括数据格式识别和数据内容提取，并根据不同的应用需求将数据转换成相应的格式；
78、数据接口模块：开放标准化的数据接口供第三方应用和分析工具调用，提供restful api服务，定义详细的api文档，并通过api网关进行安全管理和流量控制。
79、本发明的有益效果：
80、本发明，通过引入先进的数据片段化处理和动态存储策略，显著提高了数据采集系统的处理速度和存储效率，通过对数据进行实时片段化并根据数据的重要性和实时需求动态选择存储位置，本发明能够确保在保持高数据处理效率的同时，有效管理庞大的数据量，减少了数据处理的延迟和资源消耗，此外，通过对每个数据片段进行精确的时间戳和异常标记，本发明增强了数据的追踪性和分析的准确性，从而提升了整个系统的操作效率和可靠性。
81、本发明，通过实现数据的一致性校验和安全传输，极大地增强了数据的安全性和完整性，采用区块链技术进行数据的一致性校验，保证了数据在存储和传输过程中的不可篡改性和可追溯性，同时，利用标准化的数据接口和安全协议，本发明支持第三方应用和分析工具的高效接入和安全调用，为工业系统提供了一个既安全又开放的数据环境，这些特点使本发明在提高工业互联网操作系统的数据处理和安全管理方面具有显著优势。
1.基于工业互联网操作系统的数据采集方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于工业互联网操作系统的数据采集方法，其特征在于，所述s1具体包括：
3.根据权利要求1所述的基于工业互联网操作系统的数据采集方法，其特征在于，所述s2具体包括：
4.根据权利要求1所述的基于工业互联网操作系统的数据采集方法，其特征在于，所述s3具体包括：
5.根据权利要求4所述的基于工业互联网操作系统的数据采集方法，其特征在于，所述s33具体包括：
6.根据权利要求1所述的基于工业互联网操作系统的数据采集方法，其特征在于，所述s4具体包括：
7.根据权利要求1所述的基于工业互联网操作系统的数据采集方法，其特征在于，所述s5具体包括：
8.根据权利要求1所述的基于工业互联网操作系统的数据采集方法，其特征在于，所述s6具体包括：
9.根据权利要求1所述的基于工业互联网操作系统的数据采集方法，其特征在于，所述s7具体包括：
10.基于工业互联网操作系统的数据采集系统，用于实现如权利要求1-9任一项所述的基于工业互联网操作系统的数据采集方法，其特征在于，包括以下模块：
