本发明属于自动化,更具体地说,尤其涉及多协议数据采集与数据回写的数据处理系统,同时,本发明还涉及一种111。
背景技术:
1、通过工业控制计算机对传感器及局域网所采集的各种信息的归纳、分析、整理,实现信息管理与自动控制的一体化,并可以通过权限认证确保了信息的安全。
2、工业生产过程自动化系统经过长期不断的发展,特别是在充分利用计算机技术的基础上取得很大的进步,在生产过程中已发挥其重要作用,成为生产过程安全稳定自动化运行不可缺少的工具。
3、工业自动化就是工业生产中的各种参数为控制目的,实现各种过程控制,在整个工业生产中,尽量减少人力的操作,而能充分利用动物以外的能源与各种资讯来进行生产工作,即称为工业自动化生产。
4、工业自动控制系统通过工业控制计算机对传感器及局域网所采集的各种信息的归纳、分析、整理,实现信息管理与自动控制的一体化.并通过权限认证确保了信息的安全。
5、在当今的工业领域,工厂设备的高效运行和管理至关重要。实现对工厂里常见的设备进行数据采集,是工厂自动化控制的基础,数据采集能够为工厂带来诸多好处。首先,通过实时获取设备的运行状态、生产参数等数据,可以及时发现设备故障和异常情况,提前进行维护和维修,减少停机时间,提高生产效率。其次,数据采集为生产过程优化提供了依据,通过对数据的分析,可以找出生产中的瓶颈环节,进行针对性的改进,提高产品质量和生产效益。此外,数据采集还为企业的智能化管理提供了支持,实现对设备的远程监控和管理,提高管理效率和决策的科学性。
6、然而现有技术存在一些问题:现有的工厂中设备较多,并未各个设备的协议不同,对于数据采集造成较大的困扰,无法实现数据信息的统一,造成数据采集的延迟过高,无法实现快速的自动化的控制,并且对于数据的存储和索引也造成了较大的困扰,因此我们提出多协议数据采集与数据回写的数据处理系统。
技术实现思路
1、针对现有技术存在的问题,本发明的目的是提供多协议数据采集与数据回写的数据处理系统,通过数据采集单元对数据信息进行协议转换处理,提取数据信息的中的特征,并且结合数据库单元的回写模块对数据信息进行采集和存储,从而实现数据信息的协议统一,提高数据信息的处理和存储效率,并且提高数据信息的回写效率。
2、为实现上述目的,本发明提供如下技术方案:多协议数据采集与数据回写的数据处理系统,包括数据采集单元、通讯单元和数据库单元;
3、所述数据采集单元用于工厂中的各个设备上的传感器或者控制器连接,实现对各个设备进行采集数据信息,以及实现对设备进行远程控制调节,所述数据采集单元中包括接口模块,所述接口模块负责与各种设备上的传感器或者控制器进行通信,并且设有多种数字量输入输出接口和模拟量输入输出接口,所述数据采集单元中包括驱动模块,所述驱动模块用于在接收多种协议数据的时候进行驱动相应的运行程序,完成对多种协议数据进行获取,所述数据采集单元中包括协议转换模块,所述协议转换模块用于对多种协议数据进行转换成同一个协议格式,所述数据采集单元中包括协议库,所述协议库中包含有各种协议的解析和封装函数,用于对多种协议数据进行解析和封装处理;
4、所述协议转换模块在对多种协议的数据信息进行解析后,获取多种协议数据的头部、有效载荷、尾部和可选字段,对有效载荷中的内容进行特征提取,并且对头部中的源地址进行提取和对可选字段中的时间戳提取,再将头部、可选字段和有效载荷中提取的源地址、时间戳和特征进行映射到json格式中,完成对多种协议数据进行转换;
5、所述通讯单元用于对数据采集单元和数据库单元进行通讯连接,用于将协议转换后的数据信息发送给数据库单元;
6、所述数据库单元用于对协议转换后的数据信息进行存储,所述数据库单元中包括数据回写模块,所述数据回写模块用于将传输的协议转换后的数据信息进行写入数据库中,所述数据库单元中包括回写逻辑模块和监控模块,所述回写逻辑模块用于对写入的数据信息进行直接写入、批量写入或者异步写入的方式调控,所述监控模块用于检测回写操作,记录成功和失败的操作,并且在写入失败的时候触发警报机制;
7、所述数据回写模块用于将json格式的数据信息转换成向量形式的数据向量,并且将数据向量进行写入到数据库中。
8、具体的,所述接口模块上的多协议接口分别电性连接有统一接口的接口扩展器,所述接口扩展器用于对多个同一协议的传感器或者控制器进行电性连接,所述接口模块上的多协议接口分别与对应的所述驱动模块电性连接,所述驱动模块通过驱动运行程序,实现对数据信息进行接收和识别。
9、具体的,所述协议转换模块的步骤如下:
10、所述数据采集单元通过所述接口模块接收各个设备上的传感器或者控制器的数据信息;
11、所述驱动模块启动运行程序对传输的数据信息进行接收和识别,并且通过协议库中的解析函数对数据信息进行解析处理;
12、所述协议转换模块将解析处理后的数据信息进行头部、有效载荷、尾部和可选字段进行提取;
13、所述协议转换模块通过将源协议与目标协议进行映射,将相应的源地址、时间戳和特征,生成转换后的协议格式。
14、具体的,所述协议转换模块对于有效载荷中的内容特征提取如下:
15、首先对解析后的有效载荷进行滤波和清洗,去除有效载荷中的噪声干燥,并且对异常值和缺失值进行均值填补;
16、然后对滤波和清洗后的有效载荷进行特征提取,获取有效载荷中的特征,并且去除无关数据;
17、再对提取的特征进行二进制编码处理,生成二进制数据信息;
18、最后将二进制数据信息与有效载荷进行建立名称与值的健对关系。
19、具体的,所述协议转换模块中将源地址、时间戳和特征进行映射到json格式中采用的是字段映射,将源协议中的字段与目标协议中的字段进行对应,然后进行映射,将源地址、时间戳和有效载荷映射到json格式中,并且在进行字段映射的时候,先对源地址、时间戳和有效载荷进行类型转换,形成统一的格式类型。
20、具体的,所述数据回写模块将json格式的数据信息转换成向量形式的数据信息;
21、首先所述数据回写模块对json格式的数据信息进行解析处理;
22、提取json格式中的特征,提取的特征包括源地址、时间戳和有效载荷;
23、将提取的源地址、时间戳和有效载荷转换为数据向量;
24、并且将源地址通过哈希函数计算得到外键,通过外键将源地址与数据向量进行建立联系。
25、具体的,所述直接写入用于使用数据库的插入或更新操作直接将数据向量写入数据;
26、所述批量写入用于将多个数据向量条目合并为一个批处理请求,再将所有的数据向量写入数据库;
27、所述异步写入用于将数据向量放入消息队列,异步将数据向量写入到数据库;
28、所述直接写入用于在单独一个协议的一个数据信息进行转换后写入到数据库中使用,所述批量写入用于单独一个协议的多个数据信息进行转换后写入到数据库中使用,所述异步写入用于在多个协议的多个数据信息进行转换后写入到数据库中使用,所述异步写入采用的是冒泡排序,按照先入先出的排序方式进行写入到数据库中。
29、具体的,所述数据库单元中还包括缓存模块,所述缓存模块用于在将向量数据通过所述直接写入、所述批量写入或者所述异步写入存储到数据库中之前,先将向量数据进行映射在所述缓存模块中进行缓存,再将向量数据写入到数据库中,并且通过所述监控模块对向量数据写入数据库的成功或者失败进行检测记录,在向量数据成功写入数据库中的时候,则将缓存模块中的缓存记录进行删除,在向量数据写入数据库中失败的时候,则重新拉起缓存模块中的缓存记录进行存储,在三次重复存储失败后,则触发警报机制。
30、具体的,所述通讯单元上还连接有远程终端,所述远程终端通过所述通讯单元实现对各个设备进行远程控制,所述远程终端通过所述通讯单元实现对所述数据库单元进行查询和操作控制。
31、具体的,所述远程终端在通过所述通讯单元向设备进行远程控制的时候,所述远程终端下达的控制指令,通过所述通讯单元传输给所述数据采集单元中的所述协议转换模块,所述协议转换模块通过所述协议库中的解析函数进行解析处理,获取头部中的目的地址,并且根据目的地址的目标设备的协议进行协议转换,然后再通过封装函数进行封装,最后将控制指令传输给目标设备。
32、本发明的技术效果和优点:
33、本发明通过数据采集单元实现对工厂中的各个设备的数据信息进行采集,并且采集的数据信息通过协议转换模块将多种协议转换成统一的协议格式,便于实现对数据信息进行;
34、协议转换模块通过对协议的数据信息解析后,通过对数据信息中的头部、有效载荷、尾部和可选字段进行部分字段或者特征提取,剔除数据信息中的无用信息,提高数据信息的协议转换效率,并且提高后续数据信息在存储到数据库中的效率,将提取的部分字段和特征进行映射到json格式中,完成对多协议转换成统一协议的转换处理,且json格式便于进行观看数据信息内容,也便于进行存储;
35、数据库单元用于对转换协议的数据信息进行存储,并且数据回写模块将json格式的数据信息转换成向量形式的数据向量,并且将数据向量进行写入到数据库中,通过将数据信息转换成数据向量,便于提高数据信息的后续查询观看效率,清晰明了,并且在进行回写的时候,实现对直接写入、批量写入或者异步写入的方式调控,监控模块检测回写操作,记录成功和失败的操作,并且在写入失败的时候触发警报机制,实现对回写进行监控操作,并且记录数据,以便后续追踪和审计,并且便于为维护提供数据支持。
36、通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
1.多协议数据采集与数据回写的数据处理系统,其特征在于,包括数据采集单元、通讯单元和数据库单元;
2.根据权利要求1所述的多协议数据采集与数据回写的数据处理系统,其特征在于:所述接口模块上的多协议接口分别电性连接有统一接口的接口扩展器,所述接口扩展器用于对多个同一协议的传感器或者控制器进行电性连接,所述接口模块上的多协议接口分别与对应的所述驱动模块电性连接,所述驱动模块通过驱动运行程序,实现对数据信息进行接收和识别。
3.根据权利要求1所述的多协议数据采集与数据回写的数据处理系统,其特征在于:所述协议转换模块的步骤如下:
4.根据权利要求1所述的多协议数据采集与数据回写的数据处理系统,其特征在于:所述协议转换模块对于有效载荷中的内容特征提取如下:
5.根据权利要求1所述的多协议数据采集与数据回写的数据处理系统,其特征在于:所述协议转换模块中将源地址、时间戳和特征进行映射到json格式中采用的是字段映射,将源协议中的字段与目标协议中的字段进行对应,然后进行映射,将源地址、时间戳和有效载荷映射到json格式中,并且在进行字段映射的时候,先对源地址、时间戳和有效载荷进行类型转换,形成统一的格式类型。
6.根据权利要求1所述的多协议数据采集与数据回写的数据处理系统,其特征在于:所述数据回写模块将json格式的数据信息转换成向量形式的数据信息;
7.根据权利要求1所述的多协议数据采集与数据回写的数据处理系统,其特征在于:所述直接写入用于使用数据库的插入或更新操作直接将数据向量写入数据;
8.根据权利要求1所述的多协议数据采集与数据回写的数据处理系统,其特征在于:所述数据库单元中还包括缓存模块,所述缓存模块用于在将向量数据通过所述直接写入、所述批量写入或者所述异步写入存储到数据库中之前,先将向量数据进行映射在所述缓存模块中进行缓存,再将向量数据写入到数据库中,并且通过所述监控模块对向量数据写入数据库的成功或者失败进行检测记录,在向量数据成功写入数据库中的时候,则将缓存模块中的缓存记录进行删除,在向量数据写入数据库中失败的时候,则重新拉起缓存模块中的缓存记录进行存储,在三次重复存储失败后,则触发警报机制。
9.根据权利要求1所述的多协议数据采集与数据回写的数据处理系统,其特征在于:所述通讯单元上还连接有远程终端,所述远程终端通过所述通讯单元实现对各个设备进行远程控制,所述远程终端通过所述通讯单元实现对所述数据库单元进行查询和操作控制。
10.根据权利要求9所述的多协议数据采集与数据回写的数据处理系统,其特征在于:所述远程终端在通过所述通讯单元向设备进行远程控制的时候,所述远程终端下达的控制指令,通过所述通讯单元传输给所述数据采集单元中的所述协议转换模块,所述协议转换模块通过所述协议库中的解析函数进行解析处理,获取头部中的目的地址,并且根据目的地址的目标设备的协议进行协议转换,然后再通过封装函数进行封装,最后将控制指令传输给目标设备。
