基于AI训练模型与SQL治理的时间标准化治理方法及系统与流程

专利2025-04-17  22


本发明涉及数据治理与人工智能,具体的说是一种基于ai训练模型与sql治理的时间标准化治理方法及系统。


背景技术:

1、在现代信息社会,时间数据是各类应用系统中不可或缺的一部分。然而,由于数据来源的多样性以及采集过程中的不规范性,加上不同系统、不同来源的时间数据存在格式不统一、精度不一致等问题,采集方法也不尽相同,导致时间数据格式各异、难以统一处理。如在数据采集过程中,时间数据常常以不规则、不一致的格式出现,如“为期两年”、“18个月”、“20个日历日”等,而我们通常需要用这些数据与开始时间相加,得到最终结束时间。但这些数据给最终时间的数据治理和后续分析带来了很大困难。因此,需要对这些数据进行标准化处理,以便进行统一的分析和应用。

2、传统的数据治理方法往往依赖于人工进行修正和优化,效率低下且容易出错。因此,本文设计提出了一种基于ai训练模型与sql治理的时间标准化治理方法及系统,能够高效准确地处理各种格式和来源的时间数据,具有重要的实际意义和应用价值。


技术实现思路

1、本发明针对目前技术发展的需求和不足之处,提供一种基于ai训练模型与sql治理的时间标准化治理方法及系统。

2、第一方面,本发明提供一种基于ai训练模型与sql治理的时间标准化治理方法,解决上述技术问题采用的技术方案如下:

3、一种基于ai训练模型与sql治理的时间标准化治理方法,其包括如下步骤:

4、s1、预训练一个ai大模型,来识别并解析不规则的时间数据,输出标准化的时间格式;

5、s2、将ai大模型解析后的时间数据与原始时间数据关联,并存储在sql数据库中;

6、s3、根据解析后的时间数据格式构建sql语句,通过构建的sql语句对数据库中的时间数据进行操作,以计算得到标准化的结束时间。

7、可选的,所涉及ai大模型的预训练过程如下:

8、采集包含不规则时间数据的文本信息,进行人工标注,将时间数据转换为统一的格式,作为ai大模型的训练数据;

9、利用训练数据进行ai大模型的训练,训练后的ai大模型能够识别并解析不规则的时间数据,输出标准化的时间格式;

10、将训练好的ai大模型应用于实际的时间数据解析任务中,ai大模型基于输入的不规则时间数据输出解析后的标准化时间格式。

11、优选的,通过python脚本从网站采集包含不规则时间数据的文本信息。

12、优选的,预训练一个适用于自然语言处理的ai大模型。

13、可选的,执行步骤s3,根据解析后的时间数据格式构建sql语句,将构建好的sql语句在数据库中执行,对ai大模型解析出的时间与原始时间进行相加或相减操作,得到标准化的结束时间。

14、第二方面,本发明提供一种基于ai训练模型与sql治理的时间标准化治理系统,解决上述技术问题采用的技术方案如下:

15、一种基于ai训练模型与sql治理的时间标准化治理系统,其包括:

16、预训练模块,用于预训练一个ai大模型,来识别并解析不规则的时间数据,输出标准化的时间格式;

17、关联存储模块,用于将ai大模型解析后的时间数据与原始时间数据关联,并存储在sql数据库中;

18、构建执行模块,用于根据ai大模型解析后的时间数据格式构建sql语句,通过构建的sql语句对数据库中的时间数据进行操作,以计算得到标准化的结束时间。

19、可选的,所涉及预训练模块又包括:

20、信息采集子模块,用于采集包含不规则时间数据的文本信息;

21、数据标注子模块,用于辅助人工进行时间数据的标注;

22、格式转换子模块,用于将人工标注的时间数据转换为统一的格式,作为ai大模型的训练数据;

23、模型训练子模块,用于利用训练数据进行ai大模型的训练,训练后的ai大模型能够识别并解析不规则的时间数据,输出标准化的时间格式。

24、优选的,所涉及信息采集子模块通过python脚本从网站采集包含不规则时间数据的文本信息。

25、优选的,所涉及预训练模块预训练一个适用于自然语言处理的ai大模型。

26、可选的,所涉及构建执行模块首先根据解析后的时间数据格式构建sql语句,随后将构建好的sql语句在数据库中执行,对ai大模型解析出的时间与原始时间进行相加或相减操作,得到标准化的结束时间。

27、本发明的一种基于ai训练模型与sql治理的时间标准化治理方法及系统,与现有技术相比具有的有益效果是:

28、1、本发明能够自动、准确地将各种不规则时间数据转换为统一格式的方法,并通过sql语句对时间进行筛选和批量计算,实现时间数据的标准化处理,从而提高数据治理的效率和准确;

29、2、本发明通过结合ai大模型解析和sql治理的方法,可以实现对各种不规则时间数据的自动、准确解析和标准化处理,通过开始时间及项目周期或工期,实现对结束时间数据的标准化治理及获取,这不仅可以提高数据治理的效率和准确率,还为后续的数据分析和应用提供了可靠的基础,具有较高的灵活性和可扩展性,能够适应不同应用场景的需求。



技术特征:

1.一种基于ai训练模型与sql治理的时间标准化治理方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的基于ai训练模型与sql治理的时间标准化治理方法,其特征在于,所述ai大模型的预训练过程如下:

3.根据权利要求2所述的基于ai训练模型与sql治理的时间标准化治理方法,其特征在于,通过python脚本从网站采集包含不规则时间数据的文本信息。

4.根据权利要求2所述的基于ai训练模型与sql治理的时间标准化治理方法,其特征在于,预训练一个适用于自然语言处理的ai大模型。

5.根据权利要求1所述的基于ai训练模型与sql治理的时间标准化治理方法,其特征在于,执行步骤s3,根据解析后的时间数据格式构建sql语句,将构建好的sql语句在数据库中执行,对ai大模型解析出的时间与原始时间进行相加或相减操作,得到标准化的结束时间。

6.一种基于ai训练模型与sql治理的时间标准化治理系统,其特征在于,其包括:

7.根据权利要求6所述的基于ai训练模型与sql治理的时间标准化治理系统,其特征在于,所述预训练模块又包括:

8.根据权利要求7所述的基于ai训练模型与sql治理的时间标准化治理系统,其特征在于,所述信息采集子模块通过python脚本从网站采集包含不规则时间数据的文本信息。

9.根据权利要求7所述的基于ai训练模型与sql治理的时间标准化治理系统,其特征在于,所述预训练模块预训练一个适用于自然语言处理的ai大模型。

10.根据权利要求6所述的基于ai训练模型与sql治理的时间标准化治理系统,其特征在于,所述构建执行模块首先根据解析后的时间数据格式构建sql语句,随后将构建好的sql语句在数据库中执行,对ai大模型解析出的时间与原始时间进行相加或相减操作,得到标准化的结束时间。


技术总结
本发明公开一种基于AI训练模型与SQL治理的时间标准化治理方法及系统,涉及数据治理与人工智能技术领域,方法包括:预训练一个AI大模型,来识别并解析不规则的时间数据,输出标准化的时间格式;将AI大模型解析后的时间数据与原始时间数据关联,并存储在SQL数据库中;根据解析后的时间数据格式构建SQL语句,通过构建的SQL语句对数据库中的时间数据进行操作,以计算得到标准化的结束时间。本发明能够自动、准确地将各种不规则时间数据转换为统一格式的方法,并通过sql语句对时间进行筛选和批量计算,实现时间数据的标准化处理,从而提高数据治理的效率和准确。

技术研发人员:杨璞,赵子墨,申传旺
受保护的技术使用者:浪潮卓数大数据产业发展有限公司
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-23530.html