本发明涉及数据治理与人工智能,具体的说是一种基于ai训练模型与sql治理的时间标准化治理方法及系统。
背景技术:
1、在现代信息社会,时间数据是各类应用系统中不可或缺的一部分。然而,由于数据来源的多样性以及采集过程中的不规范性,加上不同系统、不同来源的时间数据存在格式不统一、精度不一致等问题,采集方法也不尽相同,导致时间数据格式各异、难以统一处理。如在数据采集过程中,时间数据常常以不规则、不一致的格式出现,如“为期两年”、“18个月”、“20个日历日”等,而我们通常需要用这些数据与开始时间相加,得到最终结束时间。但这些数据给最终时间的数据治理和后续分析带来了很大困难。因此,需要对这些数据进行标准化处理,以便进行统一的分析和应用。
2、传统的数据治理方法往往依赖于人工进行修正和优化,效率低下且容易出错。因此,本文设计提出了一种基于ai训练模型与sql治理的时间标准化治理方法及系统,能够高效准确地处理各种格式和来源的时间数据,具有重要的实际意义和应用价值。
技术实现思路
1、本发明针对目前技术发展的需求和不足之处,提供一种基于ai训练模型与sql治理的时间标准化治理方法及系统。
2、第一方面,本发明提供一种基于ai训练模型与sql治理的时间标准化治理方法,解决上述技术问题采用的技术方案如下:
3、一种基于ai训练模型与sql治理的时间标准化治理方法,其包括如下步骤:
4、s1、预训练一个ai大模型,来识别并解析不规则的时间数据,输出标准化的时间格式;
5、s2、将ai大模型解析后的时间数据与原始时间数据关联,并存储在sql数据库中;
6、s3、根据解析后的时间数据格式构建sql语句,通过构建的sql语句对数据库中的时间数据进行操作,以计算得到标准化的结束时间。
7、可选的,所涉及ai大模型的预训练过程如下:
8、采集包含不规则时间数据的文本信息,进行人工标注,将时间数据转换为统一的格式,作为ai大模型的训练数据;
9、利用训练数据进行ai大模型的训练,训练后的ai大模型能够识别并解析不规则的时间数据,输出标准化的时间格式;
10、将训练好的ai大模型应用于实际的时间数据解析任务中,ai大模型基于输入的不规则时间数据输出解析后的标准化时间格式。
11、优选的,通过python脚本从网站采集包含不规则时间数据的文本信息。
12、优选的,预训练一个适用于自然语言处理的ai大模型。
13、可选的,执行步骤s3,根据解析后的时间数据格式构建sql语句,将构建好的sql语句在数据库中执行,对ai大模型解析出的时间与原始时间进行相加或相减操作,得到标准化的结束时间。
14、第二方面,本发明提供一种基于ai训练模型与sql治理的时间标准化治理系统,解决上述技术问题采用的技术方案如下:
15、一种基于ai训练模型与sql治理的时间标准化治理系统,其包括:
16、预训练模块,用于预训练一个ai大模型,来识别并解析不规则的时间数据,输出标准化的时间格式;
17、关联存储模块,用于将ai大模型解析后的时间数据与原始时间数据关联,并存储在sql数据库中;
18、构建执行模块,用于根据ai大模型解析后的时间数据格式构建sql语句,通过构建的sql语句对数据库中的时间数据进行操作,以计算得到标准化的结束时间。
19、可选的,所涉及预训练模块又包括:
20、信息采集子模块,用于采集包含不规则时间数据的文本信息;
21、数据标注子模块,用于辅助人工进行时间数据的标注;
22、格式转换子模块,用于将人工标注的时间数据转换为统一的格式,作为ai大模型的训练数据;
23、模型训练子模块,用于利用训练数据进行ai大模型的训练,训练后的ai大模型能够识别并解析不规则的时间数据,输出标准化的时间格式。
24、优选的,所涉及信息采集子模块通过python脚本从网站采集包含不规则时间数据的文本信息。
25、优选的,所涉及预训练模块预训练一个适用于自然语言处理的ai大模型。
26、可选的,所涉及构建执行模块首先根据解析后的时间数据格式构建sql语句,随后将构建好的sql语句在数据库中执行,对ai大模型解析出的时间与原始时间进行相加或相减操作,得到标准化的结束时间。
27、本发明的一种基于ai训练模型与sql治理的时间标准化治理方法及系统,与现有技术相比具有的有益效果是:
28、1、本发明能够自动、准确地将各种不规则时间数据转换为统一格式的方法,并通过sql语句对时间进行筛选和批量计算,实现时间数据的标准化处理,从而提高数据治理的效率和准确;
29、2、本发明通过结合ai大模型解析和sql治理的方法,可以实现对各种不规则时间数据的自动、准确解析和标准化处理,通过开始时间及项目周期或工期,实现对结束时间数据的标准化治理及获取,这不仅可以提高数据治理的效率和准确率,还为后续的数据分析和应用提供了可靠的基础,具有较高的灵活性和可扩展性,能够适应不同应用场景的需求。
1.一种基于ai训练模型与sql治理的时间标准化治理方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的基于ai训练模型与sql治理的时间标准化治理方法,其特征在于,所述ai大模型的预训练过程如下:
3.根据权利要求2所述的基于ai训练模型与sql治理的时间标准化治理方法,其特征在于,通过python脚本从网站采集包含不规则时间数据的文本信息。
4.根据权利要求2所述的基于ai训练模型与sql治理的时间标准化治理方法,其特征在于,预训练一个适用于自然语言处理的ai大模型。
5.根据权利要求1所述的基于ai训练模型与sql治理的时间标准化治理方法,其特征在于,执行步骤s3,根据解析后的时间数据格式构建sql语句,将构建好的sql语句在数据库中执行,对ai大模型解析出的时间与原始时间进行相加或相减操作,得到标准化的结束时间。
6.一种基于ai训练模型与sql治理的时间标准化治理系统,其特征在于,其包括:
7.根据权利要求6所述的基于ai训练模型与sql治理的时间标准化治理系统,其特征在于,所述预训练模块又包括:
8.根据权利要求7所述的基于ai训练模型与sql治理的时间标准化治理系统,其特征在于,所述信息采集子模块通过python脚本从网站采集包含不规则时间数据的文本信息。
9.根据权利要求7所述的基于ai训练模型与sql治理的时间标准化治理系统,其特征在于,所述预训练模块预训练一个适用于自然语言处理的ai大模型。
10.根据权利要求6所述的基于ai训练模型与sql治理的时间标准化治理系统,其特征在于,所述构建执行模块首先根据解析后的时间数据格式构建sql语句,随后将构建好的sql语句在数据库中执行,对ai大模型解析出的时间与原始时间进行相加或相减操作,得到标准化的结束时间。