本发明涉及人工智能领域,特别涉及一种基于大模型的多模型服务的构建和智能调度方法。
背景技术:
1、随着人工智能技术的飞速发展,用户对于人工智能服务的需求日益增加,且需求场景日益多样化。然而,传统的人工智能应用通常局限于单一技术,无法满足用户在单一应用下多场景人工智能技术应用的需求。因此,如何构建一种能够融合多种人工智能技术,并通过智能调度满足用户多样化需求的系统和方法,成为当前人工智能技术领域亟待解决的问题。
2、目前的技术方案具有两方面的缺陷:
3、一是在使用大模型技术时,通用大模型无法在某一个具体的行业做到领域深度,对生成能力的提升需要大参数模型的训练,资源成本较大;行业模型专注某一领域的深度训练,而通用能力较差。同时由于大模型技术的局限,对完成特定业务场景时,需要进行大模型和小模型的搭配使用,这对应用系统的技术栈要求较单一大模型应用复杂化。
4、二是在需求多样化的应用场景中,单一的模型不能够完成场景需求,需要对目标需求进行任务分解,并通过多种模型组合的形式,完成不同子任务需求。此问题在应用规划初期如未能设计全面,对后期技术架构的变更会造成来极大的影响。在传统人工智能应用较为单一的情况,此缺陷体现不明显,但随着人工智能技术普遍应用,应用场景复杂多变的趋势下,缺陷愈发明显。
技术实现思路
1、发明的目的在于提供一种基于大模型的多模型服务的构建和智能调度方法,解决了背景技术中的问题。
2、本发明是这样实现的,一种基于大模型的多模型服务的构建和智能调度方法,该基于大模型的多模型服务的构建和智能调度方法包括以下步骤:
3、s1、构建多模型集成平台;
4、s2、模型的注册和评价;
5、s3、用户服务请求的语义向量拆解与理解;
6、s4、模型选择与优先级筛选;
7、s5、服务响应优先级排序与资源智能分派;
8、s6、反馈结果优化与反馈;
9、s7、命中标注和结果训练。
10、本发明的进一步技术方案是:所述构建多模型集成平台为:该平台将包括大模型在内的多种人工智能模型进行集成,提供统一的服务和接口;平台采用标准化、模块化的设计,方便不同模型的接入和扩展。
11、本发明的进一步技术方案是:所述模型的注册和评价为:对构建在平台之上的模型的能力、任务目标、资源开销、计算类型进行注册,对模型的能力进行评价,形成评价指标、能力范围、访问规则,并对调度模型进行规则微调训练;采用能力标注与权重计算的方式形成指标矩阵,根据矩阵对模型评价指标进行定义,最终形成对模型的指标分值,当多个模型具有同一业务能力时,可通过评价指标进行择优选择。
12、本发明的进一步技术方案是:所述用户服务请求的语义向量拆解与理解为:当用户通过自然语言对话形式提出服务请求时,系统首先对用户请求进行语义向量拆解,将用户的自然语言输入转化为计算机可理解的语义向量,并获取用户请求的具体参数。然后,系统对请求进行语义理解,明确用户的具体需求。
13、本发明的进一步技术方案是:所述模型选择与优先级筛选为:系统根据用户请求的具体参数,与平台中的规则库进行检索和匹配,确定与服务对应需求参数指标最高的模型。如果存在多个符合指标的模型,则根据预设的优先级规则进行筛选,选择最合适的模型进行服务响应。
14、本发明的进一步技术方案是:所述服务响应优先级排序与资源智能分派为:系统根据用户请求的紧急程度、重要性等因素,对服务响应进行优先级排序,并建立响应队列。然后,系统根据模型的计算形式和资源需求,对响应资源进行智能分派,确保高优先级服务请求得到优先处理,同时避免资源浪费和瓶颈现象。
15、本发明的进一步技术方案是:所述反馈结果优化与反馈为:获取模型反馈的结果,并对多个模型反馈的结果进行组装和优化;最后,系统将优化后的结果反馈给终端用户,满足用户的应用需求;优化过程可以根据预设的规则或算法进行,以提高结果的准确性和可用性。
16、本发明的进一步技术方案是:所述命中标注和结果训练为:对每次反馈结果的命中情况进行记录,评价客户对命中结果的满意度,平台命中准确的,并将命中结果进行标注,修改各模型在评价指标中的指标分值,完成对模型选择的自我学习和迭代训练。
17、本发明的有益效果:本发明的基于大模型的多模型服务的构建和智能调度方法通过构建人工智能集成平台,将包括大模型在内的多种人工智能模型统一服务和接口,实现用户服务请求的智能理解、模型智能选择、服务响应智能调度以及反馈结果优化,以满足用户的多场景人工智能技术应用需求。
1.一种基于大模型的多模型服务的构建和智能调度方法,其特征在于,该基于大模型的多模型服务的构建和智能调度方法包括以下步骤:
2.根据权利要求1所述的一种基于大模型的多模型服务的构建和智能调度方法,其特征在于,所述构建多模型集成平台为:该平台将包括大模型在内的多种人工智能模型进行集成,提供统一的服务和接口。
3.根据权利要求1所述的一种基于大模型的多模型服务的构建和智能调度方法,其特征在于,所述模型的注册和评价为:对构建在平台之上的模型的能力、任务目标、资源开销、计算类型进行注册,对模型的能力进行评价,形成评价指标、能力范围、访问规则,并对调度模型进行规则微调训练;采用能力标注与权重计算的方式形成指标矩阵,根据矩阵对模型评价指标进行定义,最终形成对模型的指标分值,当多个模型具有同一业务能力时,可通过评价指标进行择优选择。
4.根据权利要求1所述的一种基于大模型的多模型服务的构建和智能调度方法,其特征在于,所述用户服务请求的语义向量拆解与理解为:当用户通过自然语言对话形式提出服务请求时,系统首先对用户请求进行语义向量拆解,将用户的自然语言输入转化为计算机可理解的语义向量,并获取用户请求的具体参数。然后,系统对请求进行语义理解,明确用户的具体需求。
5.根据权利要求1所述的一种基于大模型的多模型服务的构建和智能调度方法,其特征在于,所述模型选择与优先级筛选为:系统根据用户请求的具体参数,与平台中的规则库进行检索和匹配,确定与服务对应需求参数指标最高的模型。如果存在多个符合指标的模型,则根据预设的优先级规则进行筛选,选择最合适的模型进行服务响应。
6.根据权利要求1所述的一种基于大模型的多模型服务的构建和智能调度方法,其特征在于,所述服务响应优先级排序与资源智能分派为:系统根据用户请求的紧急程度、重要性等因素,对服务响应进行优先级排序,并建立响应队列。然后,系统根据模型的计算形式和资源需求,对响应资源进行智能分派,确保高优先级服务请求得到优先处理,同时避免资源浪费和瓶颈现象。
7.根据权利要求1所述的一种基于大模型的多模型服务的构建和智能调度方法,其特征在于,所述反馈结果优化与反馈为:获取模型反馈的结果,并对多个模型反馈的结果进行组装和优化;最后,系统将优化后的结果反馈给终端用户,满足用户的应用需求。
8.根据权利要求1所述的一种基于大模型的多模型服务的构建和智能调度方法,其特征在于,所述命中标注和结果训练为:对每次反馈结果的命中情况进行记录,评价客户对命中结果的满意度,平台命中准确的,并将命中结果进行标注,修改各模型在评价指标中的指标分值,完成对模型选择的自我学习和迭代训练。
