本发明涉及ai领域,具体是指一种增强ai大模型工程自动编排系统。
背景技术:
1、ai大模型工程是建立在深度学习、自然语言处理、计算机视觉等多个领域的先进技术基础之上的综合模型,包括automl(automated machine learning)、分布式计算、容器化技术、kubernetes集群管理以及持续集成/持续部署(ci/cd)流程。然而,现有的技术仍面临挑战,automl在面对极其复杂的模型时可能遭遇过拟合或欠拟合;ai大模型在进行分布式训练时,存在数据并行与模型并行的选择难题及通信瓶颈,不能对数据资源和服务器资源进行合理调度;此外,随着模型规模增大,对算力的需求激增,导致成本高昂且难以管理,这些都是亟待解决的问题。
技术实现思路
1、针对上述情况,本发明提供了一种增强ai大模型工程自动编排系统,针对automl在面对极其复杂的模型时可能遭遇过拟合或欠拟合的问题,采用改进的超参数优化方法对automl中的超参数进行优化,该方法的核心概念在于使用一个权重系数