人工智能场景中实现扩缩容的方法和系统与流程

专利2025-04-11  21


本说明书实施例属于人工智能领域,尤其涉及一种人工智能场景中实现扩/缩容的方法和系统。


背景技术:

1、随着人工智能(ai)技术的不断发展和成熟,越来越多的企业开始将ai驱动的业务流程应用于特定的业务场景中,如自动驾驶、图像识别、自然语言处理等领域。这种ai驱动的业务流程有望彻底改变企业的运营模式,提高效率、降低成本,并为客户带来更加智能化和个性化的体验。

2、传统的业务流程往往依赖于人工操作和经验主导,存在效率低下、容易出错等缺陷。而ai驱动的业务流程则能够利用机器学习、自然语言处理、计算机视觉等技术,实现自动化决策和智能化操作,大幅提高了流程的效率和准确性。例如,在客户服务领域,ai驱动的业务流程可以采用智能对话系统,通过自然语言处理技术理解客户的需求,并给出准确的回复和解决方案,极大地提高了客户服务的响应速度和质量。在金融领域,ai驱动的业务流程可以利用机器学习算法分析大量的历史数据,实现风险评估、贷款审批等智能决策,提高了决策的准确性和一致性。

3、为了支持这些ai驱动的业务流程,企业越来越多地采用了云服务的形式,为ai工作流提供各种所需的资源。云服务不仅能够提供必要的计算资源,如cpu资源、gpu资源、内存和磁盘等存储空间,还能够提供各种ai相关的开发工具、算法库和预训练模型,极大地降低了企业自行构建和维护ai基础设施的成本。通过云服务,云服务还提供了高可用性和安全性保障,确保了ai驱动的业务流程的稳定运行。除了基础资源之外,一些领先的云服务提供商还推出了各种ai服务和工作流管理工具,如自然语言处理服务、机器学习服务、数据处理管道等,帮助企业更加高效地构建和部署ai驱动的业务流程。这些工具和服务将ai技术与企业的业务需求无缝融合,显著降低了ai应用的门槛和复杂性。

4、对于传统的云服务来说,企业可以根据实际需求弹性地调配资源,主要关注的是避免了硬件资源的闲置浪费,同时也不必担心资源不足导致的性能瓶颈。传统的弹性扩缩容策略往往只关注cpu使用率。然而,ai应用场景往往具有高度不确定性,其对计算资源的需求随时间波动大。在ai应用场景中,多数云服务商提供的自动扩缩容功能主要依赖于单一阈值触发机制(如cpu使用率达到一定比例),虽然易于配置与管理,但在复杂ai应用场景中可能过于简化,无法准确反映真实负载状态。如果不考虑gpu资源、内存和磁盘等存储资源的使用情况,会导致资源浪费或性能瓶颈。


技术实现思路

1、本发明的目的在于提供一种人工智能场景中实现扩/缩容的方法和系统,包括:

2、一种人工智能场景中实现扩/缩容的方法,包括:

3、对系统性能和业务性能进行监控,获取性能指标;

4、基于获取的性能指标,分别制定实时更新计划和离线弹性计划,所述实时更新计划和离线弹性计划均包括目标资源数量;所述离线弹性计划基于对历史指标进行机器学习构建;

5、基于所述实时更新计划中的目标资源数量、离线弹性计划中的目标资源数量与当前资源数量的比较结果并结合所设定的策略确定扩/缩容方案。

6、一种人工智能场景中实现扩/缩容的系统,包括:

7、监控模块,所述监控模块包括系统性能监控模块和业务性能监控模块,其中:

8、所述系统性能监控模块对系统性能进行监控,获取性能指标;

9、所述业务性能监控模块对业务性能进行监控,获取性能指标;

10、实时更新引擎,基于获取的性能指标制定实时更新计划,所述实时更新计划包括目标资源数量;

11、离线弹性引擎,基于获取的性能指标制定离线弹性计划,所述离线弹性计划均包括目标资源数量;所述离线弹性计划基于对历史指标进行机器学习构建;

12、扩/缩容决策器,基于所述实时更新计划中的目标资源数量、离线弹性计划中的目标资源数量与当前资源数量的比较结果并结合所设定的策略确定扩/缩容方案。

13、上述方案融合多种性能指标,构建全面的性能评价体系,这种多维性能指标融合突破了单一指标局限,形成了更全面的性能评估标准;其中特别融合业务优先级导向的资源调度,首次将业务价值纳入资源分配决策,实现了资源的高效利用。这样,通过智能调度,避免资源闲置,提高整体利用率,减少不必要的资源消耗,降低运营成本,该过程中还可以实现优先保障高价值服务,减少因资源竞争引起的性能下降。



技术特征:

1.一种人工智能场景中实现扩/缩容的方法,包括:

2.如权利要求1所述对方法,所述系统性能包括cpu性能,此外还包括gpu、内存、存储和网络i/o资源中的至少一种。

3.如权利要求1所述对方法,所述业务性能包括每秒查询数、每秒交易数、业务延迟和/或业务响应时间。

4.如权利要求1所述对方法,所述实时更新计划中还包括业务优先级感知。

5.如权利要求1所述对方法,所设定的策略包括运行时间策略,tps策略,定时策略。

6.如权利要求1所述对方法,所述扩/缩容方案包括调整阈值和调整步长。

7.如权利要求1所述对方法,还包括:

8.如权利要求7所述对方法,还包括:

9.如权利要求7所述对方法,还包括:

10.一种人工智能场景中实现扩/缩容的系统,包括:


技术总结
本申请提供一种人工智能场景中实现扩/缩容的方法和系统。所述方法包括:对系统性能和业务性能进行监控,获取性能指标;基于获取的性能指标,分别制定实时更新计划和离线弹性计划,所述实时更新计划和离线弹性计划均包括目标资源数量;所述离线弹性计划基于对历史指标进行机器学习构建;基于所述实时更新计划中的目标资源数量、离线弹性计划中的目标资源数量与当前资源数量的比较结果并结合所设定的策略确定扩/缩容方案。

技术研发人员:谭华哲,李旭,张放
受保护的技术使用者:萨思数字科技(北京)有限公司
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-23336.html