本发明涉及云计算资源管理，尤其涉及一种多租户环境下的模型训练资源隔离与管理系统及方法。
背景技术：
1、在当前的机器学习和人工智能领域，多个团队和用户经常需要共享同一计算集群进行模型训练，然而，这种共享环境常常面临着资源争夺、权限管理混乱和环境污染等问题，严重影响了模型训练的稳定性和效率，同时也可能导致数据泄露和权限滥用等安全隐患，传统的资源管理方法往往难以在保证资源充分利用的同时，有效隔离不同租户的环境并进行精细化的权限控制。
2、公开号为cn115686843a的专利文献公开了一种异构虚拟化多租户资源隔离调度方法，该方法包括：管理员添加过滤器；管理员创建租户并为该租户创建租户标识；租户创建对应的租户组以及租户模板，并根据隔离需求编制该租户组对应的过滤器的过滤规则；租户发出创建虚拟机请求，所述过滤器判断该租户是否为首次创建虚拟机，若是，根据租户模板要求，将虚拟机部署内存资源空闲最大的物理主机上；若否，过滤器优先选择已经存在该租户的物理主机并判断物理主机是否满足该过滤规则，若是，根据租户模板要求，将虚拟机部署该物理主机上。由此可见，该方法依赖于预设规则和模板进行资源分配，无法及时响应资源需求的变化，且较少涉及资源使用趋势的预测和优先级的动态调整，在资源争用时缺乏灵活性，在资源分配时侧重于初始分配规则的执行，而未充分考虑资源使用过程中可能出现的非优化状态，不能满足复杂环境下的多租户资源管理需求。
技术实现思路
1、为此，本发明提供一种多租户环境下的模型训练资源隔离与管理系统及方法，用以克服现有技术中因依赖静态配置导致资源利用效率低下、系统性能不稳定的问题。
2、为实现上述目的，本发明提供一种多租户环境下的模型训练资源隔离与管理系统，包括：
3、数据采集模块，用以实时监测各命名隔离租户的模型训练过程中的中央处理器使用率和内存使用率；
4、资源调整模块，与所述数据采集模块连接，包括计算判定单元和调整单元，所述计算判定用以根据中央处理器使用率和内存使用率计算资源使用评价值，并根据资源使用评价值和预设的标准评价值进行判定，形成第一判定结果，所述调整单元用以根据第一判定结果调整各命名隔离租户的预设的资源配额，形成调整资源配额；
5、趋势预测模块，分别与所述数据采集模块和资源调整模块连接，用以根据第一判定结果、预设的预测时长内的全部资源使用评价值以及预设的标准资源使用变化率，确定预设的预测时长内的全部资源使用评价值的变化趋势，并根据变化趋势、预设的预测时长内的全部资源使用评价值以及预设的评价值标准差阈值进行判定，形成第二判定结果；
6、评估调整模块，分别与所述数据采集模块和所述趋势预测模块连接，用以根据第二判定结果、各命名隔离租户的服务级别以及预设的服务级别协议确定各命名隔离租户的优先级，根据优先级、预设的预测时长内的全部中央处理器使用率、全部内存使用率计算同步度，并根据同步度和预设的标准同步度范围调整各命名隔离租户的预设的资源配额，形成调整资源配额；
7、执行模块，分别与所述资源调整模块和所述评估调整模块连接，用以根据调整资源配额对各命名隔离租户执行资源分配。
8、进一步地，所述计算判定单元用以根据中央处理器使用率和内存使用率计算资源使用评价值包括：
9、所述计算判定单元用以分别计算中央处理器使用率与预设的中央处理器权重的乘积、内存使用率与预设的内存权重的乘积，并计算两个乘积的和，得到资源使用评价值。
10、进一步地，所述计算判定单元根据资源使用评价值和预设的标准评价值进行判定，形成第一判定结果包括：
11、所述计算判定单元在资源使用评价值小于或等于预设的标准评价值时，判定需要调整各命名隔离租户的预设的资源配额；
12、所述计算判定单元在资源使用评价值大于预设的标准评价值时，判定需要进行资源使用趋势变化的预测。
13、进一步地，所述调整单元在所述计算判定单元判定需要调整各命名隔离租户的预设的资源配额时，根据资源使用评价值、预设的标准评价值以及预设的资源系数调整预设的资源配额。
14、进一步地，所述趋势预测模块用以根据第一判定结果、预设的预测时长内的全部资源使用评价值以及预设的标准资源使用变化率，确定预设的预测时长内的全部资源使用评价值的变化趋势包括：
15、所述趋势预测模块在所述计算判定单元判定需要进行资源使用趋势变化的预测时，计算预设的预测时长内各时间点的资源使用评价值和上一个时间点的资源使用评价值的差值，并计算差值与上一个时间点的资源使用评价值的比值，以得到资源使用变化率，将各个时间点的变化率累积起来，形成累积变化率，在累积变化率大于预设的标准资源使用变化率时，判定预设的预测时长内的全部资源使用评价值的变化趋势为增长趋势。
16、进一步地，所述趋势预测模块根据变化趋势、预设的预测时长内的全部资源使用评价值以及预设的评价值标准差阈值进行判定包括：
17、所述趋势预测模块在判定预设的预测时长内的全部资源使用评价值的变化趋势为增长趋势时，计算预设的预测时长内的全部资源使用评价值的标准差，得到评价值标准差，评估调整模块在评价值标准差大于预设的评价值标准差阈值时，判定需要进行优先级与相关性判定。
18、进一步地，所述评估调整模块在所述趋势预测模块判定需要进行优先级与相关性判定时，获取各命名隔离租户在预设的服务级别协议中对应的服务级别的级别值，在级别值大于预设的标准级别值时，判定命名隔离租户的优先级为高级。
19、进一步地，所述评估调整模块根据优先级、预设的预测时长内的全部中央处理器使用率、全部内存使用率计算同步度包括：
20、所述评估调整模块在判定命名隔离租户的优先级为高级时，分别对预设的预测时长内的全部中央处理器使用率和全部内存使用率进行标准化，得到标准化中央处理器使用率和标准化内存使用率，使用皮尔逊相关系数计算公式计算标准化中央处理器使用率和标准化内存使用率的相关系数，并取相关系数的绝对值，得到同步度。
21、进一步地，所述评估调整模块根据同步度和预设的标准同步度范围调整各命名隔离租户的预设的资源配额包括：
22、所述评估调整模块在同步度小于预设的标准同步度范围的最小值时，判定存在资源浪费的情况，根据同步度、预设的标准同步度范围的最小值以及预设的配额同步度系数减小预设的资源配额；
23、所述评估调整模块在同步度大于预设的标准同步度范围的最大值时，判定系统性能下降的情况，根据同步度、预设的标准同步度范围的最小值以及预设的配额同步度系数增大预设的资源配额。
24、一种多租户环境下的模型训练资源隔离与管理方法，基于上述多租户环境下的模型训练资源隔离与管理系统，包括：
25、实时监测各命名隔离租户的模型训练过程中的中央处理器使用率和内存使用率；
26、根据中央处理器使用率和内存使用率计算资源使用评价值，并根据资源使用评价值和预设的标准评价值进行判定，形成第一判定结果，根据第一判定结果调整各命名隔离租户的预设的资源配额，形成调整资源配额；
27、根据第一判定结果、预设的预测时长内的全部资源使用评价值以及预设的标准资源使用变化率，确定预设的预测时长内的全部资源使用评价值的变化趋势，并根据变化趋势、预设的预测时长内的全部资源使用评价值以及预设的评价值标准差阈值进行判定，形成第二判定结果；
28、根据第二判定结果、各命名隔离租户的服务级别以及预设的服务级别协议确定各命名隔离租户的优先级，根据优先级、预设的预测时长内的全部中央处理器使用率、全部内存使用率计算同步度，并根据同步度和预设的标准同步度范围调整各命名隔离租户的预设的资源配额，形成调整资源配额；
29、根据调整资源配额对各命名隔离租户执行资源分配。
30、与现有技术相比，本发明的有益效果在于，通过实时监测各命名隔离租户的模型训练过程中资源使用情况，结合预设的评价标准和趋势预测，动态调整资源配额，确保资源的合理分配和高效利用，通过优先级和同步度的综合评估，系统能够在资源使用波动时及时修正资源分配策略，避免资源浪费或过度占用，提升整体系统的资源管理效率，这种动态调配机制不仅提高了资源利用率，还能适应不同租户的需求变化，确保了系统的稳定性和灵活性，有效解决了因依赖静态配置导致资源利用效率低下、系统性能不稳定的问题。
31、进一步地，通过结合中央处理器和内存使用率的权重乘积来计算资源使用评价值，能够更精确地反映系统的整体资源使用情况。
32、进一步地，通过根据资源使用评价值与标准评价值的对比进行判定，系统能够动态调整资源配额，确保资源的合理分配，同时在资源使用超过预设标准时提前预测趋势变化，避免资源短缺或过度分配。
33、进一步地，通过动态调整机制，系统能够在资源使用状况发生变化时，及时优化资源配额分配，确保模型训练过程的稳定性和高效性。
34、进一步地，通过采用基于累积变化率的趋势预测方法，系统能够准确地捕捉资源使用的增长趋势，提前进行资源调整，避免资源浪费或系统过载。
35、进一步地，通过计算评价值标准差并与预设的阈值进行比较，系统能够识别出资源使用中的波动性和不确定性。当波动性较大时，系统能够自动触发优先级与相关性判定，从而优化资源分配，确保关键任务的资源需求得到优先满足。
36、进一步地，通过比较命名隔离租户的服务级别值与标准级别值，系统能够有效区分出需要优先保障资源的高级租户，能够确保关键任务和高优先级租户在资源紧张时优先获得资源分配。
37、进一步地，通过标准化处理和皮尔逊相关系数计算，同步度的评估提供了一个量化的方式来衡量中央处理器和内存使用率之间的关系，有效地揭示资源使用的协调性。
38、进一步地，通过基于同步度的动态调整，系统能够实时响应资源使用的不平衡和性能问题，从而优化资源配额的配置。
39、进一步地，通过综合考虑资源使用评价值、趋势预测、优先级以及同步度，优化了资源的使用效率。实时调整资源配额能够有效避免资源浪费和系统性能下降，提升了系统的稳定性和运行效率。同时，根据租户的服务级别和协议，确保了不同租户的资源需求被合理满足。
1.一种多租户环境下的模型训练资源隔离与管理系统，其特征在于，包括：
2.根据权利要求1所述的多租户环境下的模型训练资源隔离与管理系统，其特征在于，所述计算判定单元用以根据中央处理器使用率和内存使用率计算资源使用评价值包括：
3.根据权利要求2所述的多租户环境下的模型训练资源隔离与管理系统，其特征在于，所述计算判定单元根据资源使用评价值和预设的标准评价值进行判定，形成第一判定结果包括：
4.根据权利要求3所述的多租户环境下的模型训练资源隔离与管理系统，其特征在于，所述调整单元在所述计算判定单元判定需要调整各命名隔离租户的预设的资源配额时，根据资源使用评价值、预设的标准评价值以及预设的资源系数调整预设的资源配额。
5.根据权利要求4所述的多租户环境下的模型训练资源隔离与管理系统，其特征在于，所述趋势预测模块用以根据第一判定结果、预设的预测时长内的全部资源使用评价值以及预设的标准资源使用变化率，确定预设的预测时长内的全部资源使用评价值的变化趋势包括：
6.根据权利要求5所述的多租户环境下的模型训练资源隔离与管理系统，其特征在于，所述趋势预测模块根据变化趋势、预设的预测时长内的全部资源使用评价值以及预设的评价值标准差阈值进行判定包括：
7.根据权利要求6所述的多租户环境下的模型训练资源隔离与管理系统，其特征在于，所述评估调整模块在所述趋势预测模块判定需要进行优先级与相关性判定时，获取各命名隔离租户在预设的服务级别协议中对应的服务级别的级别值，在级别值大于预设的标准级别值时，判定命名隔离租户的优先级为高级。
8.根据权利要求7所述的多租户环境下的模型训练资源隔离与管理系统，其特征在于，所述评估调整模块根据优先级、预设的预测时长内的全部中央处理器使用率、全部内存使用率计算同步度包括：
9.根据权利要求8所述的多租户环境下的模型训练资源隔离与管理系统，其特征在于，所述评估调整模块根据同步度和预设的标准同步度范围调整各命名隔离租户的预设的资源配额包括：
10.一种多租户环境下的模型训练资源隔离与管理方法，基于权利要求1-9任一所述多租户环境下的模型训练资源隔离与管理系统，其特征在于，包括：
