本发明属于计算机，特别涉及一种多智能体服务器节能方法。
背景技术：
1、伴随着云计算技术的快速发展，服务器产生的能耗也日益俱增，能耗正成为数据中心运营的主要成本，甚至超越购买设备的初始成本。在此背景下，产业界将关注重点不再仅停留于性能指标，越来越多的企业将目光投向低功耗、高性能的服务器架构。
2、目前，云数据中心能耗主要体现在硬件和软件两个方面。其中，硬件方面，包括it设备(服务器、网络设备)和基础设施(冷却、电力调节系统)。据统计，各模块能耗占比为：服务器56％、网络设备5％、冷却系统30％、电力调节系统8％、其他(如照明)1％，主机的cpu正常利用率仅为10％～50％。研究表明，服务器风扇的能耗占总冷却能耗的约6％。通常，为了将温度控制在安全阈值以下，会提供过多的冷却，这虽然可以防止过热引起的损坏，但也造成了能源的浪费。因此，合理调节风扇速度，既能减少能耗，又能避免违反热约束，显得尤为重要。
3、动态电压和频率缩放(dvfs)技术是动态功率管理(dpm)中的一项关键技术，它通过调整操作电压和频率，在系统性能和能耗之间实现平衡。尽管许多研究已经提出了基于多项式时间算法和启发式方法来选择最优的v/f级别，但这些方法往往依赖于芯片的物理模型和工作负载信息，而这些信息有时可能难以获取。
4、此外，电压/频率和风扇速度都对服务器的能效和热状态有重要影响。它们的联合控制可以在满足温度约束的同时实现更好的能效优化。例如，在轻负载条件下，dvfs算法可以降低电压/频率级别以减少功耗，同时减少热量产生，从而降低风扇的冷却需求。而在高负载条件下，风扇控制机制可以主动增加冷却能力，防止因热保护而降低电压/频率，从而间接提高服务器性能
5、基于上述内容，提出一种多智能体强化学习方法，应用于多核服务器，旨在实现动态电压和频率缩放(dvfs)与动态风扇控制的协同优化。在保证服务器热约束的前提下，有效平衡了功耗与性能。
技术实现思路
1、本发明为解决以上技术问题，提出了一种多智能体服务器节能方法，有效平衡服务器系统各组件的负载以及资源利用率，降低服务部件的使用损耗、电能，从而整体上降低运营成本，并且可作为一种软件集成到系统中，进而提升服务器整机的竞争力。
2、本发明的技术方案是：
3、本发明提出一种多智能体服务器节能方法，包括以下步骤：
4、将服务器的能效优化问题建模为多智能体强化学习训练过程，多智能体包括与服务器系统环境中的冷却风扇、多核处理器相交互的dvfs控制智能体和风扇控制智能体；
5、构建基于dqn算法的风扇控制算法对所述风扇控制智能体训练；
6、构建基于改进q-learning算法的dvfs控制算法对所述dvfs控制智能体训练；
7、所述多智能体强化学习训练过程对经过上述训练的所述dvfs控制智能体和所述风扇控制智能体联调优化，以完成对服务器性能和能耗的调优。
8、优选的，所述风扇控制智能体的状态空间定义为：
9、tio，为风扇出入口最新温度；
10、δtio，为风扇出入口最近一次时间间隔温差；
11、为风扇出入口最近一次时间间隔温度变化率；tc_i，为第i个cpu的实时温度；
12、δtc_i，为第i个cpu的温差；
13、为第i个cpu的变化率；
14、n，为服务器内cpu个数；
15、所述风扇控制智能体的动作空间定义为：
16、afan＝{fa1，，...，fam}，其中：
17、faj，表示风扇速度被设定到第j个级别；
18、m，为给定风扇转速的级别数量；
19、所述风扇控制智能体的激励函数定义为：
20、
21、β、α，为超参，β大于α；
22、pfan_cur，为风扇当前功耗；
23、pfan_max，为风扇最大功耗；
24、p，为由cpu温度决定的变量，
25、当cpu温度大于设定阈值tthreshold，p＝-c；
26、当cpu温度小于等于设定阈值时，
27、c，为目标q网络q′参数更新频率。
28、优选的，所述风扇控制智能体依据所述风扇控制算法控制冷却风扇动作以及计算激励值，所述风扇控制算法包括：
29、s101.随机初始化所有的状态和动作对应的价值q，随机初始化当前q网络的所有参数w，初始化目标q网络q′的参数w′＝w，清空记忆回放单元的集合d；
30、s102.for i from 1 to t，进行迭代：
31、a)初始化环境状态s为当前状态序列的第一个状态；
32、b)在q网络中使用经过预处理的环境状态s作为输入，得到q网络的所有动作对应的q值输出，在当前q值输出中选择对应概率最大的动作a；
33、c)在状态s执行当前动作a，得到经过预处理的新状态s′和环境奖励r；
34、d)将{s，a，r，s′}存入记忆回放集合d；
35、e)s＝s′；
36、f)从记忆回放集合d中采样m个样本{sj，aj，rj，s′j}，计算当前目标q值yj＝rj+γmaxa′q′(s′j，a′j，w′)
37、g)使用均方差损失函数通过神经网络的梯度反向传播来更新q网络的所有参数w；
38、h)如果i％c＝1，则更新目标q网络参数w′＝w；
39、i)如果损失函数降低幅度小于设定阈值，当前轮迭代完毕，否则转到步骤b)；
40、其中，t为迭代轮数，s为环境状态，a为动作集，γ为衰减因子，q为当前q网络，q′为目标q网络，m为批量梯度下降的样本数，c为目标q网络q′参数更新频率。
41、优选的，所述dvfs控制智能体的状态空间定义为：
42、sdvfs＝{ucore_1，...，ucore_k}，其中：
43、k，为服务器的总核心数；
44、ucore_i为第k个核的利用率；
45、所述dvfs控制智能体的动作空间定义为：
46、advfs＝{acore_1，...，acore_k}其中：
47、每个核可选的动作集acore_x∈{freq1，freqp}，x∈{1，...，k}，p为每个核的不同频率数量；
48、dvfs控制智能体的激励函数定义为：
49、其中：
50、q，为服务器的性能；
51、p，为服务器的能耗；
52、w，为一个用于平衡功耗和性能的常数系数；
53、当w＞1时，优化倾向于提高性能；当0＜w＜1时，优化倾向于降低功耗。
54、优选的，所述dvfs控制智能体依据所述dvfs控制算法控制dvfs动作、计算激励值、以及评估dvfs动作对激励值的实际贡献，所述dvfs控制算法的策略采用如下公式表示：
55、new_state＝{s1→a1，...，st→at；i∈[1，t]，ai∈[freq1，...，freqp]}，
56、qnew_state＝μ*rdvfs+(1-μ)*qnew_state，
57、其中，μ表示学习率。
58、优选的，所述多智能体强化学习训练过程包括：
59、s201.初始化dvfs控制智能体的qnew_state；
60、初始化风扇控制智能体评估q-network qfan(sfan，afan；θ)的权重参数θ；
61、初始化风扇控制智能体目标q-network q′fan(sfan，afan；θ′)的权重参数θ′＝θ；
62、初始化记忆回放单元d；
63、s202.获取风扇控制智能体和dvfs控制智能体初始状态sfan_0和sdvfs_0；
64、s203.for i from 1 to t，进行迭代：
65、a)如果t％l＝＝0，执行afan_t；
66、b)如果t％l＝＝1,获取rfan_t和sfan_t+1，存储至d中(sfan_t，
67、afan_t，rfan_t，sfan_t+1)，从中抽样(sfan_j，afan_j，rfan_j，sfan_j+1)，计算计算误差，更新q网络参数；
68、c)根据qnew_state选择对应的动作advfs_t，执行该动作，获取对应的激励rdvfs_t，并进入新的状态sdvfs_t+1，根据公式qnew_state＝μ*rdvfs+(1-μ)*qnew_state更新qnew_state状态价值函数。
69、本发明相对于现有技术具有如下的优点及效果：
70、该方法无需依赖任何预设模型，通过与实际服务器的交互学习，自主学习出高效的控制策略，针对多核服务器在实际应用中处理用户任务时存在的冗余能耗问题，从处理器电压/频率和风扇联合控制可以在满足温度约束的同时实现更好的能效优化；
71、针对多核服务器所面临的庞大状态和动作空间问题，对传统的深度q-learning算法进行改进，降低了解决方案的复杂度，通过优化算法结构，有效降低了解决方案的复杂度；
72、此外，对于风扇和处理器内核存在变化不同步问题，采用异步更新策略，实现dvfs和风扇的协同优化效果。
1.一种多智能体服务器节能方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的多智能体服务器节能方法，其特征在于，所述风扇控制智能体的状态空间定义为：
3.根据权利要求2所述的多智能体服务器节能方法，其特征在于，所述风扇控制智能体依据所述风扇控制算法控制冷却风扇动作以及计算激励值，所述风扇控制算法包括：
4.根据权利要求3所述的多智能体服务器节能方法，其特征在于，所述dvfs控制智能体的状态空间定义为：
5.根据权利要求4所述的多智能体服务器节能方法，其特征在于，所述dvfs控制智能体依据所述dvfs控制算法控制dvfs动作、计算激励值、以及评估dvfs动作对激励值的实际贡献，所述dvfs控制算法的策略采用如下公式表示：
6.根据权利要求5所述的多智能体服务器节能方法，其特征在于，所述多智能体强化学习训练过程包括：
