本申请涉及联邦学习，具体地涉及一种基于节点挑选策略的联邦学习方法、一种电子设备以及对应的存储介质。
背景技术：
1、目前，随着人工智能技术的飞速发展，人工智能技术的应用越来越广泛，已经被应用于图像分析、语音识别、文字处理、智能推荐、安全检测等多个领域，联邦学习技术已经称为人工智能技术的前沿热点。在大规模节点参与联邦学习的场景下，由于模型参数数量较多，如果所有节点都同时参与联邦学习的每轮迭代训练过程，那么参数服务器的计算处理性能和网络带宽大小将成为限制联邦学习效率的瓶颈。业界常见的解决方案是在联邦学习的每轮迭代训练过程中，随机挑选少量节点参与本轮的训练过程，以降低参数服务器由于计算处理性能和网络带宽大小有限导致的处理延时和通信延时。但是上述方案基于相同概率随机盲目挑选节点，导致联邦学习模型的训练收敛速度较慢。
2、现有技术中已经存在采用基于预测损失值的客户端节点随机挑选策略，可以加快联邦学习模型的训练收敛速度，减少联邦学习模型的整体训练时间。其虽然一定程度上可以加快联邦学习模型的收敛速度，但是当预测损失值大的客户端节点训练样本较少、预测损失值变化较小时，选择预测损失值大的客户端节点并不一定比选择预测损失值小的客户端节点能够更快的促使模型收敛。
技术实现思路
1、本申请实施例的目的是提供一种基于节点挑选策略的联邦学习方法、电子设备及存储介质，采用基于梯度的评估值的节点随机挑选策略，优先挑选对降低全局模型总体训练损失影响更大的节点参与每轮的本地模型训练，以至少解决背景技术中的部分问题。
2、为了实现上述目的，在本申请中提供了一种基于节点挑选策略的联邦学习方法，该方法包括：确定联邦学习系统中的客户端节点不会被全选；获取客户端节点对应的评估值，以评估值的模为权重对所述客户端节点的本地训练样本数量加权，以加权后的本地训练样本数量在联邦学习系统中加权后的本地训练样本数量的总和的占比得到该客户端节点的被选概率；根据每一客户端节点的被选概率选择若干客户端节点得到本轮训练集合；向所述本轮训练集合中的客户端节点下发模型参数，所述模型参数被用于客户端节点基于下发的模型参数经本地训练后得到更新梯度。
3、可选地，所述方法还包括：在每轮训练完成后，对客户端节点的评估值进行更新。
4、可选地，对客户端节点的评估值进行更新，包括：若客户端节点不属于本轮训练集合，所述客户端节点的当前评估值不变；若客户端节点属于本轮训练集合且本轮训练为第一轮训练，以所述客户端节点上传的更新梯度为更新后的评估值；若客户端节点属于本轮训练集合但本轮训练不为第一轮训练，以所述客户端节点的当前评估值和上传的更新梯度的加权和为更新后的评估值。
5、可选地，确定联邦学习系统中的客户端节点不会被全选，包括：获取本轮模型训练轮数的轮数序号；判断所述轮数序号是否属于预设数列，在所述轮数序号属于预设数列时，联邦学习系统中的客户端节点被全选至本轮训练集合，在所述轮数序号不属于预设数列时，确定联邦学习系统中的客户端节点不会被全选。
6、可选地，所述预设数列为首项为1的等差数列。
7、可选地，根据每一客户端节点的被选概率选择若干客户端节点得到本轮训练集合，包括：对于每一客户端节点，根据客户端节点的节点序号和被选概率计算累积分布函数的值，根据客户端节点的被选概率和累积分布函数的值得到一个概率区间；生成若干个在所述累积分布函数的值域内的随机数，每一随机数所处的概率区间所对应的客户端节点被选中至所述本轮训练集合；生成随机数的数量与本轮训练集合中的客户端节点的数量具有对应关系。
8、可选地，根据客户端节点的被选概率和累积分布函数的值得到一个概率区间，包括：分别以累积分布函数的值减去被选概率的差、累积分布函数的值为所述概率区间的端值；所述概率区间包括累积分布函数的值的端值但不包括累积分布函数的值减去被选概率的差的端值。
9、可选地，客户端节点基于下发的模型参数经本地训练后得到更新梯度被用于结合该客户端节点的本地训练样本数量生成全局模型更新梯度；所述全局模型更新梯度被用于结合模型参数对全局模型进行更新。
10、可选地，所述方法被配置为满足以下预设条件时循环执行；所述预设条件包括：在结合模型参数对全局模型进行更新之后，确定联邦学习系统的当前状态不满足联邦学习的训练停止条件。
11、在本申请中还提供了一种基于节点挑选策略的联邦学习装置，该装置包括：全选确定模块，用于确定联邦学习系统中的客户端节点不会被全选；概率计算模块，用于获取客户端节点对应的评估值，以评估值的模为权重对所述客户端节点的本地训练样本数量加权，以加权后的本地训练样本数量在联邦学习系统中加权后的本地训练样本数量的总和的占比得到该客户端节点的被选概率；集合确定模块，用于根据每一客户端节点的被选概率选择若干客户端节点得到本轮训练集合；以及参数下发模块，用于向所述本轮训练集合中的客户端节点下发模型参数，所述模型参数被用于客户端节点基于下发的模型参数经本地训练后得到更新梯度。
12、在本申请中还提供了一种电子设备，包括：至少一个处理器；存储器，与所述至少一个处理器连接；其中，所述存储器存储有能被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现前述的基于节点挑选策略的联邦学习方法。
13、在本申请中还提供了一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令在被处理器执行时使得处理器被配置成执行实现前述的基于节点挑选策略的联邦学习方法。
14、在本申请中还提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现前述的基于节点挑选策略的联邦学习方法。
15、上述技术方案具有以下有益效果：
16、（1）采用了随机挑选客户端节点参与联邦学习模型训练的方法，减少了每轮训练均需要联邦学习系统中的客户端节点的数据下发和上传数据的处理，降低了联邦学习场景下参数服务器的计算处理性能和网络带宽大小有限所导致的处理延时和通信延时。
17、（2）在客户端节点挑选过程中采用本地训练样本数量和评估值作为影响因素，优先挑选对降低全局模型总体训练损失影响更大的节点参与每轮的本地模型训练，加快了联邦学习模型的训练收敛速度，减少了联邦学习模型的整体训练时间。
18、（3）每隔一定数量的训练轮次，就对所有客户端节点的评估值进行全部更新，以解决随机挑选客户端节点导致的部分客户端节点的评估值过时或失真的问题，提高了节点随机挑选结果的准确性。
19、本申请实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
1.一种基于节点挑选策略的联邦学习方法，其特征在于，该方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：在每轮训练完成后，对客户端节点的评估值进行更新。
3.根据权利要求2所述的方法，其特征在于，对客户端节点的评估值进行更新，包括：
4.根据权利要求1所述的方法，其特征在于，确定联邦学习系统中的客户端节点不会被全选，包括：
5.根据权利要求4所述的方法，其特征在于，所述预设数列为首项为1的等差数列。
6.根据权利要求1所述的方法，其特征在于，根据每一客户端节点的被选概率选择若干客户端节点得到本轮训练集合，包括：
7.根据权利要求6所述的方法，其特征在于，根据客户端节点的被选概率和累积分布函数的值得到一个概率区间，包括：
8.根据权利要求1所述的方法，其特征在于，客户端节点基于下发的模型参数经本地训练后得到更新梯度被用于结合该客户端节点的本地训练样本数量生成全局模型更新梯度；
9.根据权利要求8所述的方法，其特征在于，所述方法被配置为满足以下预设条件时循环执行；
10.一种电子设备，其特征在于，包括：至少一个处理器；
11.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至9中任一项权利要求所述基于节点挑选策略的联邦学习方法的步骤。
12.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至9中任一项权利要求所述基于节点挑选策略的联邦学习方法的步骤。
