本发明属于分布式智能计算，具体涉及一种联邦学习模型训练方法。
背景技术：
1、随着边缘设备在存储和计算能力上的不断提升，已有联邦学习技术提出，用以在保护客户端数据隐私的同时，将算力从传统的集中式云端智能向端侧边缘智能释放。具体地，通过联邦学习技术可实现在本地设备与云端服务器设备之间的模型协作训练，保证数据不离开客户端本地，防止了用户的隐私数据的泄漏。
2、然而，在使用现有技术过程中，发明人发现现有技术中至少存在如下问题：
3、现有的联邦学习技术在实际应用过程中，联邦学习系统在数据的统计性分布、端侧设备的算力配置上均存在各种程度的异质性特点。其中，端侧设备的数据在种类和数量上的异质性会造成模型收敛准确率的下降，而端侧设备算力配置的异质性使得不同端侧设备的计算时间开销存在差异，该种异质性会在经典的同步聚合策略下产生瓶颈节点，破坏训练模型收敛的可靠性，延长单步全局模型聚合更新的总时间。
4、因此，如何在进行联邦学习系统训练的过程中缓解客户端的数据和设备异质性对系统训练精度和速度的负面影响，实现高效、稳定且有效的模型训练与聚合，是将联邦学习应用到实际中亟需解决的问题。
技术实现思路
1、本发明旨在至少在一定程度上解决上述技术问题，本发明提供了一种联邦学习模型训练方法。
2、为了实现上述目的，本发明采用以下技术方案：
3、第一方面，本发明提供了一种联邦学习模型训练方法，基于联邦学习系统执行，所述联邦学习系统包括中心服务器和分别与所述中心服务器通信连接的多个本地客户端；所述方法包括：
4、所述中心服务器接收联邦学习模型训练任务，并根据所述联邦学习模型训练任务设定初始全局模型，再将所述初始全局模型作为待训练模型广播发布至多个本地客户端；所述中心服务器获取本地客户端数量 k，初始化所有本地客户端的延时状态值（）和训练状态值（），并设定周期聚合时长；
5、任一本地客户端接收所述中心服务器在第（）轮训练时广播发送的待训练模型，并根据其第 t轮训练状态值进行本地模型训练；如所述任一本地客户端的第 t轮训练状态值，则所述任一本地客户端基于本地数据集对所述待训练模型进行第 t轮本地模型训练；如所述任一本地客户端的第 t轮训练状态值，则所述任一本地客户端继续进行未完成的本地模型训练；其中，， t为所述中心服务器广播发送待训练模型的总轮数；
6、在第 t轮训练的周期聚合时长结束前，如所述任一本地客户端已经完成第 t轮本地模型训练，则将其第 t+1轮训练状态值置为1，将其第 t+1轮延时状态值置为0，并将完成第 t轮本地模型训练后得到的训练模型上传至所述中心服务器；在第 t轮训练的周期聚合时长结束后，如所述任一本地客户端未能完成第 t轮本地模型训练，则将其第 t+1轮训练状态值置为0，并将其第 t+1轮延时状态值置为；
7、所述中心服务器接收第 t轮训练的所有训练模型，根据参与第 t轮训练的本地客户端的指定信息设定权重聚合参数，并基于所述权重聚合参数对第 t轮接收的所有训练模型进行模型加权聚合处理，得到更新后全局模型；
8、所述中心服务器判断所述更新后全局模型是否收敛，如是，则将所述更新后全局模型作为训练后全局模型，并结束所述联邦学习模型训练任务；如否，则将所述更新后全局模型作为待训练模型广播发布至多个本地客户端。
9、在一个可能的设计中，所述任一本地客户端的第 t轮训练状态值，所述任一本地客户端基于本地数据集对所述待训练模型进行第 t轮本地模型训练时，在完成第 m本地轮训练后得到的中间本地模型为：
10、；
11、式中，表示所述任一本地客户端接收的所述中心服务器在第（）轮训练时广播发送的待训练模型；表示所述任一本地客户端进行本地模型训练时的学习率； fk()为预设的联邦学习本地损失函数；表示梯度计算符号；表示第-1本地轮训练后得到的中间本地模型；表示所述任一本地客户端在第 m本地轮使用的本地数据。
12、在一个可能的设计中，所述任一本地客户端的第 t轮训练状态值，所述任一本地客户端继续进行未完成的本地模型训练时，在完成第 m本地轮训练后得到的中间本地模型为：
13、；
14、式中，表示所述任一本地客户端正在训练的模型的初始全局模型。
15、在一个可能的设计中，所述任一本地客户端完成第 t轮本地模型训练后得到的训练模型为：
16、；
17、式中， m表示所述任一本地客户端进行本地模型训练的本地轮总数；表示所述任一本地客户端基于本地数据集对所述待训练模型进行第 t轮本地模型训练时，在完成第 m本地轮训练后得到的中间本地模型；表示所述任一本地客户端继续进行未完成的本地模型训练时，在完成第 m本地轮训练后得到的中间本地模型。
18、在一个可能的设计中，所述中心服务器根据参与第 t轮训练的本地客户端的指定信息设定权重聚合参数，并基于所述权重聚合参数对第 t轮接收的所有训练模型进行模型加权聚合处理，得到更新后全局模型，包括：
19、所述中心服务器获取所述任一本地客户端完成第 t轮本地模型训练后的本地模型更新值，以及所述中心服务器在第 t-1轮模型加权聚合处理的全局模型更新值，并计算得到所述本地模型更新值和所述全局模型更新值之间的余弦相似度因子；
20、所述中心服务器根据所述任一本地客户端的第 t轮延时状态值 sk( t)，计算得到所述任一本地客户端完成第 t轮本地模型训练后得到的训练模型的延时折扣因子；
21、所述中心服务器根据所述余弦相似度因子和所述延时折扣因子，计算得到所述任一本地客户端的权重聚合参数；
22、所述中心服务器根据所述权重聚合参数对第 t轮接收的所有训练模型进行模型加权聚合处理，得到更新后全局模型。
23、在一个可能的设计中，所述本地模型更新值和所述全局模型更新值之间的余弦相似度因子为：
24、；
25、式中，，为所述任一本地客户端完成第 t轮本地模型训练后的本地模型更新值；，为所述中心服务器在第 t-1轮模型加权聚合处理的全局模型更新值；表示向量和向量之间的夹角余弦值。
26、在一个可能的设计中，所述延时折扣因子为：
27、；
28、式中，为预设的过期容忍度。
29、在一个可能的设计中，所述任一本地客户端的权重聚合参数为：
30、；
31、式中，为所述本地模型更新值和所述全局模型更新值之间的余弦相似度因子；为所述延时折扣因子；和分别为预设的权重值。
32、在一个可能的设计中，所述更新后全局模型为：
33、；
34、式中，，表示所述中心服务器在第 t轮接收的所有训练模型对应的本地客户端的序号集合； pk为所述任一本地客户端的权重聚合参数。
35、第二方面，本发明提供了一种电子设备，包括：
36、存储器，用于存储计算机程序指令；以及，
37、处理器，用于执行所述计算机程序指令从而完成如上述任意一项所述的联邦学习模型训练方法的操作。
38、第三方面，本发明提供了一种计算机程序产品，包括计算机程序或指令，所述计算机程序或所述指令在被计算机执行时实现如上述任意一项所述的联邦学习模型训练方法。
39、本发明的有益效果为：
40、本发明公开了一种联邦学习模型训练方法，能够有效地应对联邦学习系统中常见的客户端数据和算力配置的异质性特点对系统训练计算效率的负面影响，可基于本地客户端上传的训练模型，充分利用分布式计算过程中的云边协作训练的特点，实现联邦学习模型训练任务中全局模型的快速收敛。具体地，本发明在实施过程中，通过设定周期聚合时长，并采用半异步联邦学习模型训练的方式，构建了固定时间周期的半异步联邦学习聚合方案，可解决同步联邦聚合策略在设备异构环境下的瓶颈节点延时影响，同时也预防了完全异步联邦聚合策略中部分设备频繁上传本地模型而造成全局模型的偏斜；此外，在联邦学习系统算力不平衡环境下，本发明通过半异步聚合的方式，保证了全局训练时间固定的情况下，所有本地客户端中的数据均能够参与到模型训练中，从而有效地提高了联邦学习系统中参与训练的本地客户端中的数据利用率，提升了模型训练的收敛精度。
41、本发明的其他有益效果将在具体实施方式中进一步进行说明。
1.一种联邦学习模型训练方法，其特征在于：基于联邦学习系统执行，所述联邦学习系统包括中心服务器和分别与所述中心服务器通信连接的多个本地客户端；所述方法包括：
2.根据权利要求1所述的一种联邦学习模型训练方法，其特征在于：所述任一本地客户端的第t轮训练状态值，所述任一本地客户端基于本地数据集对所述待训练模型进行第t轮本地模型训练时，在完成第m本地轮训练后得到的中间本地模型为：
3.根据权利要求2所述的一种联邦学习模型训练方法，其特征在于：所述任一本地客户端的第t轮训练状态值，所述任一本地客户端继续进行未完成的本地模型训练时，在完成第m本地轮训练后得到的中间本地模型为：
4.根据权利要求3所述的一种联邦学习模型训练方法，其特征在于：所述任一本地客户端完成第t轮本地模型训练后得到的训练模型为：
5.根据权利要求1所述的一种联邦学习模型训练方法，其特征在于：所述中心服务器根据参与第t轮训练的本地客户端的指定信息设定权重聚合参数，并基于所述权重聚合参数对第t轮接收的所有训练模型进行模型加权聚合处理，得到更新后全局模型，包括：
6.根据权利要求5所述的一种联邦学习模型训练方法，其特征在于：所述本地模型更新值和所述全局模型更新值之间的余弦相似度因子为：
7.根据权利要求5所述的一种联邦学习模型训练方法，其特征在于：所述延时折扣因子为：
8.根据权利要求5所述的一种联邦学习模型训练方法，其特征在于：所述任一本地客户端的权重聚合参数为：
9.根据权利要求5所述的一种联邦学习模型训练方法，其特征在于：所述更新后全局模型为：
