本发明属于分布式优化，尤其涉及一种面向拜占庭攻击下鲁棒联邦学习的分布式压缩随机聚合算法。
背景技术：
1、近年来，人工智能计算的迅猛发展以及其在各个领域取得的显著成果，正在逐渐成为引领人类迈入智能时代的关键驱动力。作为人工智能的核心技术之一，机器学习专注于通过计算机系统从数据中提取模式和规律，使得计算机能够自动执行特定任务。机器学习技术的进步，使得人工智能应用变得更加智能、自适应和自动化。
2、随着技术的不断进步和应用场景的扩展，联邦学习作为分布式优化的重要分支，已逐步发展成为一个充满活力的研究领域。它通过在多个节点之间共享模型参数而不共享原始数据，保护用户隐私的同时实现了协作式的机器学习。与传统集中式算法相比，联邦学习具有更强的容错能力和隐私保护优势。由于其能够在数据不离开本地的情况下进行模型训练，联邦学习技术在物联网、智能制造和金融科技等对数据安全和隐私要求较高的领域有着重要的应用前景。
3、联邦学习最初是从传统的集中式优化算法演变而来，与传统的集中式分布式学习不同，传统的集中式优化算法在解决简单问题时表现良好，但在面对复杂、高维度或大规模问题时，往往效率低下或难以适用。联邦学习中数据存储在本地设备上，每个代理在本地数据上进行训练，并将更新后的模型参数上传至服务器进行聚合。联邦学习有效地解决了与用户数据相关的隐私问题。针对随着分布式优化的兴起，联邦学习逐渐成为研究的焦点，如fedavg，geomed，krum，rsa这些联邦学习算法，在用户数据安全相关的隐私问题上取得显著成果。
4、在过去十年间，随着用户数据隐私保护需求的增加，联邦学习逐渐成为解决数据安全问题的重要研究方向。尽管联邦学习能够有效保护数据隐私，但其分布式特性使得算法在实际应用中容易受到网络结构和通信带宽的限制。现有算法在提升系统鲁棒性和抵御拜占庭攻击方面有所成效，如几何中位数(geomed)算法和krum算法等，但在应对复杂和动态变化的网络环境时，收敛性和有效性可能受到影响。
5、随着多智能体系统的规模扩大和数据复杂性的增加，联邦学习尽管能在用户数据隐私保护方面取得了显著进展，但仍需进一步研究考虑如何在多智能体信息通信的条件下，开发更加高效且鲁棒的分布式算法，以应对拜占庭攻击并降低通信和计算资源的消耗。
技术实现思路
1、针对上述现有技术中存在的不足，本发明提出了一种面向拜占庭攻击下鲁棒联邦学习的分布式压缩随机聚合算法。通过引入惩罚项，该算法增强了联邦学习算法在应对拜占庭攻击时的鲁棒性。同时，通过引入压缩算子，有效降低了通信和计算资源的消耗，从而提高了算法在实际应用中的通用性和效率。
2、为实现上述技术目的，本发明提供如下技术方案：
3、一种面向拜占庭攻击下鲁棒联邦学习的分布式压缩随机聚合算法，具体包括以下步骤：
4、s1、初始化分布式压缩随机聚合算法dcr-sgda的参数，并导入待分布的数据集进行预处理；设置全局目标函数和局部目标函数；
5、s2、服务器将其参数广播分布到所有节点上，服务器对参数进行多次迭代；
6、s3、对于第k次迭代，服务器接收来自各个节点的节点参数并计算服务器的随机梯度值所述节点参数包括来自正常节点的参数和来自拜占庭节点的参数
7、s4、根据步骤s3中服务器的随机梯度值按照压缩算子定义对其进行压缩，得到服务器压缩后的梯度值
8、s5、基于服务器压缩后的梯度对服务器参数进行下一次迭代更新，并将更新后的服务器参数广播分布到所有节点上；
9、s6、对于第k次迭代，各个节点将其节点参数发送给服务器，接收第k次迭代的服务器参数计算各个节点的随机梯度值并同样进行压缩得到各个节点压缩后的梯度值
10、s7、基于每个节点压缩后的随机梯度对各个节点参数进行下一次迭代更新，再将更新后的各个节点参数上传到服务器。
11、s8、重复迭代，直到算法收敛，实现全局目标函数最小化，得到最优参数。
12、进一步地，步骤s1中，设置的全局目标函数和局部目标函数具体为：
13、全局目标函数：
14、局部目标函数：
15、其中，ω是整个分布式系统中所有节点参数的集合,每个节点i拥有自己的节点参数ωi；ξi为节点i的本地数据样本；表示d维实数向量空间，即所有由d个实数组成的向量的集合；是节点i在本地的数据分布，每个节点i用更新自己的节点参数ωi；为计算期望，f(ωi,ξi)表示在本地数据样本ξi上计算的损失函数，计算期望用于评估节点参数ωi在本地数据样本ξi上的平均损失；λ||ωi-ω0||1是正则化项；ω0是服务器参数。
16、进一步地，步骤s3中，服务器的随机梯度值的计算公式为：
17、
18、其中，为梯度，是第k次迭代时的服务器参数，λ是正则化参数，γ利用符号函数sign计算得到，其公式表达为：
19、
20、其中，是表示参与联邦学习训练的所有正常节点的集合，是表示参与联邦学习训练的受到拜占庭攻击的拜占庭节点的集合。
21、进一步地，步骤s4中服务器压缩后的梯度值的计算公式为：
22、
23、其中，是压缩算子。
24、进一步地，步骤s5具体为：
25、更新服务器参数的公式如下：
26、
27、其中，表示第k+1次迭代的服务器参数，αk+1是步长；
28、更新后的k+1次迭代服务器参数广播分布到各个节点上，用于整体模型的第k+1次迭代。
29、进一步地，步骤s6具体为：
30、各个节点的随机梯度值的计算公式为：
31、
32、其中，为局部梯度；为本地数据样本，从数据集中抽样得到；是本地更新的参数，λ是正则化参数；
33、各个节点压缩后的梯度值的计算公式为：
34、
35、其中，为压缩算子。
36、进一步地，步骤s7具体为：
37、更新各个节点参数的公式为：
38、
39、其中，表示节点第k+1次迭代的各个节点参数，αk+1是步长；
40、更新后的第k+1次迭代的各个节点参数上传到服务器，用于整体模型的第k+1次迭代。
41、基于上述技术方案，本发明提出的算法具有以下有益效果：
42、(1)通过引入惩罚项，增强了联邦学习算法在应对拜占庭攻击时的鲁棒性。与现有技术中的geomed、krum、median、rsa等联邦学习算法相比，本算法表现出更好的性能。在考虑强凸条件下，本算法能够更快收敛到全局最优解，并且能够确保误差的界限更小；在考虑利普希茨连续条件和有界方差下，本算法具有更好的稳定性和收敛精度。
43、(2)通过引入压缩算子，对服务器端和客户端的参数信息分别进行了有损压缩，有效降低了通信和计算资源的消耗。
44、(3)本算法过程中各个节点上传、服务器下发的参数都经过有损压缩，一定程度上实现数据加密，确保了用户隐私和安全性。
45、综上，相比与传统算法，本发明提出的算法具有抗干扰(尤其面对拜占庭式攻击)能力强，通信成本低，隐私安全性高的优点，更能适用于多个领域，尤其是存在数据隐私需求高和通信资源受限的应用系统。
1.一种面向拜占庭攻击下鲁棒联邦学习的分布式压缩随机聚合算法，其特征在于，包括：
2.根据权利要求1所述的一种面向拜占庭攻击下鲁棒联邦学习的分布式压缩随机聚合算法，其特征在于，步骤s1中，设置的全局目标函数和局部目标函数具体为：
3.根据权利要求1所述的一种面向拜占庭攻击下鲁棒联邦学习的分布式压缩随机聚合算法，其特征在于，步骤s3中服务器的随机梯度值的计算公式为：
4.根据权利要求1所述的一种面向拜占庭攻击下鲁棒联邦学习的分布式压缩随机聚合算法，其特征在于，步骤s4中服务器压缩后的梯度值的计算公式为：
5.根据权利要求1所述的一种面向拜占庭攻击下鲁棒联邦学习的分布式压缩随机聚合算法，其特征在于，步骤s5具体为：
6.根据权利要求1所述的一种面向拜占庭攻击下鲁棒联邦学习的分布式压缩随机聚合算法，其特征在于，步骤s6具体为：
7.根据权利要求1所述的一种面向拜占庭攻击下鲁棒联邦学习的分布式压缩随机聚合算法，其特征在于，步骤s7具体为：
