基于大数据安全与隐私计算的隐私保护方法及系统与流程

专利2025-04-23  16


本发明涉及数据处理,尤其涉及一种基于大数据安全与隐私计算的隐私保护方法及系统。


背景技术:

1、在当今信息时代,随着大数据技术的飞速发展和广泛应用,数据安全与隐私保护成为了一个关键问题,大数据技术的核心在于数据的收集、存储、处理和分析,但在这些过程中,数据隐私泄露的风险也显著增加,为了充分利用大数据的价值,同时保护用户的隐私,基于大数据安全与隐私计算的隐私保护技术应运而生;

2、传统的隐私保护方法虽然能够在一定程度上保护数据隐私,但仍存在一些局限性,如数据可用性降低,难以支持复杂的分析计算以及加密后的数据无法直接参与计算,需要先解密后再进行计算,存在数据泄露和性能损失的风险,此外,现有的隐私保护数据挖掘方法大多针对结构化数据,对于非结构化数据、异构数据的隐私保护挖掘支持不足;

3、因此,亟需一种方案解决现有技术中存在的问题。


技术实现思路

1、本发明实施例提供一种基于大数据安全与隐私计算的隐私保护方法及系统,至少能解决现有技术中存在的部分问题。

2、本发明实施例的第一方面,提供一种基于大数据安全与隐私计算的隐私保护方法,包括:

3、获取待处理的原始数据,通过基于深度学习的数据特征提取模型进行特征提取,得到数据特征并根据所述数据特征选择数据脱敏算法,通过被选择的数据脱敏算法进行数据脱敏,对于脱敏后的隐私数据,通过基于格密码体制和全同态加密的混合全同态加密算法对脱敏后的隐私数据进行加密处理,生成同态加密的密文数据并发送至隐私保护计算平台;

4、所述隐私保护计算平台接收到密文数据后,基于局部敏感哈希和秘密共享技术构建隐私保护的数据预处理协议,在密文域中进行数据过滤和数据维度压缩,通过基于可验证随机函数的安全多方计算协议在密文域中执行多方安全计算,生成密文计算结果并返回至数据提供方,所述数据提供方通过基于零知识证明协议进行验证,若验证通过,则通过解密算法进行解密,生成明文计算分析结果,通过自适应滤波理论进行滤波得到纯净明文计算分析结果;

5、基于所述纯净明文计算分析结果,结合所述数据脱敏算法和深度生成对抗网络构建逆向数据脱敏模型,通过逆向学习和对抗生成对所述纯净明文计算分析结果进行还原,得到所述原始数据对应的分析计算结果,基于所述分析计算结果,所述数据提供方基于多目标进化优化算法构建双目标优化模型并求解,得到最优平衡点并生成最优决策结果,通过所述数据脱敏算法对所述最优决策结果进行脱敏,将脱敏后的最优决策结果上传至隐私保护区块链网络中并进行分布式可信存储和共享。

6、在一种可选的实施方式中,

7、获取待处理的原始数据,通过基于深度学习的数据特征提取模型进行特征提取,得到数据特征并根据所述数据特征选择数据脱敏算法,通过被选择的数据脱敏算法进行数据脱敏,对于脱敏后的隐私数据,通过基于格密码体制和全同态加密的混合全同态加密算法对脱敏后的隐私数据进行加密处理,生成同态加密的密文数据并发送至隐私保护计算平台包括:

8、获取待处理的原始数据并添加至基于深度学习的数据特征提取模型中,所述数据特征提取模型通过判别器判断数据类型,将所述原始数据划分为图像数据、序列数据和图数据,对于所述图像数据,通过预先设置的卷积神经网络的卷积层和池化层进行特征提取,对于所述序列数据,通过循环神经网络对隐藏状态更新进行特征提取,对于所述图数据,通过图神经网络中的节点更新和消息传递进行特征提取,对提取得到的特征进行特征融合,得到所述数据特征;

9、构建包含多种数据脱敏算法的数据脱敏算法库,结合预先设置的效用度量指标对所述数据脱敏算法库中的每个算法的数据效用损失进行定量评估,确定每个数据脱敏算法对应的脱敏效用,基于所述脱敏效用和隐私保护效果,以数据隐私属性特征和隐私保护需求作为输入,所述数据脱敏算法作为输出构建并训练脱敏决策树模型,提取所述数据特征的隐私属性特征并添加至所述脱敏决策树模型中,得到与所述数据特征具有最高匹配度的数据脱敏算法并使用该算法进行数据脱敏;

10、将脱敏后的数据特征划分为实数数据和整数数据,基于格密码体制将所述实数数据编码为整数并通过同态映射将所述整数嵌入至格空间内,生成格密文,对于所述整数数据,通过全同态加密算法选择全同态加密方案,根据所述全同态加密方案的参数生成公私钥对并进行同态加密,得到全同态加密密文,将所述格密文和所述全同态加密密文进行统一封装,生成混合全同态密文数据包并发送至所述隐私保护计算平台。

11、在一种可选的实施方式中,

12、结合预先设置的效用度量指标对所述数据脱敏算法库中的每个算法的数据效用损失进行定量评估如下公式所示:

13、

14、其中,loss表示数据效用损失,α表示惩罚因子,wi表示第i个性能指标的权重,perfi()表示第i个性能评估指标,my表示在脱敏数据d'上训练得到的机器学习模型,mx表示在原始数据d上训练得到的机器学习模型,β表示平衡性损失权重,bal(d′)表示脱敏数据d'的平衡性,bal(d)表示原始数据d的平衡性。

15、在一种可选的实施方式中,

16、所述隐私保护计算平台接收到密文数据后,基于局部敏感哈希和秘密共享技术构建隐私保护的数据预处理协议,在密文域中进行数据过滤和数据维度压缩,通过基于可验证随机函数的安全多方计算协议在密文域中执行多方安全计算,生成密文计算结果并返回至数据提供方,所述数据提供方通过基于零知识证明协议进行验证,若验证通过,则通过解密算法进行解密,生成明文计算分析结果,通过自适应滤波理论进行滤波得到纯净明文计算分析结果包括:

17、所述隐私保护计算平台接受密文数据后,构建数据预处理协议,其中所述数据预处理协议包括数据过滤步骤和数据维度压缩步骤;

18、在所述数据过滤步骤中,根据所述密文数据的格式,基于局部敏感哈希选择多组哈希函数参数并生成多个哈希函数,将所述哈希函数的值作为所述密文数据中的每个数据点的哈希签名,计算不同哈希签名间的签名相似度并与预先设置的相似度阈值进行比较,若所述签名相似度大于所述相似度阈值,则过滤当前哈希签名对应的数据点,重复比较,直至所有数据点均被处理完成,得到保留数据点集;

19、在所述数据维度压缩步骤中,对于所述保留数据点集中的每个元素,构建多项式,将所述多项式的值根据参与方的数量进行分解,生成多个低维秘密份额并发送给所述参与方;

20、所述参与方在接收到所述低维秘密份额后,基于可验证随机函数生成密钥对并将公钥广播给其他参与方,对于当前计算任务,每个参与方将自己的密文输入和公钥发送至隐私保护计算平台,所述隐私保护计算平台在收集全部密文输入和公钥后随机选择一个参与方作为计算发起方,所述计算发起方生成随机种子并计算可验证随机函数的输出的和证明,将所述随机种子、可验证随机函数的输出和证明发送至所述隐私保护计算平台并使用公钥验证所述输出的正确性,若验证通过,则选择随机值作为伪随机数生成器的种子生成随机掩码,将所述随机掩码与所述密文输入进行同态运算,得到掩码计算结果,基于所述掩码计算结果,每个参与方通过私钥进行解密并将解密得到的掩码明文结果发送至计算发起方,通过去除随机掩码得到所述密文计算结果并返回至数据提供方;

21、所述数据提供方接收到所述密文计算结果后,所述隐私保护计算平台基于非交互式零知识证明方案生成公共参考串并发送至每个参与方,同时将所述密文计算结果作为声明,将所述随机掩码作为证据,通过生成证明算法生成零知识证明并发送至数据提供方,所述数据提供方根据验证算法进行验证,若验证通过,则所述数据提供方使用基于同态加密的解密方法对所述密文计算结果进行解密,得到所述明文计算分析结果,初始化预先设置的滤波器的权重并计算滤波误差,根据所述滤波误差自适应更新所述滤波器的权重并对所述明文计算分析结果进行滤波,得到所述纯净明文计算分析结果。

22、在一种可选的实施方式中,

23、根据所述滤波误差自适应更新所述滤波器的权重如下公式所示:

24、

25、其中,w(n)表示时间步n时的滤波器权重向量,w(n-1)表示时间步n-1时的滤波器权重向量,p(n-1)表示在n-1时间步的滤波器预测误差协方差矩阵,mr(n)表示在时间步n时的输入向量,wt(n-1)表示时间步n-1时的滤波器权重向量的转置,表示在时间步n时的输入向量的转置,λ表示遗忘速率。

26、在一种可选的实施方式中,

27、基于所述纯净明文计算分析结果,结合所述数据脱敏算法和深度生成对抗网络构建逆向数据脱敏模型,通过逆向学习和对抗生成对所述纯净明文计算分析结果进行还原,得到所述原始数据对应的分析计算结果,基于所述分析计算结果,所述数据提供方基于多目标进化优化算法构建双目标优化模型并求解,得到最优平衡点并生成最优决策结果,通过所述数据脱敏算法对所述最优决策结果进行脱敏,将脱敏后的最优决策结果上传至隐私保护区块链网络中并进行分布式可信存储和共享包括:

28、基于所述纯净明文计算分析结果,结合所述数据脱敏算法和深度生成对抗网络构建逆向数据脱敏模型,其中,所述数据脱敏模型包括脱敏器和还原器,所述脱敏器采用所述深度生成对抗网络中生成器的结构,通过对所述纯净明文计算分析结果进行反卷积操作生成脱敏数据,对于所述脱敏数据,所述还原器采用深度生成对抗网络中判别器的结构,通过卷积操作对所述脱敏数据进行还原,输出还原数据,重复迭代并根据所述纯净明文计算分析结果对应的原始数据对所述脱敏器和还原器的超参数进行调整,直至收敛或达到预设的最大迭代次数,将最后一次迭代输出的还原数据作为所述分析计算结果;

29、基于所述分析计算结果,所述数据提供方根据多目标进化优化算法,以隐私保护强度和决策有效性为目标构建双目标优化模型,将所述分析计算结果添加至所述双目标优化模型中,基于所述分析计算结果随机生成初始种群,对于所述初始种群中的个体进行非支配排序,得到每个个体对应的非支配等级和拥挤度,通过二元锦标赛选择算子在所述初始种群中选择多个个体组成父代种群,对所述父代种群进行交叉操作和变异操作得到子代种群,将所述子代种群和所述初始种群进行合并,生成候选二代种群并进行非支配排序,得到所述候选二代种群中个体之间的支配关系和拥挤度,去除被支配的个体,对于被保留的个体,根据每个个体的拥挤度进行降序排序,选择位于前10的个体进行保留,得到二代种群,重复迭代直至达到预设的最大迭代次数,选择最后一次迭代中排名第一的个体作为所述最优平衡点,基于所述最优平衡点对应的隐私保护强度和决策有效性生成所述最优决策结果;

30、通过所述数据脱敏算法对所述最优决策结果进行脱敏,对脱敏后的最优决策结果进行数字签名并打包上传至所述隐私保护区块链网络中,通过共识机制对区块进行验证并将通过验证的区块添加至本地区块链中,完成分布式可信存储和共享。

31、在一种可选的实施方式中,

32、在非支配排序过程中计算每个个体的拥挤度如下公式所示:

33、

34、其中,dg表示个体g的拥挤度,k表示目标函数的个数,表示在第k个目标函数上,个体g所在的非支配等级中的下一个目标函数值,表示在第k个目标函数上,个体g所在的非支配等级中的上一个目标函数值,表示第k个目标函数在当前非支配等级中的最大值,表示第k个目标函数在当前非支配等级中的最小值,xg表示个体g对应的决策变量向量,xh表示个体h对应的决策变量向量,n表示个体中的种群数量,‖‖表示欧氏距离。

35、本发明实施例的第二方面,提供一种基于大数据安全与隐私计算的隐私保护系统,包括:

36、第一单元,用于获取待处理的原始数据,通过基于深度学习的数据特征提取模型进行特征提取,得到数据特征并根据所述数据特征选择数据脱敏算法,通过被选择的数据脱敏算法进行数据脱敏,对于脱敏后的隐私数据,通过基于格密码体制和全同态加密的混合全同态加密算法对脱敏后的隐私数据进行加密处理,生成同态加密的密文数据并发送至隐私保护计算平台;

37、第二单元,用于所述隐私保护计算平台接收到密文数据后,基于局部敏感哈希和秘密共享技术构建隐私保护的数据预处理协议,在密文域中进行数据过滤和数据维度压缩,通过基于可验证随机函数的安全多方计算协议在密文域中执行多方安全计算,生成密文计算结果并返回至数据提供方,所述数据提供方通过基于零知识证明协议进行验证,若验证通过,则通过解密算法进行解密,生成明文计算分析结果,通过自适应滤波理论进行滤波得到纯净明文计算分析结果;

38、第三单元,用于基于所述纯净明文计算分析结果,结合所述数据脱敏算法和深度生成对抗网络构建逆向数据脱敏模型,通过逆向学习和对抗生成对所述纯净明文计算分析结果进行还原,得到所述原始数据对应的分析计算结果,基于所述分析计算结果,所述数据提供方基于多目标进化优化算法构建双目标优化模型并求解,得到最优平衡点并生成最优决策结果,通过所述数据脱敏算法对所述最优决策结果进行脱敏,将脱敏后的最优决策结果上传至隐私保护区块链网络中并进行分布式可信存储和共享。

39、本发明实施例的第三方面,

40、提供一种电子设备,包括:

41、处理器;

42、用于存储处理器可执行指令的存储器;

43、其中,所述处理器被配置为调用所述存储器存储的指令,以执行前述所述的方法。

44、本发明实施例的第四方面,

45、提供一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现前述所述的方法。

46、本发明中,通过基于深度学习的数据特征提取模型,提取原始数据的特征,并根据特征选择适当的数据脱敏算法进行数据脱敏,脱敏后的隐私数据通过混合全同态加密算法进行加密处理,生成同态加密的密文数据,实现了对原始数据的隐私保护,防止了数据在传输和计算过程中的泄露风险,在密文域中进行数据过滤和数据维度压缩,减小了计算规模和复杂度,密文计算结果返回给数据提供方进行解密和验证,确保了计算结果的正确性和可信性,通过逆向学习和对抗生成对纯净明文计算分析结果进行还原,得到原始数据对应的分析计算结果,实现了对计算结果的隐私保护和还原,保证了数据提供方对原始数据的控制权和所有权,通过区块链的分布式共识机制和加密技术,实现了决策结果的分布式可信存储和安全共享,综上,本实施例实现了原始数据、计算过程、计算结果以及决策结果的全流程隐私保护和安全共享,保证了数据提供方的隐私安全和数据所有权,提高了多方之间的数据利用效率和协作水平,为隐私保护数据挖掘的实际应用提供了有力的技术支撑。


技术特征:

1.基于大数据安全与隐私计算的隐私保护方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,获取待处理的原始数据,通过基于深度学习的数据特征提取模型进行特征提取,得到数据特征并根据所述数据特征选择数据脱敏算法,通过被选择的数据脱敏算法进行数据脱敏,对于脱敏后的隐私数据,通过基于格密码体制和全同态加密的混合全同态加密算法对脱敏后的隐私数据进行加密处理,生成同态加密的密文数据并发送至隐私保护计算平台包括:

3.根据权利要求2所述的方法,其特征在于,结合预先设置的效用度量指标对所述数据脱敏算法库中的每个算法的数据效用损失进行定量评估如下公式所示:

4.根据权利要求1所述的方法,其特征在于,所述隐私保护计算平台接收到密文数据后,基于局部敏感哈希和秘密共享技术构建隐私保护的数据预处理协议,在密文域中进行数据过滤和数据维度压缩,通过基于可验证随机函数的安全多方计算协议在密文域中执行多方安全计算,生成密文计算结果并返回至数据提供方,所述数据提供方通过基于零知识证明协议进行验证,若验证通过,则通过解密算法进行解密,生成明文计算分析结果,通过自适应滤波理论进行滤波得到纯净明文计算分析结果包括:

5.根据权利要求4所述的方法,其特征在于,根据所述滤波误差自适应更新所述滤波器的权重如下公式所示:

6.根据权利要求1所述的方法,其特征在于,基于所述纯净明文计算分析结果,结合所述数据脱敏算法和深度生成对抗网络构建逆向数据脱敏模型,通过逆向学习和对抗生成对所述纯净明文计算分析结果进行还原,得到所述原始数据对应的分析计算结果,基于所述分析计算结果,所述数据提供方基于多目标进化优化算法构建双目标优化模型并求解,得到最优平衡点并生成最优决策结果,通过所述数据脱敏算法对所述最优决策结果进行脱敏,将脱敏后的最优决策结果上传至隐私保护区块链网络中并进行分布式可信存储和共享包括:

7.根据权利要求6所述的方法,其特征在于,在非支配排序过程中计算每个个体的拥挤度如下公式所示:

8.基于大数据安全与隐私计算的隐私保护系统,用于实现前述权利要求1-7中任一项所述的方法,其特征在于,包括:

9.一种电子设备,其特征在于,包括:

10.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。


技术总结
本发明提供一种基于大数据安全与隐私计算的隐私保护方法及系统,涉及数据处理技术领域,包括:获取原始数据特征提取,得到数据特征并选择数据脱敏算法进行数据脱敏,通过混合全同态加密算法进行加密处理,生成同态加密的密文数据并发送至隐私保护计算平台;构建隐私保护的数据预处理协议,进行数据过滤和数据维度压缩,执行多方安全计算,生成密文计算结果并返回至数据提供方,进行验证,若验证通过,则通过解密算法进行解密,滤波得到纯净明文计算分析结果;构建逆向数据脱敏模型进行还原,得到分析计算结果,构建双目标优化模型并求解,得到最优平衡点并生成最优决策结果,进行脱敏,上传至隐私保护区块链网络中并进行分布式可信存储和共享。

技术研发人员:姚俊,黄建琨,田悦悦
受保护的技术使用者:翼盾(上海)智能科技有限公司
技术研发日:
技术公布日:2024/12/17
转载请注明原文地址:https://xbbs.6miu.com/read-23765.html