基于大模型算力网络图像隐私保护的联邦学习方法及系统

本发明涉及一种基于大模型分布式训练的算力网络图像隐私保护的联邦学习方法及系统，属于网络信息安全与数据隐私保护。

背景技术：

1、2016年谷歌提出了一种分布式学习范式——联邦学习，其实现了多个节点和服务器协同训练一个模型，联邦学习通过分布式训练为解决大模型的数据和训练问题提供了指引方向。此外，一种新的网络范式——算力网络的提出，为解决大模型训练、微调和推理的算力问题提供了基础平台。

2、算力网络将多个拥有云服务器或边缘服务器的机构通过网络连接起来。算力网络使用高效的算力调度算法，在独立、跨域的机构之间实现算力资源的共享，同时为用户提供无处不在的算力服务。而联邦学习为互不信任的多个参与方之间提供了一种分布式机器学习方法，联邦学习根据数据划分的方式，可以分为横向联邦学习(horizontal federatedlearning, hfl)、纵向联邦学习(vertical federated learning, vfl)和联邦迁移学习(federated transfer learning, ftl)。横向联邦学习以数据样本作为划分方式，每个节点拥有相同的特征空间，但拥有不同的样本，常用的训练方式包括fedavg和fedsgd等。纵向联邦学习以数据特征作为划分方式，每个节点拥有相同数据样本，但每个数据样本会拥有不同的特征，并且部分节点可能没有样本对应的标签，常用的训练方式包括fedbcd和flex-vfl等。

3、然而，纵向联邦学习存在一些安全隐患。例如，利用梯度来恢复标签的攻击方法，该方法通过计算不同样本间梯度的cos距离和梯度的范数来区分标签；直接标签推断攻击、模型完成的被动标签推断攻击以及恶意本地优化器的主动标签推断攻击。这三种攻击均利用了输出结果的梯度和恶意节点所拥有的标签；利用模型反转攻击来推理特征数据隐私。具体地，该方法使用一个正则化最大似然估计方法来在白盒数据下恢复推理数据，还使用了反转网络技术在黑盒设置下恢复推理数据，最后使用了一个无查询阴影模型重建技术在无查询设置下恢复推理数据。因此，纵向联邦学习存在的安全问题阻止了纵向联邦学习在算力网络中的应用。

技术实现思路

1、发明目的：为了解决图像处理过程中被动节点对主动节点标签的窃取、主动节点对被动节点特征的窃取而导致节点隐私泄露的技术问题，本发明提供一种基于大模型算力网络图像隐私保护的联邦学习方法，解决了因被动节点对主动节点标签的窃取、主动节点对被动节点特征的窃取而导致节点隐私泄露的技术问题。

2、技术方案：为实现上述目的，本发明采用的技术方案为：

3、一种基于大模型算力网络图像隐私保护的联邦学习方法，获取图像算力网络的节点信息以及节点处理图像数据信息，所述节点信息包括节点拥有的图像特征和标签信息。根据节点信息以及节点处理图像数据信息将节点分为被动节点和主动节点，通过对被动节点提取的紧凑图像特征和全局模块参数梯度进行加密保护，阻止主动节点通过被动节点的紧凑图像特征和被动节点的全局模块参数梯度来推理被动节点的特征信息。通过对主动节点的预测结果梯度进行加密保护，避免被动节点通过主动节点的预测结果梯度来推理主动节点的标签。具体包括以下步骤：

4、步骤s1，获取图像算力网络的节点信息以及节点处理图像数据信息。

5、步骤s2，根据节点信息以及节点处理图像数据信息将节点分为被动节点和主动节点，其中主动节点包括第一全局模块、第一特征提取模型以及第一损失函数。被动节点包括第二全局模块和第二特征提取模型。被动节点随机初始化第二特征提取模型、部分第二全局模块参数，主动节点初始化第一特征提取模型、第一全局模块以及被动节点的剩下的另一部分第二全局模块参数，记被动节点随机初始化的部分第二全局模块参数为第二全局模块参数二，主动节点初始化被动节点的剩下的另一部分第二全局模块参数为第二全局模块参数一。

6、步骤s3，被动节点使用自己拥有的图像原始特征输入到第二特征提取模型中得到紧凑图像特征。被动节点用紧凑图像特征与加密后第二全局模块参数一计算得到同态加密部分预测结果，然后将同态加密部分预测结果转换为秘密共享预测结果。然后被动节点使用单掩码加密算法加密秘密共享预测结果得到加密秘密共享预测结果。被动节点将用于单掩码加密生成的伪随机数向量发送给可信第三方聚合。被动节点再使用紧凑图像特征与第二全局模块参数二计算得到部分预测结果，然后将部分预测结果与同态加密部分预测结果转换为秘密共享预测结果时生成的向量相加得到扰动的部分预测结果，然后，被动节点将加密秘密共享预测结果和扰动部分预测结果发送给主动节点。

7、步骤s4，主动节点使用原始图像特征输入到第一特征提取模型参数得到紧凑图像特征。主动节点使用紧凑图像特征与第一全局模块参数计算得到图像预测结果，然后使用he2ss算法解密被动节点发送的加密秘密共享预测结果得到秘密共享预测结果。主动节点聚合图像预测结果、秘密共享预测结果、扰动部分预测结果和可信第三方发送的得到总预测结果，然后利用总预测结果计算损失。

8、步骤s5，主动节点计算总预测结果相对于损失的梯度，然后将梯度加密后发送给所有被动节点。

9、步骤s6，被动节点使用被加密的梯度与紧凑图像特征计算得到第二全局模块参数一的加密梯度，然后被动节点将加密梯度转换为秘密共享梯度并发送给主动节点。

10、步骤s7，被动节点加密第二全局模块参数二得到加密第二全局模块参数二并将其发送给主动节点。主动节点使用第二全局模块参数一与加密第二全局模块参数二相加得到加密全局模块参数。主动节点使用总预测结果梯度和加密全局模块参数计算被动节点的加密紧凑图像特征梯度。主动节点将加密紧凑图像特征梯度发送给被动节点。

11、步骤s8，主动节点使用he2ss算法解密被动节点发送的秘密共享梯度同时使用紧凑图像特征与总预测结果梯度计算得到全局模块参数的梯度，随后主动节点使用总预测结果梯度与全局模块参数得到紧凑图像特征的梯度。

12、步骤s9，被动节点使用步骤s8中调用he2ss算法生成的向量更新第二全局模块参数二得到新的第二全局模块参数二。主动节点使用解密后的秘密共享梯度更新第二全局模块参数一得到新的第二全局模块参数一，同时主动节点使用全局模块参数梯度更新全局模块参数，然后主动节点使用紧凑图像特征梯度反向传播并更新第一特征提取模型参数，最后主动节点加密新的第二全局模块参数一得到加密后新的第二全局模块参数一，并将其发送给被动节点。被动节点使用紧凑图像特征梯度反向传播并更新第二特征提取模型参数。

13、步骤s10，迭代上述步骤s3-s9直至每个节点的特征提取模型和全局模块收敛或达到最大训练轮次。

14、优选的： 步骤s3中计算得到同态加密部分预测结果的方法：

15、

16、其中，表示同态加密部分预测结果，表示主动节点，表示第个主动节点，，表示被动节点个数，表示紧凑图像特征，表示第二全局模块参数一，表示paillier同态加密同态乘算法，表示主动节点公钥。

17、步骤s3中得到加密秘密共享预测结果的方法为：

18、

19、其中，均为向量，为明文，为密文，为伪随机数生成器生成的向量，为模数，表示节点。

20、优选的：步骤s4中秘密共享预测结果为：

21、

22、其中：表示秘密共享预测结果，表示he2ss算法，表示被动节点发送的加密秘密共享预测结果。

23、优选的：步骤s6中第二全局模块参数一的加密梯度为：

24、

25、其中，表示第二全局模块参数一的加密梯度，表示第二全局模块参数一的梯度，表示被动节点的紧凑图像特征的矩阵转置，表示总预测结果梯度。

26、优选的：步骤s7中加密紧凑图像特征梯度为：

27、

28、其中，表示加密紧凑图像特征梯度，表示紧凑图像特征的梯度，表示第二全局模块参数二，表示第二全局模块参数一，表示总预测结果梯度，表示加密第二全局模块参数二。

29、优选的：步骤s9中主动节点按以下公式计算：

30、

31、被动节点按以下公式计算：

32、

33、其中，表示主动节点拥有的被动节点的第轮的第二全局模块参数一，表示主动节点拥有的被动节点的第轮的第二全局模块参数一，表示学习率，表示调用he2ss算法所产生的向量，表示被动节点拥有的第轮的第二全局模块参数二， 表示被动节点拥有的第轮的第二全局模块参数二，表示第二全局模块块参数一的梯度。

34、本发明的另一目的是提供一种基于大模型算力网络图像隐私保护的联邦学习系统，用于实现所述基于大模型算力网络图像隐私保护的联邦学习方法，包括信息获取单元、节点划分单元、主动节点单元、被动节点单元，其中：

35、所述信息获取单元用于获取图像算力网络的节点信息以及节点处理图像数据信息。

36、所述节点划分单元用于根据节点信息以及节点处理图像数据信息将节点分为被动节点和主动节点。

37、所述主动节点单元用于被动节点使用自己拥有的图像原始特征输入到第二特征提取模型中得到紧凑图像特征。被动节点用紧凑图像特征与加密后第二全局模块参数一计算得到同态加密部分预测结果，然后将同态加密部分预测结果转换为秘密共享预测结果。然后被动节点使用单掩码加密算法加密秘密共享预测结果得到加密秘密共享预测结果。被动节点将用于单掩码加密生成的伪随机数向量发送给可信第三方聚合。被动节点再使用紧凑图像特征与第二全局模块参数二计算得到部分预测结果，然后将部分预测结果与同态加密部分预测结果转换为秘密共享预测结果时生成的向量相加得到扰动的部分预测结果，然后，被动节点将加密秘密共享预测结果和扰动部分预测结果发送给主动节点。主动节点计算总预测结果相对于损失的梯度，然后将梯度加密后发送给所有被动节点。主动节点使用第二全局模块参数一与加密第二全局模块参数二相加得到加密全局模块参数。主动节点使用总预测结果梯度和加密全局模块参数计算被动节点的加密紧凑图像特征梯度。主动节点将加密紧凑图像特征梯度发送给被动节点。主动节点使用he2ss算法解密被动节点发送的秘密共享梯度同时使用紧凑图像特征与总预测结果梯度计算得到全局模块参数的梯度，随后主动节点使用总预测结果梯度与全局模块参数得到紧凑图像特征的梯度。

38、所述被动节点单元用于主动节点使用原始图像特征输入到第一特征提取模型参数得到紧凑图像特征。主动节点使用紧凑图像特征与第一全局模块参数计算得到图像预测结果，然后使用he2ss算法解密被动节点发送的加密秘密共享预测结果得到秘密共享预测结果。主动节点聚合图像预测结果、秘密共享预测结果、扰动部分预测结果和可信第三方发送的得到总预测结果，然后利用总预测结果计算损失。被动节点使用被加密的梯度与紧凑图像特征计算得到第二全局模块参数一的加密梯度，然后被动节点将加密梯度转换为秘密共享梯度并发送给主动节点。被动节点加密第二全局模块参数二得到加密第二全局模块参数二并将其发送给主动节点。被动节点使用步骤s8中调用he2ss算法生成的向量更新第二全局模块参数二得到新的第二全局模块参数二。主动节点使用解密后的秘密共享梯度更新第二全局模块参数一得到新的第二全局模块参数一，同时主动节点使用全局模块参数梯度更新全局模块参数，然后主动节点使用紧凑图像特征梯度反向传播并更新第一特征提取模型参数，最后主动节点加密新的第二全局模块参数一得到加密后新的第二全局模块参数一，并将其发送给被动节点。被动节点使用紧凑图像特征梯度反向传播并更新第二特征提取模型参数。

39、本发明的另一目的是提供一种计算机系统，包括存储器和处理器，所述存储器用于存储计算机程序/指令。所述处理器用于执行所述计算机程序/指令以实现所述基于大模型算力网络图像隐私保护的联邦学习方法。

40、本发明相比现有技术，具有以下有益效果：

41、1.本发明在实现图像算力网络的主动节点的标签保护时对主动节点的总输出进行加密，防范了被动节点通过主动节点传输的总输出梯度来推理主动节点的标签信息，保证了纵向联邦学习在反向传播中不会泄漏主动节点的标签。

42、2.本发明在实现被动节点的特征保护时对被动节点的两部分全局模块输出和被动节点计算自己的全局模块梯度进行加密，防范了主动节点通过全局模块的输出或被动节点全局模块的梯度来推理被动节点的特征信息，实现了在纵向联邦学习过程中对被动节点特征信息的保护。

43、3.本发明应用在图像算力网络环境中，可以通过图像算力网络对算力资源高效地调度实现大模型的分布式训练，而所提出的隐私保护方法则保护了每个节点的隐私信息，纵向联邦学习则可以使部分无标签的节点也能充分利用自己的数据来训练出理想的模型。