一种基于关键参数的个性化鲁棒聚合方法、装置及存储介质

本公开涉及人工智能安全和协作学习，特别是涉及一种基于关键参数的个性化鲁棒聚合方法、装置及存储介质。

背景技术：

1、随着人工智能以及大语言模型的兴起，协作学习作为解决数据孤岛以及数据隐私的新型范式，得到各行业的广泛应用。其中，协作学习能够保证数据在不被迁移的情况下，高效地协作多方数据进行训练，从而得到性能更优的模型。但是，协作学习面临着大量的安全问题，例如防御恶意参与方对全局模型进行恶意投毒。具体地，由于协作学习不同于传统集中式训练，所有参与方都能够在本地独立训练的情况下对全局模型造成影响，且模型参数一般不具备可解释性，因此难以通过直接检查本地模型参数的方式防范恶意梯度，从而导致恶意参与方能够通过上传毒害梯度的方式轻易对全局模型进行负面影响，从而影响所有参与的其他良性客户端。基于此，如何解决上述协作学习中的拜占庭鲁棒性问题是亟需解决的问题。

2、现有技术中，可以通过利用梯度统计特性的方法，代表为中位数法（median），每次聚合仅选择一定量梯度更新方向靠近的，舍弃部分方向偏离较大的梯度，来防止恶意梯度参与到聚合当中。上述方法在独立同分布(iid)的情况下可以取得较好的效果，但当数据呈现明显异构性时，由于不同节点本地训练的数据集具有不同特征，导致本地模型的差异可能会较大，此时若按照方向的相似性来判断恶意梯度，将会把大量良性异构梯度判断为恶意梯度，从而导致模型性能下降甚至出现模型偏移的情况，从而无法实现拜占庭鲁棒协作学习，降低了协作训练的安全性。

技术实现思路

1、本公开提供了一种基于关键参数的个性化鲁棒聚合方法、装置及存储介质，在协作学习的每轮聚合时，基于各本地节点的关键参数向量进行聚类划分，并基于聚类分组结果，得到各本地节点的安全得分和聚合权重，从而发现可能的恶意梯度，以降低其对协作学习的影响，提高了协作学习模型的鲁棒性和协作训练的安全性。同时，基于各本地节点的安全得分、聚合权重、聚类分组结果和关键参数向量对各本地模型进行聚类分组内关键参数的聚合和聚类分组外非关键参数的聚合，从而实现异构场景下的拜占庭鲁棒个性化协作学习。

2、根据本公开的第一方面，提供了一种基于关键参数的个性化鲁棒聚合方法，应用于聚合节点，包括：

3、接收各本地节点发送的关键参数向量和本地模型，其中，所述本地模型为本地节点训练完成的；

4、基于所述各本地节点的关键参数向量，得到所述本地节点的聚类分组结果；

5、基于所述本地节点的聚类分组结果，得到所述各本地节点的安全得分和聚合权重；

6、基于所述各本地节点的安全得分、聚合权重、聚类分组结果和关键参数向量对所述各本地模型进行聚合，得到所述各本地节点当前轮次的全局模型；

7、将所述各本地节点当前轮次的全局模型发送至所述各本地节点，重复上述步骤，直至协作训练完成。

8、可选的，所述基于所述各本地节点的关键参数向量，得到所述本地节点的聚类分组结果，包括：

9、基于所述各本地节点的关键参数向量，得到所述各本地节点的关键参数重叠率；

10、基于所述各本地节点的关键参数重叠率，得到所述本地节点的聚类分组结果。

11、可选的，所述基于所述本地节点的聚类分组结果，得到所述各本地节点的安全得分和聚合权重，包括：

12、基于所述本地节点的聚类分组结果，计算聚类分组中本地节点的梯度更新方向与所述聚类分组对应的中位梯度更新方向的余弦相似度；

13、基于所述余弦相似度，得到所述本地节点在所属聚类分组中的安全得分；

14、基于所述聚类分组中本地节点的梯度更新方向，得到所述各本地节点的聚合权重。

15、可选的，所述基于所述各本地节点的安全得分、聚合权重、聚类分组结果和关键参数向量对所述各本地模型进行聚合，得到所述各本地节点当前轮次的全局模型，包括：

16、基于所述各本地节点的安全得分、聚合权重和所述各本地节点所属的聚类分组，对所述各本地节点的关键参数向量中关键参数进行聚类分组内的个性聚合，得到第一聚合结果；

17、对所述各本地节点的关键参数向量中非关键参数进行聚类分组外的共性聚合，得到第二聚合结果；

18、基于所述第一聚合结果和所述第二聚合结果，得到所述各本地节点当前轮次的全局模型。

19、根据本公开的第二方面，提供了一种基于关键参数的个性化鲁棒聚合方法，应用于本地节点，包括：

20、确定训练完成的本地模型和关键参数向量；

21、向聚合节点发送所述本地模型和关键参数向量；

22、接收所述聚合节点发送的当前轮次的全局模型，重复上述步骤，直至协作训练完成。

23、可选的，所述确定训练完成的本地模型和关键参数向量，包括：

24、基于本地数据集对本地模型进行训练，确定训练完成的本地模型；

25、确定所述训练完成的本地模型中各参数对应的参数关键程度；

26、基于所述各参数对应的参数关键程度，确定对应的关键参数和非关键参数；

27、基于所述关键参数和非关键参数，确定关键参数向量。

28、根据本公开的第三方面，提供了一种基于关键参数的个性化鲁棒聚合装置，其特征在于，应用于聚合节点，所述装置包括：

29、接收模块，用于接收各本地节点发送的关键参数向量和本地模型，其中，所述本地模型为本地节点训练完成的；

30、第一数据处理模块，用于基于所述各本地节点的关键参数向量，得到所述本地节点的聚类分组结果；

31、第二数据处理模块，用于基于所述本地节点的聚类分组结果，得到所述各本地节点的安全得分和聚合权重；

32、第三数据处理模块，用于基于所述各本地节点的安全得分、聚合权重、聚类分组结果和关键参数向量对所述各本地模型进行聚合，得到所述各本地节点当前轮次的全局模型；

33、发送模块，用于将所述各本地节点当前轮次的全局模型发送至所述各本地节点，重复上述步骤，直至协作训练完成。

34、根据本公开的第四方面，提供了一种基于关键参数的个性化鲁棒聚合装置，其特征在于，应用于本地节点，所述装置包括：

35、确定模块，用于确定训练完成的本地模型和关键参数向量；

36、发送模块，用于向聚合节点发送所述本地模型和关键参数向量；

37、接收模块，用于接收所述聚合节点发送的当前轮次的全局模型，重复上述步骤，直至协作训练完成。

38、根据本公开的另一方面，提供了一种电子设备，包括：

39、至少一个处理器；以及

40、与所述至少一个处理器通信连接的存储器；其中，

41、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述第一方面或第二方面中任一项所述的方法。

42、根据本公开的另一方面，提供了一种存储有计算机指令的计算机存储介质，其中，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行后，能够实现前述第一方面或第二方面中任一项所述的方法。

43、本公开实施例的基于关键参数的个性化鲁棒聚合方法和装置，在协作学习的每轮聚合时，基于各本地节点的关键参数向量进行聚类划分，并基于聚类分组结果，得到各本地节点的安全得分和聚合权重，从而发现可能的恶意梯度，以降低其对协作学习的影响，提高了协作学习模型的鲁棒性和协作训练的安全性。同时，基于各本地节点的安全得分、聚合权重、聚类分组结果和关键参数向量对各本地模型进行聚类分组内关键参数的聚合和聚类分组外非关键参数的聚合，从而实现异构场景下的拜占庭鲁棒个性化协作学习。

44、本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。