用于利用级联模型进行多阶段机器学习的装置和方法与流程
技术特征:
1.一种用于配置人工智能或机器学习ai/ml的方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述第一ai/ml子模型的输入是所述ai/ml模型的输入,所述第二ai/ml子模型的输出是所述ai/ml模型的输出。
3.根据权利要求1或2所述的方法,其特征在于,所述第一ai/ml子模型和所述第二ai/ml子模型中的一个是所述无线通信网络中的一组设备共有的ai/ml子模型1,所述第一ai/ml子模型和所述第二ai/ml子模型中的另一个是所述一组设备内包括所述第一设备的一个或多个设备的第一集群共有的ai/ml子模型2。
4.根据权利要求3所述的方法,其特征在于:
5.根据权利要求3所述的方法,其特征在于,还包括:
6.根据权利要求5所述的方法,其特征在于,配置所述第一设备以根据所述选择的训练阶段在所述第一设备上训练所述ai/ml模型的所述信令使所述第一设备从所述多个训练模式的不同训练阶段切换到所述选择的训练阶段。
7.根据权利要求5或6所述的方法,其特征在于,配置所述第一设备以根据所述选择的训练阶段在所述第一设备上训练所述ai/ml模型的所述信令配置所述第一设备以根据所述第一训练阶段在所述第一设备上训练所述ai/ml模型,在所述第一训练阶段中,训练所述ai/ml子模型1的参数,并且所述ai/ml子模型2的参数是固定的。
8.根据权利要求7所述的方法,其特征在于,还包括,在所述第一训练阶段中,针对所述多阶段ai/ml模型训练过程的迭代:
9.根据权利要求8所述的方法,其特征在于:
10.根据权利要求8或9所述的方法,其特征在于,还包括:
11.根据权利要求10所述的方法,其特征在于,关于所述第一设备上的所述ai/ml子模型1与所述全局公共ai/ml子模型之间的相关性的所述信息由所述第一设备基于以下各项确定:
12.根据权利要求5或6所述的方法,其特征在于,配置所述第一设备以根据所述选择的训练阶段在所述第一设备上训练所述ai/ml模型的所述信令配置所述第一设备以根据所述多个训练模式的第二训练阶段在所述第一设备上训练所述ai/ml模型,其中,在所述第二训练阶段中,训练所述ai/ml子模型2的参数。
13.根据权利要求12所述的方法,其特征在于,配置所述第一设备以根据所述第二训练阶段在所述第一设备上训练所述ai/ml模型的控制信令使所述第一设备从所述多个训练模式的所述第一训练阶段切换到所述第二训练阶段。
14.根据权利要求12或13所述的方法,其特征在于,还包括,在所述第二训练阶段中,针对所述多阶段ai/ml模型训练过程的迭代:
15.根据权利要求14所述的方法,其特征在于:
16.根据权利要求14或15所述的方法,其特征在于,还包括,针对所述第二训练阶段中的所述迭代:
17.根据权利要求16所述的方法,其特征在于:
18.根据权利要求16或17所述的方法,其特征在于,还包括:
19.根据权利要求18所述的方法,其特征在于,关于所述第一设备上的所述ai/ml子模型1与所述全局公共ai/ml子模型之间的相关性的所述信息由所述第一设备基于以下各项确定:
20.根据权利要求12至19中任一项所述的方法,其特征在于,还包括:
21.根据权利要求20所述的方法,其特征在于,还包括:
22.根据权利要求21所述的方法,其特征在于,配置所述第一设备以根据所述第三训练阶段在所述第一设备上训练所述ai/ml模型的所述信令使所述第一设备从所述第二训练阶段切换到所述第三训练阶段。
23.根据权利要求21或22所述的方法,其特征在于,还包括,在所述第三训练阶段中,针对所述多阶段ai/ml模型训练过程的迭代:
24.根据权利要求23所述的方法,其特征在于:
25.根据权利要求3或权利要求5至13中任一项所述的方法,其特征在于,还包括:
26.根据权利要求14或25所述的方法,其特征在于,接收所述全局集群特定ai/ml子模型更新信息包括:
27.根据权利要求26所述的方法,其特征在于,所述第二dci中的所述调度信息包括字段,所述字段指示哪些设备集群具有所述第二dci调度的下行数据传输。
28.根据权利要求12至14中任一项所述的方法,其特征在于,还包括:
29.根据权利要求28所述的方法,其特征在于,所述接收指示所述第一集群和所述第二集群将合并为所述第三集群的所述信令包括:
30.根据权利要求29所述的方法,其特征在于,所述第二级dci还指示至少一个下行数据传输的调度信息,所述方法还包括:
31.根据权利要求12至18中任一项所述的方法,其特征在于,还包括:
32.根据权利要求31所述的方法,其特征在于,接收指示所述第一设备将切换到所述第二设备集群的所述信令包括:
33.一种用于配置人工智能或机器学习(artificial intelligence/machinelearning,ai/ml)的方法,其特征在于,所述方法包括:
34.根据权利要求33所述的方法,其特征在于,所述第一全局ai/ml子模型的输入是所述第一全局ai/ml模型的输入,所述第二全局ai/ml子模型的输出是所述第一全局ai/ml模型的输出。
35.根据权利要求33所述的方法,其特征在于,所述第一全局ai/ml子模型是所述全局公共ai/ml子模型,所述第二全局ai/ml子模型是所述第一全局集群特定子模型。
36.根据权利要求33至35中任一项所述的方法,其特征在于,还包括:
37.根据权利要求36所述的方法,其特征在于,发送用于在所述第一设备上配置所述第一ai/ml模型的第一ai/ml模型配置信息包括:
38.根据权利要求36所述的方法,其特征在于,还包括:
39.根据权利要求38所述的方法,其特征在于,配置所述第一设备以根据所述选择的训练阶段在所述第一设备上训练所述ai/ml模型的所述信令使所述第一设备从所述多个训练模式的不同训练阶段切换到所述选择的训练阶段。
40.根据权利要求38或39所述的方法,其特征在于,配置所述第一设备以根据所述选择的训练阶段在所述第一设备上训练所述ai/ml模型的所述信令配置所述第一设备以根据所述第一训练阶段在所述第一设备上训练所述ai/ml模型,在所述第一训练阶段中,训练所述全局公共ai/ml子模型的参数,并且所述第一全局集群特定ai/ml子模型的参数是固定的。
41.根据权利要求40所述的方法,其特征在于,还包括,在所述第一训练阶段中,针对所述多阶段ai/ml模型训练过程的迭代:
42.根据权利要求41所述的方法,其特征在于:
43.根据权利要求41或42所述的方法,其特征在于,还包括:
44.根据权利要求38或39所述的方法,其特征在于,配置所述第一设备以根据所述选择的训练阶段在所述第一设备上训练所述ai/ml模型的所述信令配置所述第一设备以根据所述多个训练模式的第二训练阶段在所述第一设备上训练所述ai/ml模型,其中,在所述第二训练阶段中,训练所述第一全局集群特定ai/ml子模型的参数。
45.根据权利要求44所述的方法,其特征在于,配置所述第一设备以根据所述第二训练阶段在所述第一设备上训练所述ai/ml模型的所述信令使所述第一设备从所述多个训练模式的所述第一训练阶段切换到所述第二训练阶段。
46.根据权利要求44或45所述的方法,其特征在于,还包括,在所述第二训练阶段中,针对所述多阶段ai/ml模型训练过程的迭代:
47.根据权利要求46所述的方法,其特征在于:
48.根据权利要求46或47所述的方法,其特征在于,从所述第一设备接收的所述本地ai/ml模型更新信息还包括所述第一设备上的所述ai/ml子模型的本地公共ai/ml子模型参数更新,所述本地公共ai/ml子模型参数更新对应于所述全局公共ai/ml子模型,所述方法还包括,针对所述第二训练阶段中的所述迭代:
49.根据权利要求48所述的方法,其特征在于:
50.根据权利要求48或49所述的方法,其特征在于,还包括:
51.根据权利要求44至50中任一项所述的方法,其特征在于,还包括:
52.根据权利要求51所述的方法,其特征在于,还包括:
53.根据权利要求52所述的方法,其特征在于,配置所述第一设备以根据所述第三训练阶段在所述第一设备上训练所述ai/ml模型的所述信令使所述第一设备从所述第二训练阶段切换到所述第三训练阶段。
54.根据权利要求52或53所述的方法,其特征在于,还包括,在所述第三训练阶段中,针对所述多阶段ai/ml模型训练过程的迭代:
55.根据权利要求54所述的方法,其特征在于:
56.根据权利要求33至36、38至41、44或45中任一项所述的方法,其特征在于,还包括:
57.根据权利要求46或56所述的方法,其特征在于,发送所述全局集群特定ai/ml子模型更新信息包括:
58.根据权利要求57所述的方法,其特征在于,所述第二dci中的所述调度信息包括字段,所述字段指示哪些设备集群具有所述第二dci调度的下行数据传输。
59.根据权利要求44至46中任一项所述的方法,其特征在于,还包括:
60.根据权利要求59所述的方法,其特征在于,所述发送指示所述第一集群和所述第二集群将合并为所述第三集群的所述信令包括:
61.根据权利要求60所述的方法,其特征在于,所述第二级dci还指示至少一个下行数据传输的调度信息,所述方法还包括:
62.根据权利要求44至50中任一项所述的方法,其特征在于,还包括:
63.根据权利要求62所述的方法,其特征在于,发送指示所述第一设备将切换到所述第二设备集群的所述信令包括:
64.一种设备,其特征在于,包括:
65.根据权利要求64所述的设备,其特征在于,所述第一ai/ml子模型的输入是所述ai/ml模型的输入,所述第二ai/ml子模型的输出是所述ai/ml模型的输出。
66.根据权利要求64或65所述的设备,其特征在于,所述第一ai/ml子模型和所述第二ai/ml子模型中的一个是所述无线通信网络中的一组设备共有的ai/ml子模型1,所述第一ai/ml子模型和所述第二ai/ml子模型中的另一个是所述一组设备内包括所述第一设备的一个或多个设备的第一集群共有的ai/ml子模型2。
67.根据权利要求66所述的设备,其特征在于:
68.根据权利要求66所述的设备,其特征在于,所述处理器可执行指令还包括当被执行时使所述处理器执行以下操作的处理器可执行指令:
69.根据权利要求68所述的设备,其特征在于,配置所述设备以根据所述选择的训练阶段在所述设备上训练所述ai/ml模型的所述信令使所述设备从所述多个训练模式的不同训练阶段切换到所述选择的训练阶段。
70.根据权利要求68或69所述的设备,其特征在于,配置所述设备以根据所述选择的训练阶段在所述设备上训练所述ai/ml模型的所述信令配置所述设备以根据所述第一训练阶段在所述设备上训练所述ai/ml模型,在所述第一训练阶段中,训练所述ai/ml子模型1的参数,并且所述ai/ml子模型2的参数是固定的。
71.根据权利要求70所述的设备,其特征在于,所述处理器可执行指令还包括处理器可执行指令,所述处理器可执行指令当被执行时,在所述第一训练阶段中,针对所述多阶段ai/ml模型训练过程的迭代,使所述处理器执行以下操作:
72.根据权利要求71所述的设备,其特征在于:
73.根据权利要求71或72所述的设备,其特征在于,所述处理器可执行指令还包括当被执行时使所述处理器执行以下操作的处理器可执行指令:
74.根据权利要求73所述的设备,其特征在于,关于所述设备上的所述ai/ml子模型1与所述全局公共ai/ml子模型之间的相关性的所述信息由所述第一设备基于以下各项确定:
75.根据权利要求68或69所述的设备,其特征在于,配置所述设备以根据所述选择的训练阶段在所述设备上训练所述ai/ml模型的所述信令配置所述设备以根据所述多个训练模式的第二训练阶段在所述设备上训练所述ai/ml模型,其中,在所述第二训练阶段中,训练所述ai/ml子模型2的参数。
76.根据权利要求75所述的设备,其特征在于,配置所述设备以根据所述第二训练阶段在所述设备上训练所述ai/ml模型的控制信令使所述设备从所述多个训练模式的所述第一训练阶段切换到所述第二训练阶段。
77.根据权利要求75或76所述的设备,其特征在于,所述处理器可执行指令还包括处理器可执行指令,所述处理器可执行指令当被执行时,在所述第二训练阶段中,针对所述多阶段ai/ml模型训练过程的迭代,使所述处理器执行以下操作:
78.根据权利要求77所述的设备,其特征在于:
79.根据权利要求14或15所所述的设备,其特征在于,所述处理器可执行指令还包括当被执行时,针对所述第二训练阶段中的所述迭代,使所述处理器执行以下操作的处理器可执行指令:
80.根据权利要求79所述的设备,其特征在于:
81.根据权利要求79或80所述的设备,其特征在于,所述处理器可执行指令还包括当被执行时使所述处理器执行以下操作的处理器可执行指令:
82.根据权利要求81所述的设备,其特征在于,关于所述设备上的所述ai/ml子模型1与所述全局公共ai/ml子模型之间的相关性的所述信息由所述第一设备基于以下各项确定:
83.根据权利要求75至82中任一项所述的设备,其特征在于,所述处理器可执行指令还包括当被执行时使所述处理器执行以下操作的处理器可执行指令:
84.根据权利要求83所述的设备,其特征在于,所述处理器可执行指令还包括当被执行时使所述处理器执行以下操作的处理器可执行指令:
85.根据权利要求84所述的设备,其特征在于,配置所述设备以根据所述第三训练阶段在所述设备上训练所述ai/ml模型的所述信令使所述设备从所述第二训练阶段切换到所述第三训练阶段。
86.根据权利要求84或85所述的设备,其特征在于,所述处理器可执行指令还包括处理器可执行指令,所述处理器可执行指令当被执行时,在所述第三训练阶段中,针对所述多阶段ai/ml模型训练过程的迭代,使所述处理器执行以下操作:
87.根据权利要求86所述的设备,其特征在于:
88.根据权利要求66或权利要求68至76中任一项所述的设备,其特征在于,所述处理器可执行指令还包括当被执行时使所述处理器执行以下操作的处理器可执行指令:
89.根据权利要求77或88所述的设备,其特征在于,当被执行时使所述处理器接收所述全局集群特定ai/ml子模型更新信息的所述处理器可执行指令包括当被执行时使所述处理器执行以下操作的处理器可执行指令:
90.根据权利要求89所述的设备,其特征在于,所述第二dci中的所述调度信息包括字段,所述字段指示哪些设备集群具有所述第二dci调度的下行数据传输。
91.根据权利要求75至77中任一项所述的设备,其特征在于,所述处理器可执行指令还包括当被执行时使所述处理器执行以下操作的处理器可执行指令:
92.根据权利要求91所述的设备,其特征在于,当被执行时使所述处理器接收指示所述第一集群和所述第二集群将合并为所述第三集群的所述信令的所述处理器可执行指令包括当被执行时使所述处理器执行以下操作的处理器可执行指令:
93.根据权利要求92所述的设备,其特征在于,所述第二级dci还指示至少一个下行数据传输的调度信息,其中,所述处理器可执行指令还包括当被执行时使所述处理器执行以下操作的处理器可执行指令:
94.根据权利要求75至81中任一项所述的设备,其特征在于,所述处理器可执行指令还包括当被执行时使所述处理器执行以下操作的处理器可执行指令:
95.根据权利要求94所述的设备,其特征在于,当被执行时使所述处理器接收指示所述设备将切换到所述第二设备集群的所述信令的所述处理器可执行指令设备包括当被执行时使所述处理器执行以下操作的处理器可执行指令:
96.一种装置,其特征在于,包括一个或多个单元,用于执行根据权利要求1至32中任一项所述的方法。
97.一种网络设备,其特征在于,包括:
98.根据权利要求97所述的网络设备,其特征在于,所述第一全局ai/ml子模型的输入是所述第一全局ai/ml模型的输入,所述第二全局ai/ml子模型的输出是所述第一全局ai/ml模型的输出。
99.根据权利要求97所述的网络设备,其特征在于,所述第一全局ai/ml子模型是所述全局公共ai/ml子模型,所述第二全局ai/ml子模型是所述第一全局集群特定子模型。
100.根据权利要求97至99中任一项所述的网络设备,其特征在于,所述处理器可执行指令还包括当被执行时使所述处理器执行以下操作的处理器可执行指令:
101.根据权利要求100所述的网络设备,其特征在于,当被执行时使所述处理器发送用于在所述第一设备上配置所述第一ai/ml模型的第一ai/ml模型配置信息的所述处理器可执行指令包括当被执行时使所述处理器执行以下操作的处理器可执行指令:
102.根据权利要求100所述的网络设备,其特征在于,所述处理器可执行指令还包括当被执行时使所述处理器执行以下操作的处理器可执行指令:
103.根据权利要求102所述的网络设备,其特征在于,配置所述第一设备以根据所述选择的训练阶段在所述第一设备上训练所述ai/ml模型的所述信令使所述第一设备从所述多个训练模式的不同训练阶段切换到所述选择的训练阶段。
104.根据权利要求102或103所述的网络设备,其特征在于,配置所述第一设备以根据所述选择的训练阶段在所述第一设备上训练所述ai/ml模型的所述信令配置所述第一设备以根据所述第一训练阶段在所述第一设备上训练所述ai/ml模型,在所述第一训练阶段中,训练所述全局公共ai/ml子模型的所述参数,并且所述第一全局集群特定ai/ml子模型的所述参数是固定的。
105.根据权利要求104所述的网络设备,其特征在于,所述处理器可执行指令还包括处理器可执行指令,所述处理器可执行指令当被执行时,在所述第一训练阶段中,针对所述多阶段ai/ml模型训练过程的迭代,使所述处理器执行以下操作:
106.根据权利要求105所述的网络设备,其特征在于:
107.根据权利要求105或106所述的网络设备,其特征在于,所述处理器可执行指令还包括当被执行时使所述处理器执行以下操作的处理器可执行指令:
108.根据权利要求102或103所述的网络设备,其特征在于,配置所述第一设备以根据所述选择的训练阶段在所述第一设备上训练所述ai/ml模型的所述信令配置所述第一设备以根据所述多个训练模式的第二训练阶段在所述第一设备上训练所述ai/ml模型,其中,在所述第二训练阶段中,训练所述第一全局集群特定ai/ml子模型的所述参数。
109.根据权利要求108所述的网络设备,其特征在于,配置所述第一设备以根据所述第二训练阶段在所述第一设备上训练所述ai/ml模型的所述信令使所述第一设备从所述多个训练模式的所述第一训练阶段切换到所述第二训练阶段。
110.根据权利要求108或109所述的网络设备,其特征在于,所述处理器可执行指令还包括处理器可执行指令,所述处理器可执行指令当被执行时,在所述第二训练阶段中,针对所述多阶段ai/ml模型训练过程的迭代,使所述处理器执行以下操作:
111.根据权利要求110所述的网络设备,其特征在于:
112.根据权利要求110或111所述的网络设备,其特征在于,从所述第一设备接收的所述本地ai/ml模型更新信息还包括所述第一设备上的所述ai/ml子模型的本地公共ai/ml子模型参数更新,所述本地公共ai/ml子模型参数更新对应于所述全局公共ai/ml子模型,其中,所述处理器可执行指令还包括处理器可执行指令,所述处理器可执行指令当被执行时,针对所述第二训练阶段中的所述迭代,使所述处理器:
113.根据权利要求112所述的网络设备,其特征在于:
114.根据权利要求112或113所述的网络设备,其特征在于,所述处理器可执行指令还包括当被执行时使所述处理器执行以下操作的处理器可执行指令:
115.根据权利要求108至114中任一项所述的网络设备,其特征在于,所述处理器可执行指令还包括当被执行时使所述处理器执行以下操作的处理器可执行指令:
116.根据权利要求115所述的网络设备,其特征在于,所述处理器可执行指令还包括当被执行时使所述处理器执行以下操作的处理器可执行指令:
117.根据权利要求116所述的网络设备,其特征在于,配置所述第一设备以根据所述第三训练阶段在所述第一设备上训练所述ai/ml模型的所述信令使所述第一设备从所述第二训练阶段切换到所述第三训练阶段。
118.根据权利要求116或117所述的网络设备,其特征在于,所述处理器可执行指令还包括处理器可执行指令,所述处理器可执行指令当被执行时,在所述第三训练阶段中,针对所述多阶段ai/ml模型训练过程的迭代,使所述处理器执行以下操作:
119.根据权利要求118所述的网络设备,其特征在于:
120.根据权利要求97至100、102至105、108或109中任一项所述的网络设备,其特征在于,所述处理器可执行指令还包括当被执行时使所述处理器执行以下操作的处理器可执行指令:
121.根据权利要求110或120所述的网络设备,其特征在于,当被执行时使所述处理器发送所述全局集群特定ai/ml子模型更新信息的所述处理器可执行指令包括当被执行时使所述处理器执行以下操作的处理器可执行指令:
122.根据权利要求121所述的网络设备,其特征在于,所述第二dci中的所述调度信息包括字段,所述字段指示哪些设备集群具有所述第二dci调度的下行数据传输。
123.根据权利要求108至110中任一项所述的网络设备,其特征在于,所述处理器可执行指令还包括当被执行时使所述处理器执行以下操作的处理器可执行指令:
124.根据权利要求123所述的网络设备,其特征在于,当被执行时使所述处理器发送指示所述第一集群和所述第二集群将合并为所述第三集群的所述信令的所述处理器可执行指令包括当被执行时使所述处理器执行以下操作的处理器可执行指令:
125.根据权利要求124所述的网络设备,其特征在于,所述第二级dci还指示至少一个下行数据传输的调度信息,其中,所述处理器可执行指令还包括当被执行时使所述处理器执行以下操作的处理器可执行指令:
126.根据权利要求108至114中任一项所述的网络设备,其特征在于,所述处理器可执行指令还包括当被执行时使所述处理器执行以下操作的处理器可执行指令:
127.根据权利要求126所述的网络设备,其特征在于,当被执行时使所述处理器发送指示所述第一设备将切换到所述第二设备集群的所述信令的所述处理器可执行指令设备包括当被执行时使所述处理器执行以下操作的处理器可执行指令:
128.一种装置,其特征在于,包括一个或多个单元,用于执行根据权利要求33至63中任一项所述的方法。
技术总结
在现有的基于FL和DL的AI/ML模型训练过程中,已证明数据异构会降低收敛速度和模型精度。在一些实施例中,参与基于FL或DL的AI/ML模型训练过程的一组设备例如基于其数据类分布的相似性被划分为集群,并且每个设备配置有级联AI/ML模型,所述级联AI/ML模型包括级联的第一AI/ML子模型和第二AI/ML子模型。对于每个设备,级联的子模型中的一个子模型是所述组中的所有设备共有的公共AI/ML子模型,而另一个子模型是所述一组设备内的设备分配到的集群共有的集群特定AI/ML子模型。还提供了所述级联AI/ML模型的多阶段训练过程。
技术研发人员:唐浩,张立清,马江镭
受保护的技术使用者:华为技术有限公司
技术研发日:
技术公布日:2024/11/26
技术研发人员:唐浩,张立清,马江镭
技术所有人:华为技术有限公司
备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明 :此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除
