基于客户端自主性的分布式训练方法、系统、介质及设备
技术特征:
1.一种基于客户端自主性的分布式训练方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述确定客户端本地训练的特征,包括:
3.根据权利要求1所述的方法,其特征在于,所述确定客户端本地训练的特征,还包括:
4.根据权利要求1所述的方法,其特征在于,所述根据所述客户端本地训练的特征,采用提前停止策略决策所述客户端的本地训练进程,包括:
5.根据所述权利要求4所述的方法,其特征在于,所述根据所述客户端在每轮训练中完成每次迭代后的净收益,所述客户端自主决策是否提前终止该轮训练,包括:
6.根据权利要求1所述的方法,其特征在于,所述根据所述客户端本地训练的统计特征,采用基于错误反馈的层级提前传输策略优化所述客户端的本地训练的通信进程,包括:
7.根据权利要求6所述的方法,其特征在于,所述在客户端的每轮训练中,将所述客户端的已收敛的层级参数提前传输至服务端,包括:
8.一种基于客户端自主性的分布式训练系统,其特征在于,包括:
9.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
10.一种电子设备,其特征在于,包括:
技术总结
本公开提供一种基于客户端自主性的分布式训练方法、系统、介质及设备,其中,基于客户端自主性的分布式训练方法,包括:确定客户端本地训练的特征,客户端本地训练的特征包括系统特征和统计特征;根据客户端本地训练的特征,采用提前停止策略决策客户端的本地训练进程;根据客户端本地训练的统计特征,采用基于错误反馈的层级提前传输策略优化客户端的本地训练的通信进程。通过本公开,基于客户端本地训练的特征的指导,实现对客户端内的状态变化感知及客户端的自主决策,节省计算资源,提高模型训练效率,增加计算‑通信重叠时间,提升资源利用率。
技术研发人员:陈晨,陈全,过敏意,吕娜,江志锋,张佳熠,沈志
受保护的技术使用者:上海交通大学
技术研发日:
技术公布日:2024/12/2
文档序号 :
【 40201872 】
技术研发人员:陈晨,陈全,过敏意,吕娜,江志锋,张佳熠,沈志
技术所有人:上海交通大学
备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明 :此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除
技术研发人员:陈晨,陈全,过敏意,吕娜,江志锋,张佳熠,沈志
技术所有人:上海交通大学
备 注:该技术已申请专利,仅供学习研究,如用于商业用途,请联系技术所有人。
声 明 :此信息收集于网络,如果你是此专利的发明人不想本网站收录此信息请联系我们,我们会在第一时间删除
