在机器学习模型训练期间在模型大小和训练数据之间分配计算资源的制作方法
技术特征：
1.一种由一个或多个计算机执行的方法，所述方法包括：
2.根据权利要求1所述的方法，其中，所述分配映射参数集合的值由操作确定，所述操作包括：
3.根据权利要求2所述的方法，其中，基于与所述多个试验分配元组相对应的所述性能度量来确定所述分配映射参数集合的所述值包括：
4.根据权利要求3所述的方法，其中，基于与所述多个计算预算中的每一个计算预算相对应的所述最优模型大小和训练数据的所述最优量，确定所述分配映射参数集合的所述值包括：
5.根据权利要求3至4中任一项所述的方法，其中，针对所述多个计算预算中的每一个计算预算，确定与该计算预算相对应的所述最优模型大小和训练数据的所述最优量包括：
6.根据权利要求5所述的方法，其中，确定试验模型大小的性能曲线包括：
7.根据权利要求5至6中任一项所述的方法，其中，使用所述性能曲线确定与每个计算预算相对应的所述最优模型大小和训练数据的所述最优量包括，针对所述多个计算预算中的每个计算预算：
8.根据权利要求3所述的方法，其中，针对所述多个计算预算中的每一个计算预算，确定与该计算预算相对应的所述最优模型大小和训练数据的所述最优量包括：
9.根据权利要求8所述的方法，其中，确定计算预算的性能曲线包括：
10.根据权利要求8至9中任一项的方法，其中，使用所述性能曲线确定与每个计算预算相对应的所述最优模型大小和训练数据的所述最优量包括，针对所述多个计算预算中的每个计算预算：
11.根据权利要求2所述的方法，其中，基于与所述多个试验分配元组相对应的所述性能度量来确定所述分配映射参数集合的所述值包括：
12.根据权利要求11所述的方法，其中，使用所述性能估计函数确定所述分配映射参数集合的所述值包括：
13.根据权利要求11至12中任一项的方法，其中，基于与所述多个试验分配元组相对应的所述性能度量来拟合所述性能估计函数的所述参数集合的所述值包括：
14.根据权利要求13所述的方法，其中，所述误差度量包括huber损失。
15.根据权利要求2至14中任一项的方法，其中，针对所述多个试验分配元组中的每一个试验分配元组，确定与该试验分配元组相对应的所述性能度量包括：
16.根据任一前述权利要求所述的方法，其中，所述分配映射使所述目标模型大小和训练数据的所述目标量响应于所述计算预算的增加而以大体上相同的比率增加。
17.根据任一前述权利要求所述的方法，其中，所述机器学习任务包括语言建模任务。
18.根据任一前述权利要求所述的方法，其中，所述机器学习模型包括神经网络模型。
19.根据任一前述权利要求所述的方法，进一步包括：
20.根据权利要求19所述的方法，其中：
21.根据任一前述权利要求所述的方法，用于将所述机器学习模型适配到特定计算硬件，其中，所述机器学习模型包括神经网络模型并且所述特定计算硬件包括多个神经网络加速器，所述方法包括：
22.一种由一个或多个计算机执行的方法，包括：
23.一个或多个非暂时性计算机存储介质，所述一个或多个非暂时性计算机存储介质存储指令，所述指令在由一个或多个计算机执行时，使所述一个或多个计算机执行根据权利要求1至22中任一项所述的相应方法的操作。
24.一种系统，包括：
技术总结
用于训练机器学习模型以执行机器学习任务的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。在一个方面，描述了一种由一个或多个计算机执行的方法。该方法包括：获得定义计算预算的数据，该计算预算表征为训练机器学习模型以执行机器学习任务而分配的计算资源量；根据分配映射参数集合，使用分配映射处理定义计算预算的数据，以生成分配元组，该分配元组定义：（i）机器学习模型的目标模型大小，和（ii）用于训练机器学习模型的训练数据的目标量；对机器学习模型进行实例化，其中机器学习模型具有目标模型大小；以及获得用于训练机器学习模型的目标量的训练数据。
技术研发人员：乔丹·霍夫曼,塞巴斯蒂安·博尔若迪特阿沃卡,阿瑟·门驰,劳伦特·西弗尔
受保护的技术使用者：渊慧科技有限公司
技术研发日：
技术公布日：2024/12/2
技术研发人员：乔丹·霍夫曼,塞巴斯蒂安·博尔若迪特阿沃卡,阿瑟·门驰,劳伦特·西弗尔
技术所有人：渊慧科技有限公司
备 注：该技术已申请专利，仅供学习研究，如用于商业用途，请联系技术所有人。
声 明 ：此信息收集于网络，如果你是此专利的发明人不想本网站收录此信息请联系我们，我们会在第一时间删除