在机器学习模型训练期间在模型大小和训练数据之间分配计算资源的制作方法

本说明书涉及使用机器学习模型处理数据。

背景技术：

1、机器学习模型接收输入并基于接收的输入生成输出，例如预测输出。一些机器学习模型是参数模型，并基于接收的输入和模型参数的值生成输出。

2、一些机器学习模型是深度模型，其采用多层模型来为接收的输入生成输出。例如，深度神经网络是一种深度机器学习模型，其包括输出层和一个或多个隐藏层，每个隐藏层对接收的输入应用非线性变换以生成输出。

技术实现思路

1、本说明书总体上描述了一种训练系统，其被实现为位于一个或多个位置的一个或多个计算机上的计算机程序，其可以训练机器学习模型以执行机器学习任务。如下所述，该训练系统可以执行各种方法，并且可以在各种系统中实现以训练机器学习模型。

2、在一个方面，描述了由一个或多个计算机执行的用于训练机器学习模型的方法。该方法包括：获得定义计算预算的数据，该计算预算表征为训练机器学习模型以执行机器学习任务而分配的计算资源量；以及根据分配映射参数集合，使用分配映射来处理定义计算预算的数据，以生成分配元组，该分配元组定义：（i）机器学习模型的目标模型大小，和（ii）用于训练机器学习模型的训练数据的目标量。根据该方法，将机器学习模型的模型大小选择为目标模型大小并且在目标量的训练数据上训练机器学习模型被预测为在受到用于训练机器学习模型的计算资源量满足由计算预算定义的阈值的约束下优化机器学习模型在机器学习任务上的性能。该方法进一步包括：对机器学习模型进行实例化，其中机器学习模型具有目标模型大小；获得用于训练机器学习模型的目标量的训练数据；以及在目标量的训练数据上训练具有目标模型大小的机器学习模型。

3、在一些实施方式中，分配映射参数集合的值通过包括以下的操作被确定：识别多个试验分配元组，其中每个试验分配元组定义：（i）机器学习模型的试验模型大小，和（ii）用于训练机器学习模型的训练数据的试验量；针对多个试验分配元组中的每一个，确定表征试验机器学习模型在机器学习任务上的性能的性能度量，所述性能度量是将试验机器学习模型的模型大小选择为试验模型大小并且在试验量的训练数据上训练试验机器学习模型的结果；并且基于与多个试验分配元组相对应的性能度量确定分配映射参数集合的值。

4、在一些实施方式中，基于与多个试验分配元组相对应的性能度量确定分配映射参数集合的值包括：针对多个计算预算中的每一个，基于与多个试验分配元组相对应的性能度量确定与计算预算相对应的最优模型大小和训练数据的最优量；并且基于与多个计算预算中的每一个相对应的最优模型大小和训练数据的最优量来确定分配映射参数集合的值。

5、在一些实施方式中，基于与多个计算预算中的每一个相对应的最优模型大小和训练数据的最优量来确定分配映射参数集合的值包括：基于与多个计算预算中的每一个相对应的最优模型大小和训练数据的最优量拟合分配映射参数集合的值。

6、在一些实施方式中，针对多个计算预算中的每一个确定与计算预算相对应的最优模型大小和训练数据的最优量包括：基于与多个试验分配元组相对应的性能度量确定多个试验模型大小中的每一个的相应性能曲线，其中试验模型大小的性能曲线定义从可能的计算预算到预测性能度量的连续映射，并且其中与可能的计算预算相对应的预测性能度量定义使用满足由可能的计算预算定义的阈值的计算资源量被训练的、具有试验模型大小的试验机器学习模型的预测性能；并且使用性能曲线确定与每个计算预算相对应的最优模型大小和训练数据的最优量。

7、在一些实施方式中，确定试验模型大小的性能曲线包括：通过内插与试验模型大小相对应的试验分配元组的性能度量来确定试验模型大小的性能曲线。

8、在一些实施方式中，利用性能曲线确定与每个计算预算相对应的最优模型大小和训练数据的最优量包括：针对多个计算预算中的每个计算预算：从性能曲线当中确定实现该计算预算的最优性能度量的最优性能曲线；将最优模型大小确定为与最优性能曲线相对应的试验模型大小；并且基于计算预算和最优模型大小确定训练数据的最优量。

9、在一些实施方式中，针对多个计算预算中的每一个，确定与该计算预算相对应的最优模型大小和训练数据的最优量包括：基于与多个试验分配元组相对应的性能度量，针对多个计算预算中的每一个确定相应的性能曲线，其中计算预算的性能曲线定义从可能的模型大小到预测性能度量的连续映射，并且其中与可能的模型大小相对应的预测性能度量定义使用满足由计算预算定义的阈值的计算资源量进行训练的具有可能的模型大小的试验机器学习模型的预测性能；以及使用性能曲线确定与每个计算预算相对应的最优模型大小和训练数据的最优量。

10、在一些实施方式中，确定计算预算的性能曲线包括：通过内插与计算预算相对应的试验分配元组的性能度量来确定计算预算的性能曲线，其中，如果在由试验分配元组定义的试验量的训练数据上训练具有由试验分配元组定义的试验模型大小的试验机器学习模型将使用满足由计算预算定义的阈值的计算资源量，则试验分配元组对应于计算预算。

11、在一些实施方式中，使用性能曲线确定与每个计算预算相对应的最优模型大小和训练数据的最优量包括，针对多个计算预算中的每个计算预算：将最优模型大小确定为优化与计算预算相对应的性能曲线的模型大小；并且基于计算预算和最优模型大小确定训练数据的最优量。

12、在一些实施方式中，基于与多个试验分配元组相对应的性能度量确定分配映射参数集合的值包括：确定性能估计函数的参数集合，该性能估计函数被配置为处理定义以下的数据：（i）输入模型大小，和（ii）训练数据的输入量，以生成预测性能度量，该预测性能度量表征在输入量的训练数据上被训练的、具有输入模型大小的机器学习模型在机器学习任务上的预测性能，包括：基于与多个试验分配元组相对应的性能度量来拟合性能估计函数的参数集合的值；以及使用性能估计函数确定分配映射参数集合的值。

13、在一些实施方式中，使用性能估计函数确定分配映射参数集合的值包括：确定分配映射参数集合的值以使每个输入计算预算被映射到在受到在目标量的训练数据上训练具有目标模型大小的机器学习模型使用由该输入计算预算给出的计算资源量的约束下优化性能估计函数的目标模型大小和训练数据的目标量。

14、在一些实施方式中，基于与多个试验分配元组相对应的性能度量来拟合性能估计函数的参数集合的值包括：拟合性能估计函数的参数集合的值以针对每个试验分配元组最小化以下两者之间的误差度量：（i）与试验分配元组相对应的性能度量，和（ii）通过使用性能估计函数处理由试验分配元组定义的试验模型大小和训练数据的试验量而生成的预测性能度量。

15、在一些实施方式中，误差度量包括huber损失。

16、在一些实施方式中，针对多个试验分配元组中的每一个，确定与试验分配元组相对应的性能度量包括：使用基于训练数据的试验量被选择的学习率调度，在试验量的训练数据上训练具有试验模型大小的试验机器学习模型。

17、在一些实施方式中，分配映射使目标模型大小和训练数据的目标量响应于计算预算的增加而以大体上相同的比率增加。

18、在一些实施方式中，机器学习任务包括语言建模任务。

19、在一些实施方式中，机器学习模型包括神经网络模型。

20、在一些实施方式中，该方法进一步包括：接收对机器学习模型的模型输入；并且根据机器学习模型的模型参数集合的训练值，使用机器学习模型处理模型输入以生成模型输出。

21、在一些实施方式中，机器学习模型包括多模态模型，其中模型输入和模型输出中的一个或两者包括图像或音频，并且多模态模型被配置为处理包括表示静止或移动图像的像素的视觉词元、表示音频波形的数据和表示文本序列的文本词元中的至少一个的模型输入，以生成包括表示模型输入的文本词元、图像或音频的模型输出。

22、在一些实施方式中，该方法用于将机器学习模型适配到特定的计算硬件，其中机器学习模型包括神经网络模型，并且特定的计算硬件包括多个神经网络加速器。在该情况下，该方法进一步包括：确定用于训练机器学习模型的能量预算，其中能量预算定义用于训练机器学习模型的浮点运算的总数；根据能量预算确定计算预算；确定要在其上训练机器学习模型的特定计算硬件的硬件规格，其中硬件规格定义特定计算硬件中的神经网络加速器的数量；使用以上提及的任何方法确定机器学习模型的目标模型大小，其中目标模型大小定义了机器学习模型的可训练参数的数量；使用以上提及的任何方法确定用于训练机器学习模型的训练数据的目标量，其中训练数据的目标量定义了用于训练模型的训练词元的数量；以及使用定义数量的训练词元在特定计算硬件上训练具有定义数量的可训练参数的机器学习模型。

23、在第二方面，描述了由一个或多个计算机执行的方法。该方法包括：接收对机器学习模型的模型输入；并且根据机器学习模型的模型参数集合的训练值，使用机器学习模型处理模型输入以生成模型输出。在该情况下，机器学习模型已通过包括以下的操作生成：获得定义计算预算的数据，该计算预算表征为训练机器学习模型以执行机器学习任务而分配的计算资源量；并且根据分配映射参数集合，使用分配映射处理定义计算预算的数据，以生成分配元组，该分配元组定义：（i）机器学习模型的目标模型大小，和（ii）用于训练机器学习模型的训练数据的目标量。根据该方法，将机器学习模型的模型大小选择为目标模型大小并且在目标量的训练数据上训练机器学习模型，被预测为在受到用于训练机器学习模型的计算资源量满足计算预算定义的阈值的约束下优化机器学习模型在机器学习任务上的性能。该方法进一步包括：对机器学习模型进行实例化，其中机器学习模型具有目标模型大小；获得用于训练机器学习模型的目标量的训练数据；以及在目标量的训练数据上训练具有目标模型大小的机器学习模型。

24、在第三方面，描述了一种系统。该系统包括存储指令的一个或多个非暂时性计算机存储介质，指令在由一个或多个计算机执行时，使一个或多个计算机执行以上提及的任何方法的操作。

25、在第四方面，描述了一种系统。该系统包括一个或多个计算机和与一个或多个计算机通信耦合的一个或多个存储设备，其中一个或多个存储设备存储指令，指令在由一个或多个计算机执行时，使一个或多个计算机执行以上提及的任何方法的操作。

26、如上所提及，训练系统可以训练机器学习模型以执行机器学习任务，例如通过实施以上提及的任何方法。机器学习模型可以是任何适当类型的机器学习模型。例如，机器学习模型可以是神经网络模型、随机森林模型、支持向量机模型或其任何组合，或任何其他类型的机器学习模型。

27、机器学习模型可以具有任何适当的机器学习模型架构。例如，如果机器学习模型是神经网络模型，则神经网络模型可以具有基于注意力的神经网络架构（例如，transformer架构）、卷积架构、全连接架构或任何其他适当的神经网络架构。具体而言，神经网络模型可以包括以任何适当数量（例如，10层、100层或1000层）并以任何适当配置（例如，作为层的线性序列或层的有向图）连接的任何适当类型的神经网络层（例如，卷积层、注意力层、全连接层、循环层等）。

28、贯穿本说明书，机器学习模型的“模型大小”可以指实现机器学习模型所需的（可训练）参数的数量，诸如权重、偏差、矩阵元素等。

29、贯穿本说明书，“计算预算”表征为训练机器学习模型以执行机器学习任务而分配的计算资源量。计算预算可以用浮点运算（flops）来度量，即可用于训练机器学习模型的总运算次数。注意，用小写字母“s”表示的flops不要与用大写字母“s”表示的和可以与由特定计算硬件执行的运算速率相对应的每秒浮点运算次数（flops）相混淆。在一些情况下，flops可以通过flops乘以总计算时间来确定为flops = flops × 时间。

30、在一些实施方式中，该方法用于将机器学习模型适配到特定计算硬件。在这样的情况下，机器学习模型包括神经网络模型，并且特定计算硬件包括多个神经网络加速器。神经网络加速器是用于加速神经网络计算的专用硬件，诸如gpu（图形处理单元）或tpu（张量处理单元）。通常，神经网络加速器被配置为执行硬件矩阵乘法，例如使用并行计算（例如，它可以包括一组一个或多个乘法累加单元（mac））。

31、该方法可以包括确定用于训练机器学习模型的能量预算，其中能量预算定义用于训练机器学习模型的浮点运算的总可用数量。能量预算可以根据训练的目标碳足迹来确定。计算预算可以根据能量预算来确定。取决于能量预算如何被表达，例如取决于其被表达的单位，能量预算和计算预算两者都可以被定义为浮点运算（flops）的总可用数量。可替代地，计算预算可以根据计算硬件的已知（例如，平均）能量使用量从以电能表达的能量预算中确定。在一些实施方式中，训练期间执行的大多数（例如，几乎所有）浮点运算（flops）由神经网络加速器执行，并且因此能量预算可以根据此假设被近似，例如，使用神经网络加速器之一上的浮点运算的能量消耗来确定计算预算。

32、该方法可用于确定要在其上训练机器学习模型的特定计算硬件的硬件规格——该硬件规格定义了特定计算硬件中包括的神经网络加速器的数量。然后，该方法用于确定机器学习模型的目标模型大小，该目标模型大小定义了机器学习模型的可训练参数的数量。该方法还用于确定用于训练机器学习模型的训练数据的目标量，该训练数据的目标量定义了训练数据项的数量，特别是用于训练模型的训练词元的数量。如后面所述，这样的训练词元表示训练数据项，诸如表示词或词片的文本词元，或表示静止或移动图像的像素强度值的视觉词元，例如，用于图像的区域。该方法使用定义数量的训练词元在特定计算硬件上训练机器学习模型，即具有定义数量的可训练参数的神经网络。已经发现，对于给定的能量和计算预算，许多神经网络模型都太大，并且利用太少的词元被训练，这指示一些先前持有的关于机器学习模型的假设是不正确的。也就是说，已经发现增加模型大小的总体趋势会产生实际上表现不佳的模型，并且令人惊讶的是，已经发现将模型约束以拟合在特定的硬件约束内，并应用本文所述的技术，可以产生比迄今为止预期更好的性能。支持所述技术的一些结果将在后面呈现。

33、用于本文所述技术的机器学习模型可以被配置为执行任何适当的机器学习任务。

34、特别地，机器学习模型可以被配置为处理任何适当的模型输入，例如包括以下中的一个或多个：图像、音频波形、点云（例如，由激光雷达或雷达传感器生成）、蛋白质的表示、分子的表示、词序列（例如，形成一个或多个句子或段落）、视频（例如，表示视频帧序列）或其组合。

35、机器学习模型可以被配置为生成表征模型输入的任何模型输出。例如，模型输出可以是分类输出、回归输出、序列输出（即，其包括输出元素序列）、分割输出或其组合。

36、接下来更详细地描述可以由机器学习模型执行的机器学习任务的一些示例。

37、在一些实施方式中，机器学习模型被配置为处理表示图像像素的模型输入以生成分类输出，该分类输出包括可能的对象类别集合（例如，车辆、行人、自行车等）中每个对象类别的相应得分。对象类别的得分可以定义图像描绘属于该对象类别的对象的可能性。

38、在一些实施方式中，机器学习模型被配置为处理表示音频波形中的音频样本的模型输入以执行语音识别，即生成定义与音频波形相对应的音素、字素、字符或词序列的输出。

39、在一些实施方式中，机器学习模型被配置为处理表示词序列中的词的模型输入以执行自然语言处理任务，例如，主题分类或总结。为了执行主题分类，机器学习模型生成输出，该输出包括可能的类别类别（例如，体育、商业、科学等）集合中每个主题类别的相应得分。主题类别的得分可以定义词序列属于该主题类别的可能性。为了执行摘要，机器学习模型生成输出，该输出包括输出词序列，该输出词序列具有比输入词序列更短的长度，并且其从输入词序列中捕获重要或相关的信息。

40、在一些实施方式中，机器学习模型执行机器翻译任务，例如通过处理表示文本序列——诸如以一种语言的词、短语、字符或词片的序列——的模型输入，以生成输出，该输出可以是文本序列到另一种语言的翻译，即，是输入文本序列的翻译的以另一种语言的文本序列。作为特定示例，该任务可以是多语言机器翻译任务，其中机器学习模型被配置为在多个不同的源语言-目标语言对之间进行翻译。在该示例中，源语言文本可以用标识符来增强，该标识符指示机器学习模型应将源语言文本翻译成的目标语言。

41、在一些实施方式中，机器学习模型被配置为执行音频处理任务。例如，如果模型输入表示口头话语，则由机器学习模型生成的输出可以是文本片集合中的每一个的得分，每个得分表示该文本片是该话语的正确转录的估计可能性。作为另一个示例，如果模型输入表示口头话语，则由机器学习模型生成的输出可以指示该话语中是否说出了特定的词或短语（“热词”）。作为另一个示例，如果模型输入表示口头话语，则由机器学习模型生成的输出可以识别说出该话语的自然语言。

42、在一些实施方式中，机器学习模型被配置为执行自然语言处理或理解任务，例如蕴涵任务、释义任务、文本相似性任务、情感任务、句子完成任务、语法任务等，其对表示以某种自然语言的文本的模型输入集合进行操作。

43、在一些实施方式中，机器学习模型被配置为执行文本到语音任务，其中模型输入表示以自然语言的文本或以自然语言的文本的特征，并且模型输出是频谱图、波形或定义以自然语言说出的文本的音频的其他数据。

44、在一些实施方式中，机器学习模型被配置为执行文本生成任务，其中模型输入表示文本序列，并且输出是另一个文本序列，例如，输入文本序列的完成、对输入序列中提出的问题的响应或关于由第一文本序列指定的主题的文本序列。作为另一个示例，模型输入可以表示除文本之外的数据，例如图像，并且输出序列可以是描述由模型输入表示的数据的文本。

45、在一些实施方式中，机器学习模型被配置为执行图像生成任务，其中模型输入表示条件输入，并且输出是图像像素的强度值输入序列。

46、在一些实施方式中，机器学习模型被配置为执行智能体控制任务，其中模型输入表示一个或多个观察的序列或表征环境状态的其他数据，并且输出定义由智能体响应于序列中的最新数据而要执行的动作。智能体可以是在真实环境中行动以执行任务的机械智能体；观察可以包括任何类型的观察，例如图像观察；模型输出可以包括控制信号以控制智能体执行任务。可选地，模型输入可以包括其他信息，例如定义要执行的任务的文本的文本词元。智能体可以是真实世界或模拟机器人、工业设施的控制系统或控制不同类型智能体的控制系统。

47、在一些实施方式中，机器学习模型被配置为执行基因组学任务，其中模型输入表示dna序列或其他分子序列的片段，并且输出包括例如启动子位点预测、甲基化分析、非代码化变体的功能效应预测等。

48、在一些实施方式中，机器学习模型被配置为执行蛋白质建模任务，例如，其中模型输入表示蛋白质，并且模型输出表征该蛋白质。例如，模型输出可以表征蛋白质的预测稳定性或蛋白质的预测结构。

49、在一些实施方式中，机器学习模型被配置为执行点云处理任务，例如，其中模型输入表示点云（例如，由激光雷达或雷达传感器生成），并且模型输出表征例如由点云表示的对象类型。

50、在一些实施方式中，机器学习模型被配置为执行语言建模任务，例如，通过自回归地生成文本数据的输出序列。更具体地，机器学习模型可以被配置为生成输出文本词元的序列（其中文本词元可以包括例如字符、词片、词、n-gram等）。机器学习模型可以在时间步序列上生成文本词元的输出序列。在每个时间步处，机器学习模型可以在输出文本词元的序列中的相应位置处生成输出词元。机器学习模型可以根据针对输出序列中一个或多个先前位置中的每一个处生成的文本词元来条件化输出序列中某个位置处的文本词元的生成。例如，为了在文本词元的输出序列中某个位置处生成文本词元，机器学习模型可以处理包括针对文本词元的输出序列中一个或多个先前位置生成的文本词元的数据，以生成可能的文本词元的集合的得分分布。然后，机器学习模型可以使用得分分布选择该位置的词元，例如，通过选择在得分分布下具有最高得分的词元。

51、可选地，可以使用一个或多个条件输入来条件化被配置为执行语言建模任务的机器学习模型。例如，机器学习模型可以在问题上被条件化，并且机器学习模型可以自回归地生成提供该问题答案的文本数据的输出序列。作为另一个示例，机器学习模型可以以任务和编程语言为条件，并且机器学习模型可以自回归地生成文本数据的输出序列，该文本数据定义以编程语言的指令以完成该任务。作为另一个示例，机器学习模型可以在例如文本指令的输入指令的集合上被条件化，并且机器学习模型可以自回归地生成响应于该输入指令集合的文本数据的输出序列。

52、在一些情况下，被配置为执行语言建模任务的机器学习模型可以被实现为神经网络模型。神经网络模型可以包括注意神经网络层，例如，自注意力神经网络层、交叉注意力神经网络层或两者。

53、在一些实施方式中，机器学习模型被配置为执行多个单独的机器学习任务的组合，例如以上提及的机器学习任务中的两个或更多个。例如，机器学习模型可以被配置为执行多个单独的自然语言理解任务，其中由机器学习模型处理的模型输入包括要对模型输入执行的单独的自然语言理解任务的标识符。

54、作为特定示例，机器学习模型可以包括多模态模型，其中模型输入和模型输出中的一个或两者包括图像或音频。例如，多模态机器学习模型可以被配置为处理模型输入，该模型输入包括表示静止或移动图像（例如，点云图像）的像素的视觉词元和/或表示音频波形的数据（例如，音频波形的值或特征，诸如音频词元和/或表示文本序列的文本词元）以生成模型输出（例如，表示静止或移动图像或音频波形的文本词元和/或图像像素的强度值输入的序列或定义音频波形的值的序列）。视觉词元可以表示图像区域中的多个像素，例如作为该区域的特征。这样的多模态模型可以使用多模态输入、或通过提供多模态输出、或通过在不同的输入和输出模式（例如，文本/图像/音频）之间进行转换来执行任何先前描述的任务。例如，多模态模型可以生成表示、描述（例如，配字幕）或以其他方式表征图像或音频输入的文本，例如，通过回答与图像或音频输入相关的问题，诸如对由图像或音频所表示的对象的状态的物理预测。作为另一个示例，多模态模型可以生成由文本输入表示、描述或以其他方式表征的图像或音频，或者以其他方式响应文本输入，例如，表示对文本问题的图像或音频答案。

55、贯穿本说明书，术语“优化”可以指预测优化或近似优化，即，而不是精确优化。

56、贯穿本说明书，机器学习模型在机器学习任务上的“性能度量”可以指机器学习模型执行机器学习任务的有效程度的度量。例如，本说明书中描述的系统可以使用损失或目标函数来度量机器学习模型的性能，例如，其表征机器学习模型的预测准确性。也就是说，性能度量可以被表示为用于训练机器学习模型的损失或目标函数的值。该系统可以度量机器学习模型的性能，例如，在用于训练机器学习模型的训练数据集合上，或者在从机器学习模型的训练中保留的验证数据集合上，即，使机器学习模型不在该验证数据集合上被训练。损失/目标函数的示例可以包括，例如，交叉熵目标函数、平方误差目标函数等。

57、例如，确定给定计算预算的最优模型大小和训练数据的最优量可以涉及确定优化性能度量的每个的优化，例如，优化用于训练机器学习模型的目标函数的值或最小化用于训练机器学习模型的损失函数的值。

58、本说明书中描述的主题可以在特定实施例中实施，以实现以下优点中的一个或多个优点。

59、本说明书中描述的训练系统在受计算预算的制约的情况下，训练机器学习模型以执行机器学习任务，该计算预算为训练机器学习模型分配有限量的计算资源（例如，flops）。在受计算预算的制约的情况下训练机器学习模型涉及以下两者之间的权衡：（i）机器学习模型的模型大小，和（ii）用于训练机器学习模型的训练数据量。例如，增加机器学习模型的模型大小可能需要减少可用于训练机器学习模型的训练数据量，即确保训练期间消耗的计算资源不超过计算预算。确切地说，用于训练机器学习模型的训练数据量通常是指机器学习模型在训练期间看到的训练数据量，而不一定是训练系统可支配的训练数据总量。例如，如果特定机器学习模型和/或特定机器学习任务可用的训练数据量有限，训练系统可以从可用的训练数据中多次采样（如有必要）。在该情况下，用于训练机器学习模型的训练数据量可能包括相同数据的多个实例（例如，词元）。

60、训练系统使用分配映射来确定机器学习模型的模型大小与用于训练机器学习模型的训练数据量之间的权衡。具体而言，分配映射处理定义计算预算的数据以生成定义目标模型大小和训练数据的目标量的数据，这些数据被预测为在受到由计算预算定义的约束下优化机器学习模型的性能。也就是说，训练系统使用分配映射来确定模型大小和训练数据之间的计算资源分配，以便优化机器学习模型的性能（例如，预测准确性）。

61、试验系统可以通过训练一系列试验机器学习模型、改变模型大小、用于训练的训练数据量以及由计算预算指定的可用计算资源来确定分配映射的映射参数，以确定各种试验机器学习模型的经验数据。然后，优化系统可以使用表征机器学习模型跨模型大小、训练数据量和计算预算的性能的结果数据来拟合分配映射的参数。例如，优化系统可以将数据内插（以及外推）到不同的计算预算，同时确定计算预算的最优模型大小和训练数据的最优量。在确定分配映射的参数之后，训练系统随后可以使用分配映射来确定每次训练系统训练机器学习模型以执行机器学习任务时模型大小和训练数据量之间的最优权衡。

62、通过在模型大小和训练数据量之间最优地分配计算资源，训练系统可以显著提高训练期间计算资源的使用效率。例如，训练系统可以降低因过度训练机器学习模型——即，通过在超出机器学习模型性能无法实现进一步增益的点的训练数据集合上训练机器学习模型——而浪费计算资源的可能性。作为另一个示例，训练系统可以为机器学习模型选择比原本选择的模型大小（对于相同的训练数据集合）显著更小的模型大小，从而减少在微调和下游使用训练后的机器学习模型期间对计算资源的使用。

63、本说明书主题的一个或多个实施例的细节在附图和以下描述中阐述。主题的其他特征、方面和优点将从描述、附图和权利要求中变得显而易见。