将深度强化学习用于制造系统处的时间约束管理的制作方法

本公开内容涉及用于将深度强化学习用于制造系统处的时间约束管理的方法和机构。

背景技术：

1、在基板成为成品(如晶片、电子设备等)之前，基板可以依据一组操作进行处理，其中每个操作都在制造系统的一个工具处执行。在某些情况下，一个或多个操作可以经受时间约束。时间约束指的是在完成一个操作后，要完成后续操作的特定时间量。例如，可以依据第一操作和第二操作来处理基板，在第一操作中，将第一材料沉积在基板的表面上，在第二操作中，将第二材料沉积在第一材料上。第一操作和第二操作可以经受时间约束，其中第二材料要在特定的时间量内沉积在第一材料上，否则第一材料可能开始降解，基板不能用于生产成品(即变得不可用)。时间约束窗口指的是完成引起时间约束的操作(称为启动操作)的特定时间量，以及启动操作完成后要完成后续操作(称为完成操作)的时间量。在一些情况下，可以在启动操作与完成操作之间执行一个或多个操作。

2、在大多数情况下，当基板到达工具时，不能对基板开始操作，因为工具可能正在处理其他基板。因此，制造系统的操作员(例如，工业工程师、工艺工程师、系统工程师等)将操作排定在特定时间运行，以满足与操作相关联的时间约束。例如，操作员可以推迟对基板进行的操作，直到每个被设定为执行与时间约束相关联的操作的工具有容量(capacity)在时间约束窗口内执行操作。

3、在某些情况下，第一时间约束窗口的完成操作也可以是第二时间约束窗口的启动操作。在这种情况下，制造系统的操作员可以排定第一时间约束窗口的启动操作在特定的时间开始，以满足第一时间约束窗口的第一时间约束和第二时间约束窗口的第二时间约束。在其他情况下，一个操作可以是第一时间约束窗口和第二时间约束窗口两者的完成操作。在这种情况下，操作员可以排定第一时间约束窗口和第二时间约束窗口的启动操作在特定的时间开始，以满足第一时间约束窗口的第一时间约束和第二时间约束窗口的第二时间约束。

4、随着制造系统变得越来越复杂，经受时间约束的操作也越来越多。为了排定基板在启动操作开始，操作员(例如使用计算系统)要考虑所有可能由启动操作引起的时间约束。为了考虑到所有可能由启动操作引起的时间约束，操作员要考虑到可以执行启动操作、完成操作以及两者之间的每个操作的每个工具的容量。在某些情况下，包括启动操作的时间约束窗口可以对应于相当长的时间(例如，6小时、8小时、12小时、24小时等)。操作员可能难以考虑到未来相当长一段时间内的每个时间约束和制造系统的每个工具的容量。对于一些计算系统来说，这种考虑可以被归类为np-hard(非确定性多项式时间困难(non-deterministic polynomial-time hard))问题。因此，操作员可能无法成功地排定基板在一组操作的每个启动操作开始使得每个时间约束都得到满足。因此，基板可能违反一组操作的时间约束，变得不可用。每一个变得不可用的基板都可能会降低整体系统产量，并导致整体系统延迟的增加。

技术实现思路

1、以下是本公开内容的简化概要，以提供对本公开内容的一些方面的基本理解。这个概要并不是对本公开内容的广泛概述。它并不旨在识别本公开内容的关键或重要元素，也不旨在划定本公开内容的特定实施方式的任何范围或权利要求的任何范围。它的唯一目的是以简化的形式呈现本公开内容的一些概念以作为后面呈现的更详细描述的前奏。

2、在本公开内容的一个方面中，提供了一种用于训练软件代理器的方法。所述方法包括：初始化软件代理器，以选择一个动作在与制造系统相关联的仿真环境中执行；以及在所述仿真环境中启动对所选的所述动作的仿真。响应于暂停所述仿真，所述方法进一步包括：基于与所述仿真相关联的环境状态，获得输出数据；以及基于所述输出数据，将所述软件代理器更新为配置为产生一个或多个调度决策，所述一个或多个调度决策表明在所述制造系统中启动对一个或多个基板的处理的时间。

3、在本公开内容的另一个方面中，提供了一种用于制造系统处的时间约束管理的方法。所述方法包括：接收启动要在制造系统处在候选的一组基板上运行的一组操作的请求，其中所述组操作包括一个或多个操作，每个操作具有一个或多个时间约束。所述方法进一步包括：获得与所述制造系统的当前状态有关的当前数据；以及将软件代理器应用于所述当前数据，以确定处理候选的所述组基板的时间。所述方法进一步包括：在所确定的所述时间在候选的所述组基板上启动所述组操作。

4、本公开内容的另一个方面包括一种电子设备制造系统，所述电子设备制造系统包括存储器设备和处理设备，所述处理设备可操作地与所述存储器设备耦合，以依据本文所述的任何方面或实施方式执行操作。

5、本公开内容的另一个方面包括一种包括指令的非暂时性计算机可读取储存媒体，所述指令当由可操作地与存储器耦合的处理设备执行时，依据本文所述的任何方面或实施方式执行操作。

1.一种方法，包括：

2.如权利要求1所述的方法，所述方法进一步包括：

3.如权利要求1所述的方法，所述方法进一步包括：

4.如权利要求1所述的方法，其中所述代理器包括深度强化学习模型。

5.如权利要求1所述的方法，所述方法进一步包括：

6.如权利要求1所述的方法，其中所述输出数据包括环境状态数据和报酬数据，其中所述环境状态数据包括制造装备性质、制造装备观察、队列时间观察或容量观察中的至少一者。

7.如权利要求1所述的方法，其中所述动作包括对以下至少一项的决策：启动对一个或多个基板的处理，不启动对所述一个或多个基板的处理，或启动对所述一个或多个基板的子集的处理。

8.一种电子设备制造系统，包括：

9.如权利要求8所述的电子设备制造系统，其中所述操作进一步包括：

10.如权利要求8所述的电子设备制造系统，其中所述操作进一步包括：

11.如权利要求8所述的电子设备制造系统，其中所述代理器包括深度强化学习模型。

12.如权利要求8所述的电子设备制造系统，其中所述操作进一步包括：

13.如权利要求8所述的电子设备制造系统，其中所述输出数据包括环境状态数据和报酬数据，其中所述环境状态数据包括制造装备性质、制造装备观察、队列时间观察或容量观察中的至少一者。

14.如权利要求8所述的电子设备制造系统，其中所述动作包括对以下至少一项的决策：启动对一个或多个基板的处理，不启动对所述一个或多个基板的处理，或启动对所述一个或多个基板的子集的处理。

15.一种方法，包括：

16.如权利要求15所述的方法，其中训练所述代理器的步骤包括：

17.如权利要求15所述的方法，其中所述代理器包括深度强化学习模型。

18.如权利要求15所述的方法，其中所述输出数据包括环境状态数据和报酬数据。

19.如权利要求18所述的方法，其中所述环境状态数据包括制造装备性质、制造装备观察、队列时间观察或容量观察中的至少一者。

20.如权利要求15所述的方法，其中所述动作包括对以下至少一项的决策：启动对一个或多个基板的处理，不启动对所述一个或多个基板的处理，或启动对所述一个或多个基板的子集的处理。