针对病理AI服务的集成管理系统、方法及其应用与流程

本发明涉及信息系统、病理ai以及资源调度，特别是一种涉及针对病理ai服务的集成管理系统、方法及其应用。

背景技术：

1、随着人工智能技术在医疗领域的应用，基于人工智能的辅助诊断技术逐渐兴起。通过容器化技术部署ai服务能够实现一定程度的资源隔离和管理。在ai服务过程中，一般包括数据前处理、模型推理和结果后处理三个阶段。

2、对于病理ai而言，其前处理主要是将整张病理图像切分成子图，而后处理是将结果合并。然而，病理ai与普通ai服务存在差异。病理ai的输入图像尺寸较大，在高分辨率下尺寸可达数十万像素乘数十万像素，会被视为过万张子图，这导致前后处理时间较长。并且同一张病理图像可能会输入到不同ai服务中。

3、普通的ai服务容器部署方式存在诸多弊端。一方面，普通的ai服务容器部署会将数据前后处理和模型推理共同部署于容器中并分配资源。这种方式需要分配固定的资源保证三个步骤能连续进行，由于病理ai前后处理时间长，该方式降低了系统资源的利用效率。另一方面，存在不同ai服务推理一张病理图像的情况，这会导致重复进行前处理。

4、此外，在病理图像应用场景中，除了有服务器可以用于部署ai服务，病理切片扫描仪所搭配的主机同样可以用于ai部署。对于这种情况，普通ai部署方式难以高效地分配任务给具有不同硬件资源的设备。

5、综上所述，现有技术在病理ai服务的集成管理方面存在不足，无法满足对系统资源高效利用以及合理分配任务的需求，因此需要一种针对病理ai服务的集成管理系统来解决这些问题。

技术实现思路

1、本发明实施例提供了一种针对病理ai服务的集成管理系统、方法及其应用，针对目前技术存在的资源利用效率低和任务分配困难的缺陷，包括资源分配不合理、重复前处理及难以适配不同硬件设备等问题。

2、本发明核心技术主要是一种针对病理ai服务的集成管理系统及方法，通过通讯、任务调度、资源监控和容器管理等模块，对病理ai服务请求及多设备多容器资源进行监控管理，采用特定的子图划分、任务分配、资源分配及容器控制逻辑，提高资源利用率和系统响应速度。

3、第一方面，本发明提供了一种针对病理ai服务的集成管理方法，所述方法包括以下步骤：

4、客户端向外部通讯模块提出请求，外部通讯模块根据情况接收或拒绝请求，若接收则通知客户端传输数据到指定设备；

5、任务调度模块根据系统资源情况和请求类型创建任务并分配给不同设备，前后处理任务分配给指定设备的数据处理容器，ai推理任务分配给对应设备；其中，请求类型包括实时/非实时、单服务/多服务、偏处理/偏推理；同时记录客户端发送的请求信息，过滤重复请求；前处理为将病理图像切块，后处理为结果合并；

6、内部通讯模块将子图划分并传输给任务调度模块选择的设备；

7、容器管理模块控制容器的开启、终止和资源释放；

8、资源监控模块监控硬件资源和容器情况，根据策略给容器分配资源。

9、进一步地，客户端发起请求信息包括ip、请求编号i、预约序号、优先级、服务类型以及图像大小；外部通讯模块响应于客户端的请求，通过任务调度模块，根据优先级和系统内存情况回应客户端；

10、若内存足够，则通知客户端开始传输数据到指定设备；

11、若内存不足，对于优先级中的实时请求，客户端等待设定秒后改预约序号再次请求，仍不足则由资源监控模块计算并分配相关时间再次请求；对于优先级中的非实时请求第一次等待后设定分钟第二次请求，仍等待则双倍设定分钟后进行第三次请求，第三次无内存则记录信息，当实时任务占比设定百分比时按预约时间处理创建非实时任务。

12、进一步地，子图划分的具体步骤为：

13、将原始病理图像切成w乘h个子图，分发的设备数量为n，其中w＞h；

14、先将子图按每n个h划分成多个区域，并在每个区域内划分子图，当不足n列时则将剩余的划分成一个区域；

15、分发到不同设备的集合中的子图数量由任务调度模块计算得到，计算每个集合中子图占全部子图的比例，在各个区域内将子图分配给不同集合；

16、第一个区域按子图数量占比从少到多排序，记为{a1,a2...an}，按比例连续分配子图给对应集合，多余的平均分配给子图数量最少集合，不同列时连续定义为前一列的最后子图和后一列的最前子图相连，每到下一个区域，将排序中第一个移到最后进行分配。

17、进一步地，容器管理模块的控制逻辑包括：

18、容器开启首先考虑是否为实时任务；

19、对于开启新容器用于给实时任务时，若容器已开启了处理实时任务的其他容器，将已开启容器的部分资源分给新开启的容器；若设备内的其他容器处理的是非实时任务，则在其他容器处理完当前任务后停止并释放专用资源，然后将剩余资源都分配给新开启的容器；

20、系统开启新容器给非实时任务时，设备内不会有处理实时任务的容器，将资源平均分配给所有容器。

21、进一步地，容器管理模块的控制逻辑还包括：

22、在同一设备内，当某个容器处理完成所有实时任务时，将专用显存释放给其他处理实时任务的容器；

23、当所有实时任务都处理完成，则将显存资源平均分配给还有非实时任务的容器；

24、当容器有多分钟空闲时，释放该容器的所有资源并关闭容器。

25、进一步地，资源监控模块的控制逻辑包括：

26、跟踪所有设备上的所有ai服务容器，记录各个设备的容器数量、各容器使用的资源量以及ai服务容器的运行情况；

27、针对病理ai，分别管理内存资源和显存资源；对于内存，一个设备固定开启一个数据处理容器且不会终止；对于显存，分为固定显存、专用显存和共享显存。

28、进一步地，资源监控模块的控制逻辑还包括：

29、预测并调整专用显存，根据前一批次显存情况预测下一次推理显存的情况，调整专用显存大小。

30、第二方面，本发明提供了一种针对病理ai服务的集成管理系统，包括：

31、通讯模块，包括外部通讯模块和内部通讯模块；外部通讯模块用于建立客户端与系统交流，告知数据传输目标设备，传输受内存影响，根据任务优先级和内存情况回应客户端；内部通讯模块负责控制数据跨设备传输，将同一张病理图像的子图均衡划分到不同集合并传输；

32、任务调度模块，根据系统资源情况和请求类型创建任务并分配给不同设备，前后处理任务分配给指定设备的数据处理容器，ai推理任务分配给对应设备；其中，请求类型包括实时/非实时、单服务/多服务、偏处理/偏推理；同时记录客户端发送的请求信息，过滤重复请求；前处理为将病理图像切块，后处理为结果合并；

33、资源监控模块，监控硬件资源和容器情况，根据策略给容器分配资源；

34、容器管理模块，容器管理模块控制容器的开启、终止和资源释放。

35、第三方面，本发明提供了一种电子装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行上述的针对病理ai服务的集成管理方法。

36、第四方面，本发明提供了一种可读存储介质，可读存储介质中存储有计算机程序，计算机程序包括用于控制过程以执行过程的程序代码，过程包括根据上述的针对病理ai服务的集成管理方法。

37、本发明的主要贡献和创新点如下：

38、一、资源利用方面

39、（1）提高系统资源利用效率

40、现有技术将数据前后处理和模型推理共同部署于容器中并分配固定资源，因病理ai前后处理时间长，导致资源利用效率低。本发明将病理图像数据的前后处理和模型推理分开，且数据前后处理部署于同一容器中，能根据资源情况和请求类型灵活分配资源，提高了系统资源的利用效率。

41、（2）减少硬件资源占用

42、本发明能监控所有容器、硬件资源和任务请求，根据资源情况和请求类型选择实时分配策略，控制容器资源的申请释放和任务优先级分配，有效减少了空闲ai服务对硬件资源的占用。

43、二、任务处理方面

44、（1）避免重复前处理

45、现有技术在不同ai服务推理一张病理图像时会重复进行前处理。本发明统一进行病理图像前处理，然后根据资源情况、请求类型及分配策略来开启容器并分发任务，避免了重复前处理。

46、（2）高效分配任务

47、对于病理图像应用场景中不同硬件资源的设备（如服务器和病理切片扫描仪所搭配的主机），现有技术难以高效分配任务。本发明的任务调度模块和容器管理模块可根据系统资源情况和请求类型合理分配任务到不同设备，提高了任务分配的效率。

48、三、系统性能方面

49、（1）提高系统响应速度

50、通过上述资源利用和任务处理方面的优化，本发明能够提高系统的响应速度，更好地满足病理ai服务的需求。

51、本发明的一个或多个实施例的细节在以下附图和描述中提出，以使本发明的其他特征、目的和优点更加简明易懂。