一种面向数字孪生的混合业务确定性传输调度方法

本发明涉及铁路运维，尤其涉及一种面向数字孪生的混合业务确定性传输调度方法。

背景技术：

1、近年来，大数据和人工智能等技术蓬勃发展，逐渐成为研究热点并应用于铁路智能运维等，这些场景中的数据往往比较精密，需要高效可靠的传输，而传统的“尽力而为”网络难以满足多种业务对低时延、高可靠和差异性服务的需求。在此背景下，确定性调度技术被提出，确定性调度技术的关键在于实现确定性时延和抖动。

2、然而，目前已有的研究都着眼于实体网络的传输调度，一方面算法缺乏对实时变化的感知，事实上，实际网络中的通信环境是非平稳的，预先训练的调度策略无法确保服务质量(quality of service，qos)的要求；另一方面铁路运维中的业务流对传输要求严，直接在物理世界中应用传输调度方法可能会导致效率低下，甚至引起严重的网络震荡。而数字孪生技术作为一种高效的解决方案，通过物理世界与虚拟世界的相互映射，在虚拟空间观测对等体就可以高精度反映并预测现实空间实体的状态，被广泛应用于制造业。

3、数字孪生技术也为铁路运维智能化发展提供了新的契机，在铁路站点等各层面广泛部署物联网感知设备，实现铁路运维要素数字化，通过物联网、通信网及承载网的数据传输与处理形成与实体铁路“孪生”的数字铁路，基于孪生体做出可靠决策并应用得到qos保证后再同步决策到实体，就能实现结构监测智能化及管理决策智能化。

技术实现思路

1、本发明的实施例提供了一种面向数字孪生的混合业务确定性传输调度方法，以实现有效地提高混合业务端到端的传输收益。

2、为了实现上述目的，本发明采取了如下技术方案。

3、一种面向数字孪生的混合业务确定性传输调度方法，包括：

4、构建虚实映射的时效性网络tsn+确定性网际互连协议dip的网络架构的网络场景；

5、基于所述虚实映射的tsn+dip的网络架构，提出数字孪生架构下的确定性调度模型和业务流模型；

6、基于所述数字孪生架构下的确定性调度模型和业务流模型，将构建铁路运维场景中的混合业务流跨域问题转化为约束问题；

7、基于所述约束问题，将业务流端到端确定性调度过程建模为马尔可夫决策过程；

8、基于上述马尔可夫决策过程，提出基于决斗双深度q网络d3qn的在线混合业务流端到端传输调度方法，得到最优的混合业务资源分配部署结果。

9、优选地，所述的构建虚实映射的时效性网络tsn+确定性网际互连协议dip的网络架构的网络场景，包括：

10、设置实体网络由源端tsn1、dip域和对端tsn2域组成，tsn域中的交换机运行循环排队转发cqf机制，dip域运行循环特定排队转发csqf机制，tsn域中实现时间同步，dip域中实现频率同步；

11、cqf与csqf机制均将时间划分为多个等长时隙，将整个网络抽象为有向连通图g＝{v,e}，其中v为网络节点集合，e＝{e|e＝(vi,vj),i≠j}为由节点构成的链路集合，节点vi,vj分别为e的源端点和末端点，在链路e上的时延为de，时延de包含上游节点处的处理时延和排队时延；

12、虚拟空间由物理空间映射而得，通过从物理空间部署的各种传感器获取数据构建刻画地理位置的数据接入侧、核心网络以及数据分析侧，确定tsn网络与dip网络的拓扑结构。

13、优选地，所述的基于所述虚实映射的tsn+dip的网络架构，提出数字孪生架构下的确定性调度模型和业务流模型，包括：

14、设置数字孪生架构下的确定性调度模型包括：业务流由源端tsn1域跨dip域传输到对端tsn2域，业务流的传输路径为p＝{v0,v1,...,vp}，其中节点集合(v0,v1,...,va)位于tsn1域内，传输路径中位于dip域内的节点集合为(va+1,va+2,...,vb)，传输路径中位于tsn2域内的节点集合为(vb+1,vb+2,...,vp)，定义超周期hp源端tsn1和对端tsn2的传输周期分别为ttsn1和ttsn2，dip的传输周期为tdip，映射关系为:

15、thp＝ttsn1ntsn1＝ttsn2ntsn2＝tdipndip

16、其中，ntsn1、ntsn2、ndip为一个超周期内不同域节点转发的周期个数；

17、在tsn域内，运行cqf机制同步入队和出队，预留两个队列，在dip域内，采用csqf机制进行宏观调度，业务流调度由tsn1域传输、tsn1-dip跨域映射、dip域传输、dip-tsn2跨域映射和tsn2域传输构成；

18、设置数字孪生架构下的业务流模型包括：f＝{f1,f2,...,f|f|}为业务流集合，源站发出的每条业务流fi由五元组定义，分别为业务流的传输起点和终点，为该业务流包含的数据大小，为该业务流的最大端到端时延，为调度成功的收益；

19、将业务流大体划分为对时延敏感的控制与执行业务流、对带宽要求相对较高的监控与数据采集流和用于数据分析与业务优化的业务，分别对应于tsn中的时间触发tt流、音视频桥接avb流和be流，以传输成功的收益值来区别各个业务流的重要性：

20、

21、优选地，所述的基于所述数字孪生架构下的确定性调度模型和业务流模型，将构建铁路运维场景中的混合业务流跨域问题转化为约束问题，包括：

22、基于所述数字孪生架构下的确定性调度模型和业务流模型，将构建铁路运维场景中的混合业务流跨域问题转化为约束问题，所述约束问题包括：

23、1：时延约束：

24、业务流fi跨域传输的总时延为分别为三个域内传输时延，为跨域传输时延；

25、在tsn1域，业务流fi从到达v0到离开va的时延为

26、tsn1-dip跨域传输时，业务流fi从离开va到离开va+1的时延为：

27、

28、在dip域，业务流fi从离开va+1到离开vb的时延为：

29、

30、dip-tsn2跨域传输时，业务流fi从离开vb到离开vb+1的时延为：

31、

32、在tsn2域，业务流fi从离开vb到离开的时延为

33、对业务流fi的端到端时延约束有

34、2：队列容量约束：节点队列的缓存容量决定了所能传输的业务流上限，为同一周期被调度至节点vj的业务流，为节点vj单个队列的缓存容量，当节点vj∈tsn域时，m∈{1,2}；当节点vj∈dip域时，m∈{1,2,3,4}；

35、3：目标函数：maxf＝α*|p|+β/d

36、其中，α+β＝1，|p|为调度成功的时间敏感流数量，d为总传输时延。

37、优选地，所述的基于所述约束问题，将业务流端到端确定性调度过程建模为马尔可夫决策过程，包括：

38、由各个网络节点队列剩余缓存容量以及业务流传输需求组成状态空间，该状态空间包括：各个网络节点队列的剩余缓存容量及业务流的传输要求其中表示为：

39、

40、其中，表示节点vi的队列j剩余的缓存容量。

41、由路径和队列组成的动作空间：该动作空间由(路径，队列)二维元组刻画，智能体以动作向量at指导业务流传输，在传输的开始，提取业务流的传输起点和终点，得到该业务流所有可选传输路径，pi∈pathi为业务流fi的所有可选传输路径，为节点vi的队列序号。

42、设置考虑传输时延比的奖励函数为：

43、

44、优选地，所述的基于上述马尔可夫决策过程，提出基于d3qn的在线混合业务流端到端传输调度方法，得到最优的混合业务资源分配部署结果，包括：

45、初始化d3qn算法参数：初始化控制器的参数，包括经验回放池d大小n，初始化当前q网络参数θ和目标q网络参数θ′，初始探索率εini，最终探索率εfin，单次采取样本数m，同步轮次l；

46、智能体进行动作探索：根据当前策略和探索机制进行动作选择x∈[0,1)为每步生成的随机变量；

47、智能体执行动作at，获得实时奖励rt和新的环境状态st+1，dt代表本次探索是否接受；

48、经验回放机制：将五元组(st,at,rt,st+1,dt)存入回放记忆库中，并对系统状态进行更新：st←st+1，如果记忆库满就丢弃旧元组，从记忆库中随机抽取m个样本，计算yj和loss；

49、

50、

51、神经网络参数更新：对loss函数进行梯度下降更新当前q网络参数，每l步将当前q网络参数同步到目标q网络。

52、重复执行上述过程，直到迭代上限达到设定值最终可以得到最优的混合业务资源分配方案，该方案包括为每条业务流分配的传输路径以及为路径中每个节点分配的队列序号。

53、由上述本发明的实施例提供的技术方案可以看出，本发明提供了一种面向数字孪生的混合业务确定性传输调度方法，用于在铁路运维场景下，针对混合业务流端到端传输的情况，考虑不同业务流差异化需求，在保证业务流被成功调度的条件下，实现较低的端到端整体时延和较高的传输收益。

54、本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。