基于多智能体深度强化学习的移动边缘计算任务卸载方法

1.一种基于多智能体深度强化学习的移动边缘计算任务卸载方法，其特征在于，包括：

2.根据权利要求1所述的基于多智能体深度强化学习的移动边缘计算任务卸载方法，其特征在于，在步骤s1中，基站表示为bsi(i∈1,2,…m)，边缘服务器为esi，用户设备为muj(j∈1,2,…n)，所述基站与边缘服务器之间通过物理链路连接，用户设备与基站之间通过无线链路连接，边缘服务器为用户设备提供计算服务；

3.根据权利要求2所述的基于多智能体深度强化学习的移动边缘计算任务卸载方法，其特征在于，在步骤s2中，使用变量ωj来表示用户设备muj的卸载决策，若ωj＝0表示用户选择任务在本地执行，若ωj＝1表示用户选择卸载任务到边缘服务器执行，若ωj＝-1表示用户选择卸载任务到云服务器执行。

4.根据权利要求3所述的基于多智能体深度强化学习的移动边缘计算任务卸载方法，其特征在于，用户选择在本地执行任务时，具体为：任务lj在用户本地执行，计算成本仅由执行时延和执行能耗构成，执行时延表示为：其中为用户设备muj的cpu频率，cpu频率以每秒周期数为单位，η为执行一比特任务所需的cpu周期数；执行能耗表示为：其中κ表示每个cpu周期的有效电容系数；因此，本地计算成本开销为：其中α∈[0,1]为时延成本与能耗成本的权重系数。

5.根据权利要求4所述的基于多智能体深度强化学习的移动边缘计算任务卸载方法，其特征在于，用户将任务卸载到边缘服务器或云服务器执行时，具体为：根据香农定理，用户设备muj到边缘服务器esi可达到的传输速率为：用户设备muj到云服务器cloud可达到的传输速率为：其中σ2是加性高斯白噪声功率，w是带宽，poff是卸载功率，用户设备muj到边缘服务器esi的信道系数为hj,i，到云服务器的信道系数为hj,cloud；

6.根据权利要求5所述的基于多智能体深度强化学习的移动边缘计算任务卸载方法，其特征在于，步骤s3中所构建的优化函数，具体为：

7.根据权利要求3所述的基于多智能体深度强化学习的移动边缘计算任务卸载方法，其特征在于，所述智能体的状态空间、动作空间以及奖励函数，具体定义为：

8.根据权利要求7所述的基于多智能体深度强化学习的移动边缘计算任务卸载方法，其特征在于，所述的基于多智能体深度确定性策略梯度算法和自注意力机制的模型设有经验回放缓冲区，模型中每个智能体的网络结构包括：1个当前actor网络μ、1个目标actor网络μ′、1个当前critic网络q、1个目标critic网络q′，定义智能体j的4个网络参数分别为

9.根据权利要求8所述的基于多智能体深度强化学习的移动边缘计算任务卸载方法，其特征在于，所述智能体的网络进行参数更新，具体包括：