基于专家状态的生成对抗网络强化学习的暖通空调控制方法

1.基于专家状态的生成对抗网络强化学习暖通空调控制方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于专家状态的生成对抗网络强化学习暖通空调控制方法，其特征在于，所述步骤s1中使用energyplus来搭建虚拟建筑环境并用openai gym框架训练来与强化学习进行交互。

3.根据权利要求1所述的基于专家状态的生成对抗网络强化学习暖通空调控制方法，其特征在于，所述虚拟建筑环境中建筑物分为东西两个区域，每个所述区域配备独立的havc。

4.根据权利要求1所述的基于专家状态的生成对抗网络强化学习暖通空调控制方法，其特征在于，所述步骤s2中，规划方法的规划目标函数如下：

5.根据权利要求1所述的基于专家状态的生成对抗网络强化学习暖通空调控制方法，其特征在于：所述步骤s3中，策略网络π根据状态值st挑选动作值at并将动作值输入虚拟建筑环境得到下一时刻状态值st+1其公式可以表示为：

6.根据权利要求5所述的基于专家状态的生成对抗网络强化学习暖通空调控制方法，其特征在于，所述步骤s5中，生成器目标是找到一个策略网络π，使得有策略网络π生成联合分布ρπ(s,s')接近专家状态的联合分布ρe(s,s')，基于状态的生成对抗网络的强化学习优化的目标函数为：

7.根据权利要求6所述的基于专家状态的生成对抗网络强化学习暖通空调控制方法，其特征在于，所述专家状态和生成状态之间的分布差异使用l1-wassertain来测量。

8.根据权利要求6所述的基于专家状态的生成对抗网络强化学习暖通空调控制方法，其特征在于，所述步骤s6中，使用wasserstein距离来计算专家状态分布和生成状态分布的距离，其距离可以用判别网络d定义为：

9.根据权利要求8所述的基于专家状态的生成对抗网络强化学习暖通空调控制方法，其特征在于，所述判别网络的目标函数如下：

10.根据权利要求7所述的基于专家状态的生成对抗网络强化学习暖通空调控制方法，其特征在于，所述步骤s7中通过步骤s6训练完成的判别网络和传统奖励函数塑造奖励值rt，并将其以(st,at,rt,st+1)的形式存入策略网络经验池bsac，所述奖励函数包括判别网络的输出值经过一个映射函数得到以及传统的奖励函数，表达式如下：

11.根据权利要求1-10任意一项所述的基于专家状态的生成对抗网络强化学习暖通空调控制方法，其特征在于，所述策略网络经验池bsac为一个固定容量的经验池，当存入经验池的容量超过了最大容量，则旧的数据将被删除。