MADDPG(MPE)——环境配置与用法详细介绍(多智能体强化学习)
MADDPG(MPE) 介绍MPE环境安装教程前期准备MPE 安装包介绍MPE 安装环境要求开始安装环境测试MPE环境介绍环境列表环境更换和修改MADDPG(MPE) 介绍
MPE(Multi-Agent Particle Environment)是由 OpenAI 开源的一款多智能体强化学习实验平台,以 OpenAI 的 gym 为基础,使用 Python 编写而成。它创造了一个简单的多智能体粒子世界,粒子们可以进行连续的观察和离散的动作。
MPE环境安装教程
前期准备
在GitHub网站下载MPE的安装包:/openai/multiagent-particle-envs.git
是安装在python环境下的。所以安装前要先装好python,不过我个人是安装anaconda,通过conda创建虚拟环境,好处是便于创建我们需要的不同版本的python环境,很方便,不用重复安装不同版本的python(强烈推荐)。
conda虚拟环境的配置,可以参考这篇教程(Windows 10 Anaconda 安装和使用 (最详细))
MPE 安装包介绍
GitHub源码分为环境和算法两个部分:
Multi-Agent Particle EnvironmentMulti-Agent Deep Deterministic Policy Gradient (MADDPG)
MPE 安装环境要求
下载 Multi-Agent Particle Environment 源码,阅读 README.md 可知需要先配置:
python(3.5.4),openAI gym(0.10.5),tensorflow(1.8.0),numpy(1.14.5)我用的是Pycharm+python3.6(用conda配置的虚拟环境python3.6)
开始安装
1.然后在 Pycharm 自带的 terminal 或进入 cmd,打开终端,将路径cd到multiagent-particle-envs文件夹下(即含有setup.py文件的文件夹下)
执行
pip install -e .
multiagent环境安装完成。
2.同样的,将路径再cd到maddpg文件夹下(即含有setup.py文件的文件夹下),执行
`pip install -e` .
maddpg安装完成。具体如下图所示:
3.将路径加入到path中:打开~/.bashrc,将multiagent-particle-envs下的bin的路径添加到path里面
环境测试
安装完成后,输入测试命令.
cd到/maddpg/experiments文件夹下:
cd experiments
运行train.py文件,默认环境为simple先在该目录下进行切换:
python train.py --scenario simple
具体如下图所示:
如果出现如下画面表示环境安装成功:
注意:第一遍运行的时候,训练时只会出现训练数据,如下所示:
第一遍运行没有动画,运行完毕,如果是simple的话,需要将第14行代码的False 改为Ture ,再重新运行一遍才会出现实时动画。