强化学习-Gym


Gym是用于开发和比较强化学习算法的工具包。它支持教学人员，从步行到玩Pong或Pinball等游戏。

1. Gym入门

Gym是用于开发和比较强化学习算法的工具包。它不对代理的结构做任何假设，并且与任何数字计算库（例如TensorFlow或Theano）兼容。

gym库是测试问题（环境）的集合，您可以用来制定强化学习算法。这些环境具有共享的接口，使您可以编写常规算法。

1.1 安装
  • 方法一：您需要安装Python 3.5+。只需使用pip安装gym：
1
pip install gym
  • 方法二：如果愿意，还可以直接克隆gym Git存储库。当您要修改Gym本身或添加环境时，此功能特别有用。使用以下方法下载并安装：
1
2
3
git clone https://github.com/openai/gym
cd gym
pip install -e .

您稍后可以运行pip install -e .[all]执行包含所有环境的完整安装。这需要安装更多涉及的依赖项，包括cmake和最新的pip版本。

1.2 Environments

这是运行某件事的最低限度示例。这将在1000个时间步中运行CartPole-v0环境的实例，并在每个步骤中渲染该环境。您应该会看到一个弹出窗口，呈现经典的cart-pole问题：

1
2
3
4
5
6
7
import gym
env = gym.make('CartPole-v0')
env.reset()
for _ in range(1000):
    env.render()
    env.step(env.action_space.sample()) # take a random action
env.close()

它看起来应该像这样：


cartpole-no-reset

通常，我们会在允许球杆离开屏幕之前结束模拟。以后再说。现在，即使此环境已经返回done = True，也请忽略有关调用step()的警告。

如果您希望看到其他运行环境，请尝试将上面的CartPole-v0替换为MountainCar-v0，MsPacman-v0（需要 Atari dependency依赖项）或Hopper-v1（需要MuJoCo依赖项）。所有环境均来自Env基类。

请注意，如果您缺少任何依赖项，则应该收到一条有用的错误消息，告诉您所缺少的内容。 （如果没有明确的修复说明，请让我们知道依赖是否给您带来麻烦。）安装缺少的依赖通常很简单。您还需要Hopper-v1的MuJoCo许可证。

1.3 Observations

如果我们想做的比在每个步骤中都采取随机行动要好，那么最好了解一下我们的行动对环境的影响。

环境的step函数完全返回我们需要的东西。实际上，step返回四个值。这些是：

  • observation（object）：特定于环境的对象，代表您对环境的观察。例如，来自摄像机的像素数据，机器人的关节角度和关节速度或棋盘游戏中的棋盘状态。

  • reward（float）：上一操作获得的奖励金额。规模因环境而异，但目标始终是增加总奖励。

  • done（boolean）：是否需要再次重置环境。大多数（但不是全部）任务被分为定义明确的情节，并且如果done为True，则表示情节已终止。 （例如，也许杆子倾斜得太远，或者你失去了你的最后一条生命。）

  • info（dict）：诊断信息，可用于调试。它有时对学习很有用（例如，它可能包含环境上次状态更改背后的原始概率）。但是，您的代理人的官方评估不允许将其用于学习。

这只是经典“agent-environment loop（代理-环境循环）”的实现。
每个时间步，代理选择一个action（动作），环境返回一个observation（观察）和reward（奖励）。

该过程通过调用reset()开始，它返回初始观察结果。
因此，编写前面的代码的一种更合适的方法是遵循done标志：

1
2
3
4
5
6
7
8
9
10
11
12
13
import gym
env = gym.make('CartPole-v0')
for i_episode in range(20):
    observation = env.reset()
    for t in range(100):
        env.render()
        print(observation)
        action = env.action_space.sample()
        observation, reward, done, info = env.step(action)
        if done:
            print("Episode finished after {} timesteps".format(t+1))
            break
env.close()

这应该提供视频和类似以下的输出。您应该能够看到重置发生的位置。

cartpole-yes-reset

1
2
3
4
5
6
7
8
9
10
[-0.061586   -0.75893141  0.05793238  1.15547541]
[-0.07676463 -0.95475889  0.08104189  1.46574644]
[-0.0958598  -1.15077434  0.11035682  1.78260485]
[-0.11887529 -0.95705275  0.14600892  1.5261692 ]
[-0.13801635 -0.7639636   0.1765323   1.28239155]
[-0.15329562 -0.57147373  0.20218013  1.04977545]
Episode finished after 14 timesteps
[-0.02786724  0.00361763 -0.03938967 -0.01611184]
[-0.02779488 -0.19091794 -0.03971191  0.26388759]
[-0.03161324  0.00474768 -0.03443415 -0.04105167]
1.4 Spaces

在上面的例子中，我们从环境的动作空间中取样随机的动作。但这些行动到底是什么呢？每个环境都有一个action_space和一个observation_space。这些属性的类型为Space，它们描述了有效操作和观察的格式：

1
2
3
4
5
6
import gym
env = gym.make('CartPole-v0')
print(env.action_space)
#> Discrete(2)
print(env.observation_space)
#> Box(4,)

离散空间允许固定范围的非负数，因此在这种情况下有效操作为0或1。Box空间表示n维框，因此有效观测值将是4个数字的数组。我们还可以检查框的边界：

1
2
3
4
print(env.observation_space.high)
#> array([ 2.4       ,         inf,  0.20943951,         inf])
print(env.observation_space.low)
#> array([-2.4       ,        -inf, -0.20943951,        -inf])

这种自省有助于编写适用于许多不同环境的通用代码。Box和Discrete是最常见的空间。您可以从某个空间中取样或检查某物是否属于该空间：

1
2
3
4
5
from gym import spaces
space = spaces.Discrete(8) # Set with 8 elements {0, 1, 2, ..., 7}
x = space.sample()
assert space.contains(x)
assert space.n == 8

对于CartPole-v0，其中一个动作向左施加力，而其中一个动作向右施加力。 （您能找出哪个吗？）

幸运的是，您的学习算法越好，您自己尝试解释这些数字的次数就越少。

2. 可用环境

Gym拥有各种环境，从容易到困难，涉及许多不同种类的数据。查看完整的环境列表。

  • Classic control和toy text：完成小规模任务，大部分来自RL文献。
    他们是来帮你开始的。

  • Algorithmic：执行计算，如添加多位数和反转序列。
    有人可能会反对这些任务对于计算机来说很容易。挑战在于纯粹从示例中学习这些算法。这些任务具有很好的性质，通过改变序列长度很容易改变难度。

  • Atari：玩经典的Atari游戏。我们已经将Arade学习环境(它对强化学习研究产生了很大的影响)集成在一个易于安装的表单中。

  • 2D和3D机器人：在模拟中控制机器人。这些任务使用MuJoCo物理引擎，该引擎专为快速和准确的机器人仿真而设计。其中包括加州大学伯克利分校研究人员(顺便说一句，今年夏天将加入我们)最近的基准测试中的一些环境。MuJoCo是专有软件，但提供免费试用许可证。

2.1 注册表

gym的主要目的是提供大量环境，这些环境暴露出一个通用的界面，并进行版本控制以进行比较。要列出安装中可用的环境，只需询问gym.envs.registry：

1
2
3
from gym import envs
print(envs.registry.all())
#> [EnvSpec(DoubleDunk-v0), EnvSpec(InvertedDoublePendulum-v0), EnvSpec(BeamRider-v0), EnvSpec(Phoenix-ram-v0), EnvSpec(Asterix-v0), EnvSpec(TimePilot-v0), EnvSpec(Alien-v0), EnvSpec(Robotank-ram-v0), EnvSpec(CartPole-v0), EnvSpec(Berzerk-v0), EnvSpec(Berzerk-ram-v0), EnvSpec(Gopher-ram-v0), ...

这将为您提供EnvSpec对象的列表。这些定义了特定任务的参数，包括要运行的试验次数和最大步骤数。例如，EnvSpec（Hopper-v1）定义了一个环境，目标是让2D模拟机器人跳跃；EnvSpec（Go9x9-v0）在9x9板上定义Go游戏。

这些环境ID被视为不透明字符串。为了确保将来进行有效的比较，绝不会以影响性能的方式更改环境，而只能用较新的版本来替换。目前，我们为每个环境添加v0后缀，以便将来可以自然地将其替换为v1，v2等。

将您自己的环境添加到注册表中非常容易，从而使它们可用于gym.make()：只需在加载时register()即可。

3. 背景：为什么要Gym？ （2016年）

强化学习（RL）是机器学习的子领域，涉及决策和运动控制。它研究代理如何在复杂，不确定的环境中学习如何实现目标。令人兴奋的原因有两个：

  • RL非常一般化，涵盖了涉及一系列决策的所有问题：例如，控制机器人的电动机使其能够运行和跳跃，制定价格，库存管理等商业决策，或者玩视频游戏和棋盘游戏。 RL甚至可以应用于具有顺序或结构化输出的监督学习问题。

  • RL算法已开始在许多困难的环境中取得良好的效果。 RL历史悠久，但在深度学习方面取得新进展之前，它需要大量针对特定问题的工程。 DeepMind的Atari结果，Pieter Abbeel小组的BRETT和AlphaGo都使用了深度RL算法，该算法并未对其环境做太多假设，因此可以应用于其他环境。

但是，RL研究也因两个因素而减慢了速度：

  • 需要更好的基准。在监督学习中，像ImageNet这样的大型标签数据集推动了进步。在RL中，最接近的等效项是各种各样的环境。但是，现有的RL环境的开放源代码集合种类繁多，并且通常甚至很难设置和使用。

  • 问题定义上的细微差异（例如奖励功能或一组动作）会大大改变任务的难度。这个问题使得很难复制已发表的研究成果并比较不同论文的结果。

Gym是试图解决这两个问题的尝试。