Google DeepMind 提出了 Q-Transformer，目标是将基于多样化真实世界数据集的大规模机器人学习与基于强大 Transformer 的现代策略架构结合起来。
-
论文：https://q-transformer.github.io/assets/q-transformer.pdf
-
项目：https://q-transformer.github.io/
虽然，从原理上看，直接用 Transformer 替代现有架构（ResNets 或更小的卷积神经网络）在概念上很简单，但要设计一种能有效利用这一架构的方案却非常困难。只有能使用大规模的多样化数据集时，大模型才能发挥效力 —— 小规模的范围狭窄的模型无需这样的能力，也不能从中受益。
尽管之前有研究通过仿真数据来创建这样的数据集，但最有代表性的数据还是来自真实世界。
因此，DeepMind 表示，这项研究关注的重点是通过离线强化学习使用 Transformer 并整合之前收集的大型数据集。
离线强化学习方法是使用之前已有的数据训练，目标是根据给定数据集推导出最有效的可能策略。当然，也可以使用额外自动收集的数据来增强这个数据集，但训练过程是与数据收集过程是分开的，这能为大规模机器人应用提供一个额外的工作流程。
在使用 Transformer 模型来实现强化学习方面，另一大问题是设计一个可以有效训练这种模型的强化学习系统。有效的离线强化学习方法通常是通过时间差更新来进行 Q 函数估计。由于 Transformer 建模的是离散的 token 序列，所以可以将 Q 函数估计问题转换成一个离散 token 序列建模问题，并为序列中的每个 token 设计一个合适的损失函数。
最简单朴素的对动作空间离散化的方法会导致动作基数呈指数爆炸，因此 DeepMind 采用的方法是按维度离散化方案，即动作空间的每个维度都被视为强化学习的一个独立的时间步骤。离散化中不同的 bin 对应于不同的动作。这种按维度离散化的方案让我们可以使用带有一个保守的正则化器简单离散动作 Q 学习方法来处理分布转变情况。
DeepMind 提出了一种专门的正则化器，其能最小化数据集中每个未被取用动作的值。研究表明：该方法既能学习范围狭窄的类似演示的数据，也能学习带有探索噪声的范围更广的数据。
最后，他们还采用了一种混合更新机制，其将蒙特卡洛和 n 步返回与时间差备份（temporal difference backups）组合到了一起。结果表明这种做法能提升基于 Transformer 的离线强化学习方法在大规模机器人学习问题上的表现。
总结起来，这项研究的主要贡献是 Q-Transformer，这是一种用于机器人离线强化学习的基于 Transformer 的架构，其对 Q 值使用了按维度的 token 化，并且已经可以用于大规模多样化机器人数据集，包括真实世界数据。图 1 总结了 Q-Transformer 的组件。
DeepMind 也进行了实验评估 —— 既有用于严格比较的仿真实验，也有用于实际验证的大规模真实世界实验；其中学习了大规模的基于文本的多任务策略，结果验证了 Q-Transformer 的有效性。
在真实世界实验中，他们使用的数据集包含 3.8 万个成功演示和 2 万个失败的自动收集的场景，这些数据是通过 13 台机器人在 700 多个任务上收集的。Q-Transformer 的表现优于之前提出的用于大规模机器人强化学习的架构，以及之前提出的 Decision Transformer 等基于 Transformer 的模型。
相关文章
