华为&伦敦大学学院| ICML 2022: 短时可塑性神经元学习和遗忘

强化学习1年前 (2023)发布智源社区

437 0 0

【标题】Short-Term Plasticity Neurons Learning to Learn and Forget

【作者团队】Hector Garcia Rodriguez, Qinghai Guo, Timoleon Moraitis

【发表日期】2022.6.28

【论文链接】https://arxiv.org/pdf/2206.14048.pdf

【推荐理由】短期可塑性 (STP) 是一种在大脑皮层突触中存储衰减记忆的机制。本文提出了一种新型的循环神经单元，即 STP 神经元 (STPN)。其关键机制是突触具有状态，通过突触内的自循环连接随时间传播。这个公式可以通过时间的反向传播来训练可塑性，从而在短期内形成一种学习和遗忘的形式。 STPN 优于所有经过测试的替代方案，即 RNN、LSTM、其他具有快速权重和可微可塑性的模型。作者在强化学习 (RL) 以及关联检索、迷宫探索、Atari 视频游戏和 MuJoCo 机器人等任务中都证实了这一点。此外，本文计算出，在神经形态或生物电路中，STPN 可最大限度地减少模型间的能量消耗，因为它会动态抑制单个突触。基于这些，生物 STP 可能是一个强大的进化吸引子，可以最大限度地提高效率和计算能力。