Adversarial Self-Attention For Language Understanding
ICLR 2022
https://arxiv.org/pdf/2206.12608.pdf
-
大量的证据表明，自注意力可以从 allowing bias 中获益，allowing bias 可以将一定程度的先验（如 masking，分布的平滑）加入原始的注意力结构中。这些先验知识能够让模型从较小的语料中学习有用的知识。但是这些先验知识一般是任务特定的知识，使得模型很难扩展到丰富的任务上。 -
adversarial trAIning 通过给输入内容添加扰动来提升模型的鲁棒性。作者发现仅仅给 input embedding 添加扰动很难 confuse 到 attention maps. 模型的注意在扰动前后没有发生变化。
-
最大化 empirical training risk，在自动化构建先验知识的过程学习得到biased（or adversarial）的结构。 -
adversial 结构是由输入数据学到，使得 ASA 区别于传统的对抗训练或自注意力的变体。 -
使用梯度反转层来将 model 和 adversary 结合为整体。 -
ASA 天然具有可解释性。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
相关文章
暂无评论...
这是一个专注于人工智能产品的导航站。
