预训练语言模型通过微调的方式在文本生成任务中取得了显著的进展，但是在数据稀疏的场景下，通常无法直接进行微调。因此，本文提出基于prompt的迁移学习的设定。作者先为源领域上的不同任务分别学习一个prompt，从而构造prompt池，然后在目标任务进行迁移。为了同时考虑任务层面和实例层面的信息，作者设计了一个自适应的注意力机制，对于目标任务中的每个实例样本，模型都会为其选择与其最相关的源任务的prompt。作者在多种生成任务和数据集上进行了实验，结果表明作者提出的迁移方法可以很好地提高目标任务上的生成效果。
Learning to Transfer Prompts for Text Generation
论文链接:
https://arxiv.org/abs/2205.01543
© 版权声明
文章版权归作者所有，未经允许请勿转载。
相关文章
暂无评论...
这是一个专注于人工智能产品的导航站。
