面向样本高效自适应的Neural Priming

Neural Priming for Sample-Efficient Adaptation

M Wallingford, V Ramanujan, A Fang, A Kusupati, R Mottaghi, A Kembhavi, L Schmidt, A Farhadi
[University of Washington]

面向样本高效自适应的Neural Priming

要点:

• 动机：提出一种名为Neural Priming的技术，用于在给定少量或无标签样本的情况下，将大型预训练模型自适应到分布漂移和下游任务。Neural Priming使模型能回忆并根据在预训练过程中看到的相关数据调整其参数，从而为测试分布做好准备。
• 方法：Neural Priming分为两个主要步骤：1. 收集启动池，从预训练数据集中收集与特定任务相关的数据；2. 模型微调，利用启动池中的数据改进模型。在收集启动池的步骤中，模型使用自然语言任务描述从预训练集中检索相关的图像。在模型微调步骤中，模型使用最近类均值(NCM)在每个类别的检索样本上执行，以获得特定于池的分类头。
• 优势：Neural Priming在零样本和少样本准确性上达到了标准迁移学习数据集的最新水平，分别提高了4.25%和3.81%。此外，Neural Priming还实现了转导学习，并在不使用任何额外数据的情况下，提高了标准分布漂移数据集的性能，平均提高了2.51%。

一句话总结:
提出Neural Priming技术，通过从预训练数据集中检索相关信息并利用其进行特定任务，有效地改进了大型预训练模型在分布漂移和下游任务上的自适应性。

https://arxiv.org/abs/2306.10191