标签:Transformers

MAE入局多模态分析,CMU联合微软发布仅需文本监督的视觉语言新模型VLC

视觉语言Transformer(Vision-Language Transformers)一直是多模态领域中的重要研究话题。但是现有的关于视觉语言Transformer的工作仍然需要先在ImageNet上...

Unlimiformer:具有无限长度输入的长距离Transformer模型

这篇论文的目标是解决Transformer模型输入长度受限的问题。因为Transformer需要关注输入中的每个标记,Unlimiformer的关键思路是使用k最近邻索引来代替传统的...