模型描述
Vision Transformer(ViT)是一个transformer编码器模型(类似于BERT),以自监督方式预训练于一个大型图像集合(即ImageNet-1k),分辨率为224×224像素。
将图像作为固定大小的补丁序列(分辨率为16×16)呈现给模型,这些补丁被线性嵌入。在序列开始添加[CLS]令牌以用于分类任务。在将序列提供给Transformer编码器的层之前,还添加绝对位置嵌入。
请注意,此模型不包括任何微调头。
通过预训练模型,它学习了图像的内部表示,然后可以用于提取对下游任务有用的特征:例如,如果您有一个带标签的图像数据集,可以在预训练的编码器的顶部放置一个线性层来训练标准分类器。通常将线性层放置在[CLS]令牌的顶部,因为此令牌的最后隐藏状态可以看作是整个图像的表示。
数据统计
数据评估
关于facebook/dino-vitb16特别声明
本站Ai导航提供的facebook/dino-vitb16都来源于网络,不保证外部链接的准确性和完整性,同时,对于该外部链接的指向,不由Ai导航实际控制,在2021年5月4日 下午1:08收录时,该网页上的内容,都属于合规合法,后期网页的内容如出现违规,可以直接联系网站管理员进行删除,Ai导航不承担任何责任。
相关导航
暂无评论...