Fill-Mask

BERT是一个transformers模型，它是在一个大型英文语料库上进行自监督预训练的。这意味着它仅在原始文本上进行预训练，没有任何人类以任何方式对其进行标注（这就是为什么它可以使用大量公开可用的数据），并使用自动过程从这些文本中生成输入和标签。更准确地说，它是通过两个目标进行预训练的：

Fill-Mask

这是一个专注于人工智能产品的导航站。