rubert-base-cased
RuBERT (Russian, cased, 12‑layer, 768‑hidden, 12‑heads, 180M parameters) was trained on the Russian part of Wikipedia and news data. We used this training data to build a vocabulary of Russian subtokens and took a multilingual version of BERT‑base as an initialization for RuBERT[1].
08.11.2021: upload model with MLM and NSP heads
[1]: Kuratov, Y., Arkhipov, M. (2019). Adaptation of Deep Bidirectional Multilingual Transformers for Russian Language. arXiv preprint arXiv:1905.07213.
数据统计
数据评估
关于DeepPavlov/rubert-base-cased特别声明
本站Ai导航提供的DeepPavlov/rubert-base-cased都来源于网络，不保证外部链接的准确性和完整性，同时，对于该外部链接的指向，不由Ai导航实际控制，在2023年5月9日 下午7:12收录时，该网页上的内容，都属于合规合法，后期网页的内容如出现违规，可以直接联系网站管理员进行删除，Ai导航不承担任何责任。
相关导航
暂无评论...
这是一个专注于人工智能产品的导航站。
