Update all references to canonical models (#29001)
* Script & Manual edition * Update
This commit is contained in:
@@ -18,7 +18,7 @@ rendered properly in your Markdown viewer.
|
||||
|
||||
[[open-in-colab]]
|
||||
|
||||
🤗 Transformers 中有多种多语言模型,它们的推理用法与单语言模型不同。但是,并非*所有*的多语言模型用法都不同。一些模型,例如 [bert-base-multilingual-uncased](https://huggingface.co/bert-base-multilingual-uncased) 就可以像单语言模型一样使用。本指南将向您展示如何使用不同用途的多语言模型进行推理。
|
||||
🤗 Transformers 中有多种多语言模型,它们的推理用法与单语言模型不同。但是,并非*所有*的多语言模型用法都不同。一些模型,例如 [google-bert/bert-base-multilingual-uncased](https://huggingface.co/google-bert/bert-base-multilingual-uncased) 就可以像单语言模型一样使用。本指南将向您展示如何使用不同用途的多语言模型进行推理。
|
||||
|
||||
## XLM
|
||||
|
||||
@@ -28,24 +28,24 @@ XLM 有十个不同的检查点,其中只有一个是单语言的。剩下的
|
||||
|
||||
以下 XLM 模型使用语言嵌入来指定推理中使用的语言:
|
||||
|
||||
- `xlm-mlm-ende-1024` (掩码语言建模,英语-德语)
|
||||
- `xlm-mlm-enfr-1024` (掩码语言建模,英语-法语)
|
||||
- `xlm-mlm-enro-1024` (掩码语言建模,英语-罗马尼亚语)
|
||||
- `xlm-mlm-xnli15-1024` (掩码语言建模,XNLI 数据集语言)
|
||||
- `xlm-mlm-tlm-xnli15-1024` (掩码语言建模+翻译,XNLI 数据集语言)
|
||||
- `xlm-clm-enfr-1024` (因果语言建模,英语-法语)
|
||||
- `xlm-clm-ende-1024` (因果语言建模,英语-德语)
|
||||
- `FacebookAI/xlm-mlm-ende-1024` (掩码语言建模,英语-德语)
|
||||
- `FacebookAI/xlm-mlm-enfr-1024` (掩码语言建模,英语-法语)
|
||||
- `FacebookAI/xlm-mlm-enro-1024` (掩码语言建模,英语-罗马尼亚语)
|
||||
- `FacebookAI/xlm-mlm-xnli15-1024` (掩码语言建模,XNLI 数据集语言)
|
||||
- `FacebookAI/xlm-mlm-tlm-xnli15-1024` (掩码语言建模+翻译,XNLI 数据集语言)
|
||||
- `FacebookAI/xlm-clm-enfr-1024` (因果语言建模,英语-法语)
|
||||
- `FacebookAI/xlm-clm-ende-1024` (因果语言建模,英语-德语)
|
||||
|
||||
语言嵌入被表示一个张量,其形状与传递给模型的 `input_ids` 相同。这些张量中的值取决于所使用的语言,并由分词器的 `lang2id` 和 `id2lang` 属性识别。
|
||||
|
||||
在此示例中,加载 `xlm-clm-enfr-1024` 检查点(因果语言建模,英语-法语):
|
||||
在此示例中,加载 `FacebookAI/xlm-clm-enfr-1024` 检查点(因果语言建模,英语-法语):
|
||||
|
||||
```py
|
||||
>>> import torch
|
||||
>>> from transformers import XLMTokenizer, XLMWithLMHeadModel
|
||||
|
||||
>>> tokenizer = XLMTokenizer.from_pretrained("xlm-clm-enfr-1024")
|
||||
>>> model = XLMWithLMHeadModel.from_pretrained("xlm-clm-enfr-1024")
|
||||
>>> tokenizer = XLMTokenizer.from_pretrained("FacebookAI/xlm-clm-enfr-1024")
|
||||
>>> model = XLMWithLMHeadModel.from_pretrained("FacebookAI/xlm-clm-enfr-1024")
|
||||
```
|
||||
|
||||
分词器的 `lang2id` 属性显示了该模型的语言及其对应的id:
|
||||
@@ -83,8 +83,8 @@ XLM 有十个不同的检查点,其中只有一个是单语言的。剩下的
|
||||
|
||||
以下 XLM 模型在推理时不需要语言嵌入:
|
||||
|
||||
- `xlm-mlm-17-1280` (掩码语言建模,支持 17 种语言)
|
||||
- `xlm-mlm-100-1280` (掩码语言建模,支持 100 种语言)
|
||||
- `FacebookAI/xlm-mlm-17-1280` (掩码语言建模,支持 17 种语言)
|
||||
- `FacebookAI/xlm-mlm-100-1280` (掩码语言建模,支持 100 种语言)
|
||||
|
||||
与之前的 XLM 检查点不同,这些模型用于通用句子表示。
|
||||
|
||||
@@ -92,8 +92,8 @@ XLM 有十个不同的检查点,其中只有一个是单语言的。剩下的
|
||||
|
||||
以下 BERT 模型可用于多语言任务:
|
||||
|
||||
- `bert-base-multilingual-uncased` (掩码语言建模 + 下一句预测,支持 102 种语言)
|
||||
- `bert-base-multilingual-cased` (掩码语言建模 + 下一句预测,支持 104 种语言)
|
||||
- `google-bert/bert-base-multilingual-uncased` (掩码语言建模 + 下一句预测,支持 102 种语言)
|
||||
- `google-bert/bert-base-multilingual-cased` (掩码语言建模 + 下一句预测,支持 104 种语言)
|
||||
|
||||
这些模型在推理时不需要语言嵌入。它们应该能够从上下文中识别语言并进行相应的推理。
|
||||
|
||||
@@ -101,8 +101,8 @@ XLM 有十个不同的检查点,其中只有一个是单语言的。剩下的
|
||||
|
||||
以下 XLM-RoBERTa 模型可用于多语言任务:
|
||||
|
||||
- `xlm-roberta-base` (掩码语言建模,支持 100 种语言)
|
||||
- `xlm-roberta-large` (掩码语言建模,支持 100 种语言)
|
||||
- `FacebookAI/xlm-roberta-base` (掩码语言建模,支持 100 种语言)
|
||||
- `FacebookAI/xlm-roberta-large` (掩码语言建模,支持 100 种语言)
|
||||
|
||||
XLM-RoBERTa 使用 100 种语言的 2.5TB 新创建和清理的 CommonCrawl 数据进行了训练。与之前发布的 mBERT 或 XLM 等多语言模型相比,它在分类、序列标记和问答等下游任务上提供了更强大的优势。
|
||||
|
||||
|
||||
Reference in New Issue
Block a user