该模型于 2022-07-11 发布，并于 2022-07-18 添加到 Hugging Face Transformers。

NLLB

概述

NLLB：No Language Left Behind 是一个多语言翻译模型。它在针对低资源语言量身定制的数据挖掘技术的数据上进行训练，并支持 200 多种语言。NLLB 采用了一种条件计算架构，使用了稀疏门控专家混合模型。

您可以在 AI at Meta 组织下找到所有原始 NLLB 检查点。

此模型由 Lysandre 贡献。点击右侧边栏中的 NLLB 模型，可查看更多关于如何将 NLLB 应用于不同翻译任务的示例。

以下示例演示了如何使用 Pipeline 或 AutoModel 类进行文本翻译。

import torch
from transformers import pipeline

pipeline = pipeline(task="translation", model="facebook/nllb-200-distilled-600M", src_lang="eng_Latn", tgt_lang="fra_Latn", dtype=torch.float16, device=0)
pipeline("UN Chief says there is no military solution in Syria")

量化通过以较低精度表示权重来减少大型模型的内存负担。有关更多可用量化后端，请参阅量化概述。

下面的示例使用 bitsandbytes 将权重量化到 8 位。

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer, BitsAndBytesConfig

bnb_config = BitsAndBytesConfig(load_in_8bit=True)
model = AutoModelForSeq2SeqLM.from_pretrained("facebook/nllb-200-distilled-1.3B", quantization_config=bnb_config)
tokenizer = AutoTokenizer.from_pretrained("facebook/nllb-200-distilled-1.3B")

article = "UN Chief says there is no military solution in Syria"
inputs = tokenizer(article, return_tensors="pt").to(model.device)
translated_tokens = model.generate(
    **inputs, forced_bos_token_id=tokenizer.convert_tokens_to_ids("fra_Latn"), max_length=30,
)
print(tokenizer.batch_decode(translated_tokens, skip_special_tokens=True)[0])

使用 AttentionMaskVisualizer 来更好地理解模型可以和不能关注哪些 token。

from transformers.utils.attention_visualizer import AttentionMaskVisualizer

visualizer = AttentionMaskVisualizer("facebook/nllb-200-distilled-600M")
visualizer("UN Chief says there is no military solution in Syria")

注意事项

• 该分词器已于 2023 年 4 月更新，将源语言前缀添加到源序列，而不是目标语言。这会以牺牲少量监督性能为代价，优先考虑零样本性能。

  已复制

  >>> from transformers import NllbTokenizer
  
  >>> tokenizer = NllbTokenizer.from_pretrained("facebook/nllb-200-distilled-600M")
  >>> tokenizer("How was your day?").input_ids
  [256047, 13374, 1398, 4260, 4039, 248130, 2]

  要恢复到旧版行为，请使用下面的代码示例。

  已复制

  >>> from transformers import NllbTokenizer
  
  >>> tokenizer = NllbTokenizer.from_pretrained("facebook/nllb-200-distilled-600M", legacy_behaviour=True)

• 对于非英语语言，请使用 src_lang 关键字指定语言的 BCP-47 代码，如下所示。

• 下面是罗马尼亚语到德语的翻译示例。

  已复制

  >>> from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
  
  >>> tokenizer = AutoTokenizer.from_pretrained("facebook/nllb-200-distilled-600M")
  >>> model = AutoModelForSeq2SeqLM.from_pretrained("facebook/nllb-200-distilled-600M")
  
  >>> article = "UN Chief says there is no military solution in Syria"
  >>> inputs = tokenizer(article, return_tensors="pt")
  
  >>> translated_tokens = model.generate(
  ...     **inputs, forced_bos_token_id=tokenizer.convert_tokens_to_ids("fra_Latn"), max_length=30
  ... )
  >>> tokenizer.batch_decode(translated_tokens, skip_special_tokens=True)[0]
  Le chef de l'ONU dit qu'il n'y a pas de solution militaire en Syrie

NllbTokenizer

>>> from transformers import NllbTokenizer

>>> tokenizer = NllbTokenizer.from_pretrained(
...     "facebook/nllb-200-distilled-600M", src_lang="eng_Latn", tgt_lang="fra_Latn"
... )
>>> example_english_phrase = " UN Chief Says There Is No Military Solution in Syria"
>>> expected_translation_french = "Le chef de l'ONU affirme qu'il n'y a pas de solution militaire en Syrie."
>>> inputs = tokenizer(example_english_phrase, text_target=expected_translation_french, return_tensors="pt")

NllbTokenizerFast

>>> from transformers import NllbTokenizer

>>> tokenizer = NllbTokenizer.from_pretrained(
...     "facebook/nllb-200-distilled-600M", src_lang="eng_Latn", tgt_lang="fra_Latn"
... )
>>> example_english_phrase = " UN Chief Says There Is No Military Solution in Syria"
>>> expected_translation_french = "Le chef de l'ONU affirme qu'il n'y a pas de solution militaire en Syrie."
>>> inputs = tokenizer(example_english_phrase, text_target=expected_translation_french, return_tensors="pt")