ByT5

ByT5 是 T5 模型的无分词器（tokenizer-free）版本，旨在直接处理原始 UTF-8 字节。这意味着它可以处理任何语言，对拼写错误等噪声更具鲁棒性，并且使用起来更简单，因为它不需要预处理管道。

你可以在 Google 组织下找到所有原始的 ByT5 检查点。

下面的示例演示了如何使用 Pipeline、AutoModel 和命令行生成文本。

import torch
from transformers import pipeline

pipeline = pipeline(
    task="text2text-generation",
    model="google/byt5-small",
    torch_dtype=torch.float16,
    device=0
)
pipeline("translate English to French: The weather is nice today")

量化

量化通过以较低精度表示权重来减少大型模型的内存负担。有关更多可用量化后端，请参阅量化概述。

以下示例使用torchao仅将权重量化为int4。

# pip install torchao
import torch
from transformers import TorchAoConfig, AutoModelForSeq2SeqLM, AutoTokenizer

quantization_config = TorchAoConfig("int4_weight_only", group_size=128)

model = AutoModelForSeq2SeqLM.from_pretrained(
    "google/byt5-xl",
    torch_dtype=torch.bfloat16,
    device_map="auto",
    quantization_config=quantization_config
)

tokenizer = AutoTokenizer.from_pretrained("google/byt5-xl")
input_ids = tokenizer("translate English to French: The weather is nice today.", return_tensors="pt").to("cuda")

output = model.generate(**input_ids)
print(tokenizer.decode(output[0], skip_special_tokens=True))

注意

• 建议在批处理推理和训练中使用分词器。

• 下面的示例展示了如何在不使用分词器的情况下使用该模型。

  已复制

  import torch
  from transformers import AutoModelForSeq2SeqLM
  
  model = AutoModelForSeq2SeqLM.from_pretrained("google/byt5-small")
  
  num_special_tokens = 3
  
  input_ids = torch.tensor([list("Life is like a box of chocolates.".encode("utf-8"))]) + num_special_tokens
  labels = torch.tensor([list("La vie est comme une boîte de chocolat.".encode("utf-8"))]) + num_special_tokens
  loss = model(input_ids, labels=labels).loss
  loss.item()

• ByT5 使用最高的字节值（258、257 等）进行掩码，而不是像 {extra_id_0} 这样的哨兵标记。

  已复制

  # Example: character-level denoising with mask tokens
  input_ids = tokenizer("The dog chases a ball in the park.").input_ids
  masked_input = torch.tensor([input_ids[:8] + [258] + input_ids[14:21] + [257] + input_ids[28:]])
  output = model.generate(masked_input, max_length=100)

ByT5Tokenizer