Transformers 文档

FLAN-T5

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

FLAN-T5

PyTorch TensorFlow Flax

概述

FLAN-T5 在论文 Scaling Instruction-Finetuned Language Models 中发布 - 它是 T5 的增强版本,已在混合任务中进行微调。

可以直接使用 FLAN-T5 权重,而无需微调模型

>>> from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

>>> model = AutoModelForSeq2SeqLM.from_pretrained("google/flan-t5-small")
>>> tokenizer = AutoTokenizer.from_pretrained("google/flan-t5-small")

>>> inputs = tokenizer("A step by step recipe to make bolognese pasta:", return_tensors="pt")
>>> outputs = model.generate(**inputs)
>>> print(tokenizer.batch_decode(outputs, skip_special_tokens=True))
['Pour a cup of bolognese into a large bowl and add the pasta']

FLAN-T5 包含与 T5 版本 1.1 相同的改进(有关模型改进的完整详细信息,请参阅此处。)

Google 发布了以下变体

原始检查点可以在此处找到。

请参考 T5 的文档页面,以获取所有 API 参考、代码示例和 notebook。有关 FLAN-T5 的训练和评估的更多详细信息,请参阅模型卡。

< > 在 GitHub 上更新