FLAN-UL2

概述

Flan-UL2 是一个基于 T5 架构的编码器-解码器模型。它使用了与去年早些时候发布的 UL2 模型相同的配置。它使用了“Flan”提示微调和数据集集合进行了微调。与 Flan-T5 类似，用户可以直接使用 FLAN-UL2 的权重而无需对模型进行微调。

根据原始博客，以下是显著的改进：

• 原始 UL2 模型的训练感受野仅为 512，这使得它在 N 值较大的 N-shot 提示场景中表现不理想。
• Flan-UL2 检查点使用了 2048 的感受野，这使其更适用于少样本上下文学习（few-shot in-context learning）。
• 原始 UL2 模型还有模式切换标记（mode switch tokens），这对于获得良好性能是必需的。然而，它们有些繁琐，因为这通常需要在推理或微调过程中进行一些更改。在这次更新/更改中，我们在应用 Flan 指令微调之前，继续用小批量对 UL2 20B 进行额外的 10 万步训练，以忘记“模式标记”。这个 Flan-UL2 检查点不再需要模式标记。Google 发布了以下变体：

原始检查点可以在此处找到。

在低资源设备上运行

该模型非常大（半精度下约 40GB），所以如果你只是想运行模型，请确保以 8 位模式加载模型，并使用 device_map="auto" 以确保不会出现内存不足（OOM）问题！

>>> from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

>>> model = AutoModelForSeq2SeqLM.from_pretrained("google/flan-ul2", load_in_8bit=True, device_map="auto")
>>> tokenizer = AutoTokenizer.from_pretrained("google/flan-ul2")

>>> inputs = tokenizer("A step by step recipe to make bolognese pasta:", return_tensors="pt")
>>> outputs = model.generate(**inputs)
>>> print(tokenizer.batch_decode(outputs, skip_special_tokens=True))
['In a large skillet, brown the ground beef and onion over medium heat. Add the garlic']