Transformers 文档

GPTSAN-日语

Transformers

加入 Hugging Face 社区

并获得增强文档体验

协作模型、数据集和空间

使用加速推理获得更快的示例

在文档主题之间切换

开始使用

GPTSAN-japanese

此模型仅处于维护模式，我们不接受任何更改其代码的新 PR。如果您在运行此模型时遇到任何问题，请重新安装支持此模型的最后一个版本：v4.40.2。您可以运行以下命令执行此操作：pip install -U transformers==4.40.2。

概述

GPTSAN-japanese 模型由坂本俊之 (tanreinama) 发布到代码库中。

GPTSAN 是一个使用 Switch Transformer 的日语语言模型。它与 T5 论文中介绍的前缀 LM 模型具有相同的结构，并支持文本生成和掩码语言建模任务。这些基本任务类似地可以微调用于翻译或摘要。

使用示例

generate() 方法可用于使用 GPTSAN-Japanese 模型生成文本。

>>> from transformers import AutoModel, AutoTokenizer
>>> import torch

>>> tokenizer = AutoTokenizer.from_pretrained("Tanrei/GPTSAN-japanese")
>>> model = AutoModel.from_pretrained("Tanrei/GPTSAN-japanese").cuda()
>>> x_tok = tokenizer("は、", prefix_text="織田信長", return_tensors="pt")
>>> torch.manual_seed(0)
>>> gen_tok = model.generate(x_tok.input_ids.cuda(), token_type_ids=x_tok.token_type_ids.cuda(), max_new_tokens=20)
>>> tokenizer.decode(gen_tok[0])
'織田信長は、2004年に『戦国BASARA』のために、豊臣秀吉'

GPTSAN 特性

GPTSAN 有一些独特的特性。它具有 Prefix-LM 的模型结构。它作为前缀输入标记的移位掩码语言模型工作。未加前缀的输入的行为类似于正常的生成模型。Spout 向量是 GPTSAN 特定的输入。Spout 使用随机输入进行预训练，但在微调期间可以指定文本类别或任意向量。这允许您指示生成文本的倾向。GPTSAN 具有基于 Switch-Transformer 的稀疏前馈网络。您还可以添加其他层并对其进行部分训练。有关详细信息，请参阅原始 GPTSAN 代码库。

Prefix-LM 模型

GPTSAN 具有名为 Prefix-LM 的模型结构，该模型在 T5 论文中有所描述。（原始 GPTSAN 代码库将其称为 hybrid）在 GPTSAN 中，Prefix-LM 的 Prefix 部分，即可以被两个标记引用的输入位置，可以指定任意长度。每个批次也可以指定不同的任意长度。此长度适用于传递给标记器的 prefix_text 中输入的文本。标记器将 Prefix-LM 的 Prefix 部分的掩码作为 token_type_ids 返回。模型将 token_type_ids 为 1 的部分视为 Prefix 部分，即输入可以引用前后两个标记。

使用技巧

指定 Prefix 部分是通过传递给自注意力机制的掩码来完成的。当 token_type_ids 为 None 或全为零时，它等效于常规因果掩码。

例如

x_token = tokenizer(“ｱｲｳｴ”) input_ids: | SOT | SEG | ｱ | ｲ | ｳ | ｴ | token_type_ids: | 1 | 0 | 0 | 0 | 0 | 0 | prefix_lm_mask: SOT | 1 0 0 0 0 0 | SEG | 1 1 0 0 0 0 | ｱ | 1 1 1 0 0 0 | ｲ | 1 1 1 1 0 0 | ｳ | 1 1 1 1 1 0 | ｴ | 1 1 1 1 1 1 |

x_token = tokenizer("", prefix_text=“ｱｲｳｴ”) input_ids: | SOT | ｱ | ｲ | ｳ | ｴ | SEG | token_type_ids: | 1 | 1 | 1 | 1 | 1 | 0 | prefix_lm_mask: SOT | 1 1 1 1 1 0 | ｱ | 1 1 1 1 1 0 | ｲ | 1 1 1 1 1 0 | ｳ | 1 1 1 1 1 0 | ｴ | 1 1 1 1 1 0 | SEG | 1 1 1 1 1 1 |

x_token = tokenizer(“ｳｴ”, prefix_text=“ｱｲ”) input_ids: | SOT | ｱ | ｲ | SEG | ｳ | ｴ | token_type_ids: | 1 | 1 | 1 | 0 | 0 | 0 | prefix_lm_mask: SOT | 1 1 1 0 0 0 | ｱ | 1 1 1 0 0 0 | ｲ | 1 1 1 0 0 0 | SEG | 1 1 1 1 0 0 | ｳ | 1 1 1 1 1 0 | ｴ | 1 1 1 1 1 1 |

Spout 向量

Spout 向量是用于控制文本生成的特殊向量。此向量在自注意力机制中被视为第一个嵌入，以将外部注意力引入生成的标记。在从 Tanrei/GPTSAN-japanese 发布的预训练模型中，Spout 向量是一个 128 维向量，它通过模型中的 8 个全连接层并投影到充当外部注意力的空间中。全连接层投影的 Spout 向量被拆分以传递到所有自注意力机制。

GPTSanJapaneseConfig

class transformers.GPTSanJapaneseConfig

< 源代码 >

( vocab_size = 36000 max_position_embeddings = 1280 d_model = 1024 d_ff = 8192 d_ext = 4096 d_spout = 128 num_switch_layers = 10 num_ext_layers = 0 num_heads = 16 num_experts = 16 expert_capacity = 128 dropout_rate = 0.0 layer_norm_epsilon = 1e-05 router_bias = False router_jitter_noise = 0.0 router_dtype = 'float32' router_ignore_padding_tokens = False output_hidden_states = False output_attentions = False initializer_factor = 0.002 output_router_logits = False use_cache = True separator_token_id = 35998 pad_token_id = 35995 eos_token_id = 35999 **kwargs )

参数

vocab_size (int, 可选, 默认为 36000) — GPTSANJapanese 模型的词汇量大小。定义了调用 GPTSanJapaneseModel 时传递的 inputs_ids 可以表示的不同标记的数量。
max_position_embeddings (int, 可选, 默认为 1280) — 此模型可能使用的最大序列长度。默认将其设置为 1280。
d_model (int, 可选, 默认为 1024) — 编码器层和池化层的尺寸。
d_ff (int, 可选, 默认为 8192) — 每个 SwitchTransformersBlock 中的中间前馈层的尺寸。
d_ext (int, 可选, 默认为 4096) — 每个额外层中中间前馈层的尺寸。
d_spout (int, 可选, 默认为 128) — spout 向量的尺寸。
num_switch_layers (int, 可选, 默认为 10) — Switch Transformer 层中的层数。
num_ext_layers (int, 可选, 默认为 0) — 额外层中的层数。
num_experts (int，可选，默认为 16) — 每个 SwitchTransformer 层的专家数量。
expert_capacity (int，可选，默认为 128) — 每个专家可以存储的标记数量。如果设置为 1，则模型的行为将类似于常规 Transformer。
dropout_rate (float，可选，默认为 0.0) — 所有 dropout 层的比率。
layer_norm_eps (float，可选，默认为 1e-5) — 层归一化层使用的 epsilon。
router_bias (bool，可选，默认为 False) — 是否向路由器添加偏差。
router_jitter_noise (float，可选，默认为 0.0) — 要添加到路由器的噪声量。在预测期间将其设置为 0.0，或在训练期间设置为较小的值（通常为 1e-2）。
router_dtype (str，可选，默认为 "float32") — 用于路由器的 dtype。最好将 dtype 保持为 "float32"，如论文中“选择性精度”讨论中所述。
router_ignore_padding_tokens (bool，可选，默认为 False) — 是否在路由时忽略填充标记。
output_hidden_states (bool，可选，默认为 False) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
output_attentions (bool，可选，默认为 False) — 是否返回所有注意力层的注意力张量。
output_router_logits (bool，可选，默认为 False) — 是否返回所有专家的路由 logits。
use_cache (bool，可选，默认为 True) — 模型是否应该返回最后的键/值注意力（并非所有模型都使用）。

这是用于存储 GPTSanJapaneseModel 配置的配置类。它用于根据指定的参数实例化 GPTSANJapanese 模型，定义模型架构。使用默认值实例化配置将产生与 GPTSANJapanese Tanrei/GPTSAN-japanese 架构类似的配置。

配置对象继承自 PretrainedConfig，可用于控制模型输出。阅读 PretrainedConfig 的文档以获取更多信息。

GPTSanJapaneseTokenizer

类 transformers.GPTSanJapaneseTokenizer

< 源代码 >

参数

vocab_file (str) — 包含词汇表的的文件。
emoji_file (str) — 包含表情符号的文件。
unk_token (str，可选，默认为 "<|nottoken|>") — 用于未知字符的标记。
pad_token (str，可选，默认为 "<|separator|>") — 用于填充的标记。
bos_token (str，可选，默认为 "<|startoftext|>") — 序列开始标记。
sep_token (str，可选，默认为 "<|segmenter|>") — 用于分隔前缀部分和常规输入部分的特殊标记。
do_clean_text (bool，可选，默认为 False) — 是否清理文本中的 URL、电子邮件、电话号码、日语日期和日语价格。

此分词器基于 GPTNeoXJapaneseTokenizer 并进行了以下修改

正确解码 byte0~byte255 标记
添加了词袋标记处理
为前缀语言模型返回 token_type_ids 词袋标记表示先前标记的重复，在解码时会转换为 3 个连续的标记。此外，原始的日语特殊子词编码已在此存储库中发布 (https://github.com/tanreinama/Japanese-BPEEncoder_V2)。token_type_ids 是一个掩码，指示前缀语言模型的前缀输入位置。要指定前缀位置，请为 prefix_text 指定前缀输入，或将前缀部分和其后的部分的句子指定为批输入的文本对。

示例

>>> from transformers import GPTSanJapaneseTokenizer

>>> tokenizer = GPTSanJapaneseTokenizer.from_pretrained("Tanrei/GPTSAN-japanese")
>>> # You can confirm both 慶応 and 慶應 are encoded to 17750
>>> tokenizer("吾輩は猫である🐯。実は慶応(慶應)大学出身")["input_ids"]
[35993, 35998, 34347, 31459, 30647, 31448, 25, 30659, 35729, 35676, 32417, 30647, 17750, 35589, 17750, 35590, 321, 1281]

>>> # Both 慶応 and 慶應 are decoded to 慶応
>>> tokenizer.decode(tokenizer("吾輩は猫である🐯。実は慶応(慶應)大学出身")["input_ids"])
'吾輩は猫である🐯。実は慶応(慶応)大学出身'

前缀语言模型示例

>>> from transformers import GPTSanJapaneseTokenizer

>>> tokenizer = GPTSanJapaneseTokenizer.from_pretrained("Tanrei/GPTSAN-japanese")
>>> tokenizer("実は慶応(慶應)大学出身", prefix_text="吾輩は猫である🐯。")["input_ids"]
[35993, 34347, 31459, 30647, 31448, 25, 30659, 35729, 35676, 35998, 32417, 30647, 17750, 35589, 17750, 35590, 321, 1281]

>>> # Mask for Prefix-LM inputs
>>> tokenizer("実は慶応(慶應)大学出身", prefix_text="吾輩は猫である🐯。")["token_type_ids"]
[1, 1, 1, 1, 1, 1, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0]

批处理编码示例

>>> from transformers import GPTSanJapaneseTokenizer

>>> tokenizer = GPTSanJapaneseTokenizer.from_pretrained("Tanrei/GPTSAN-japanese")
>>> tokenizer([["武田信玄", "は、"], ["織田信長", "の配下の、"]], padding=True)["input_ids"]
[[35993, 35998, 8640, 25948, 35993, 35998, 30647, 35675, 35999, 35999], [35993, 35998, 10382, 9868, 35993, 35998, 30646, 9459, 30646, 35675]]

>>> # Mask for Prefix-LM inputs
>>> tokenizer([["武田信玄", "は、"], ["織田信長", "の配下の、"]], padding=True)["token_type_ids"]
[[1, 0, 0, 0, 0, 0, 0, 0, 0, 0], [1, 0, 0, 0, 0, 0, 0, 0, 0, 0]]

>>> # Mask for padding
>>> tokenizer([["武田信玄", "は、"], ["織田信長", "の配下の、"]], padding=True)["attention_mask"]
[[1, 1, 1, 1, 1, 1, 1, 1, 0, 0], [1, 1, 1, 1, 1, 1, 1, 1, 1, 1]]

convert_tokens_to_string

< 源代码 >

( tokens )

将一系列标记（字符串）转换为单个字符串。

create_token_type_ids_from_sequences

< 源代码 >

( token_ids_0: List token_ids_1: Optional = None )

分词器返回 token_type_ids 作为前缀部分和其余部分之间的分隔符。token_type_ids 对于前缀部分为 1，对于其余标记为 0。

示例

>>> from transformers import GPTSanJapaneseTokenizer

>>> tokenizer = GPTSanJapaneseTokenizer.from_pretrained("Tanrei/GPTSAN-japanese")
>>> x_token = tokenizer("ｱｲｳｴ")
>>> # input_ids:      | SOT | SEG | ｱ | ｲ | ｳ | ｴ |
>>> # token_type_ids: | 1   | 0   | 0 | 0 | 0 | 0 |

>>> x_token = tokenizer("", prefix_text="ｱｲｳｴ")
>>> # input_ids:      | SOT | ｱ | ｲ | ｳ | ｴ | SEG |
>>> # token_type_ids: | 1   | 1 | 1 | 1 | 1 | 0  |

>>> x_token = tokenizer("ｳｴ", prefix_text="ｱｲ")
>>> # input_ids:      | SOT | ｱ | ｲ | SEG | ｳ | ｴ |
>>> # token_type_ids: | 1   | 1 | 1 | 0   | 0 | 0 |

GPTSanJapaneseModel

类 transformers.GPTSanJapaneseModel

< 源代码 >

( config: GPTSanJapaneseConfig )

参数

config (GPTSanJapaneseConfig) — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型关联的权重，仅加载配置。查看 from_pretrained() 方法以加载模型权重。

基本的 GPTSAN-japanese 模型转换器，输出原始隐藏状态，没有任何特定的头部。

GPTSAN-japanese 模型在 General-purpose Swich transformer based Japanese language model 中被提出。

此模型也是 PyTorch torch.nn.Module 的子类。将其用作常规的 PyTorch 模块，并参考 PyTorch 文档了解所有与一般用法和行为相关的事项。

forward

< 源代码 >

( input_ids: Optional = None attention_mask: Optional = None token_type_ids: Optional = None spout: Optional = None past_key_values: Optional = None head_mask: Optional = None use_cache: Optional = False inputs_embeds: Optional = None decoder_inputs_embeds: Optional = None output_attentions: Optional = None output_hidden_states: Optional = None return_dict: Optional = None output_router_logits: Optional = None num_precontext: Optional = None )

参数

input_ids (torch.LongTensor 形状为 (batch_size, sequence_length)) — 词汇表中输入序列标记的索引。GPTSAN-japanese 是一个生成句子延续或预测掩码位置标记的模型。模型输入所需的特殊标记会自动追加。
attention_mask (torch.FloatTensor 形状为 (batch_size, sequence_length), 可选) — 用于避免对填充标记索引执行注意力的掩码。掩码值选择在 [0, 1] 中：
- 1 表示未被掩码的标记，
- 0 表示被掩码的标记。
什么是注意力掩码？
token_type_ids (torch.FloatTensor 形状为 (batch_size, sequence_length), 可选) — 用于掩盖前缀语言模型输入中前缀部分的输入。掩码值选择在 [0, 1] 中：
- 1 表示前缀输入，
- 0 表示非前缀输入。
spout (torch.Tensor 形状为 (batch_size, config.d_spout)) — 该向量通过一个 8 层 FFN 进行转换，可以替代 past_key_values 使用。
past_key_values (tuple(tuple(torch.FloatTensor)) 长度为 config.n_layers，每个元组包含 4 个形状为 (batch_size, num_heads, sequence_length - 1, embed_size_per_head) 的张量) — 包含注意力块的预计算键和值隐藏状态。可用于加速解码。

如果使用 past_key_values，用户可以选择仅输入最后一个 decoder_input_ids（其过去键值状态未提供给此模型）形状为 (batch_size, 1)，而不是所有 decoder_input_ids 形状为 (batch_size, sequence_length)。
head_mask (torch.FloatTensor 形状为 (num_heads,) 或 (num_layers, num_heads), 可选) — 用于使自注意力模块的选定头部无效的掩码。掩码值选择在 [0, 1] 中：
use_cache (bool, 可选) — 如果设置为 True，则返回 past_key_values 键值状态，可用于加速解码（参见 past_key_values）。
inputs_embeds (torch.FloatTensor 形状为 (batch_size, sequence_length, hidden_size), 可选) — 可选地，您可以选择直接传递嵌入表示，而不是传递 input_ids。如果您希望比模型的内部嵌入查找矩阵对如何将 input_ids 索引转换为关联向量有更多控制权，这将非常有用。
decoder_inputs_embeds (torch.FloatTensor 形状为 (batch_size, target_sequence_length, hidden_size)，可选) — 可选地，您可以选择直接传递嵌入表示，而不是传递 decoder_input_ids。如果使用 past_key_values，则可以选择仅输入最后一个 decoder_inputs_embeds（请参阅 past_key_values）。如果您希望对如何将 decoder_input_ids 索引转换为关联向量进行比模型内部嵌入查找矩阵更多的控制，这将非常有用。
output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的 attentions。
output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的 hidden_states。
return_dict (bool，可选) — 是否返回 ModelOutput 而不是普通元组。
router_logits (tuple(torch.FloatTensor)，可选，在传递 output_router_logits=True 或 config.add_router_probs=True 时返回) — torch.FloatTensor 的元组（每个层一个），形状为 (batch_size, sequence_length, num_experts)。解码器模型的路由 logits，用于计算专家混合模型的辅助损失。
num_precontext (torch.LongTensor 形状为 (batch_size,1)) — 输入中 hybrid 输入标记的长度。最多此长度的标记同时引用前面和后面，如 BERT，之后仅引用前面，如 GPT。另请参阅：https://github.com/tanreinama/GPTSAN/blob/main/report/model.md

GPTSanJapaneseModel 的前向方法覆盖了 __call__ 特殊方法。

尽管前向传递的配方需要在此函数中定义，但之后应该调用 Module 实例，而不是此函数，因为前者负责运行预处理和后处理步骤，而后者则会静默地忽略它们。

GPTSanJapaneseForConditionalGeneration

类 transformers.GPTSanJapaneseForConditionalGeneration

< 源代码 >

( config: GPTSanJapaneseConfig )

参数

config (GPTSanJapaneseConfig) — 模型配置类，包含模型的所有参数。使用配置文件进行初始化不会加载与模型关联的权重，只会加载配置。请查看 from_pretrained() 方法以加载模型权重。

带有语言建模头的基本 GPTSAN-japanese 模型。

GPTSAN-japanese 模型在 General-purpose Swich transformer based Japanese language model 中被提出。

此模型也是 PyTorch torch.nn.Module 的子类。将其用作常规的 PyTorch 模块，并参考 PyTorch 文档了解所有与一般用法和行为相关的事项。

forward

参数

input_ids (torch.LongTensor 形状为 (batch_size, sequence_length)) — 词汇表中输入序列标记的索引。GPTSAN-japanese 是一个生成句子延续或预测掩码位置标记的模型。模型输入所需的特殊标记会自动附加。
attention_mask (torch.FloatTensor 形状为 (batch_size, sequence_length), 可选) — 用于避免对填充标记索引执行注意力的掩码。掩码值选择在 [0, 1] 中：
- 1 表示未被掩码的标记，
- 0 表示被掩码的标记。
什么是注意力掩码？
token_type_ids (torch.FloatTensor 形状为 (batch_size, sequence_length), 可选) — 掩码前缀语言模型输入中前缀部分的输入。掩码值选择在 [0, 1] 中：
- 1 表示前缀输入，
- 0 表示非前缀输入。
spout (torch.Tensor 形状为 (batch_size, config.d_spout)) — 此向量通过 8 层 FFN 进行转换，可用于代替 past_key_values。
past_key_values (tuple(tuple(torch.FloatTensor)) 长度为 config.n_layers，每个元组包含 4 个形状为 (batch_size, num_heads, sequence_length - 1, embed_size_per_head) 的张量) — 包含注意力块的预计算键和值隐藏状态。可用于加速解码。

如果使用 past_key_values，用户可以选择仅输入最后一个 decoder_input_ids（其过去键值状态未提供给此模型）形状为 (batch_size, 1)，而不是所有 decoder_input_ids 形状为 (batch_size, sequence_length)。
head_mask (torch.FloatTensor 形状为 (num_heads,) 或 (num_layers, num_heads), 可选) — 用于使自注意力模块的选定头无效的掩码。掩码值选择在 [0, 1] 中：
use_cache (bool, 可选) — 如果设置为 True，则返回 past_key_values 键值状态，可用于加速解码（参见 past_key_values）。
inputs_embeds (torch.FloatTensor 形状为 (batch_size, sequence_length, hidden_size), 可选) — 可选地，您可以选择直接传递嵌入表示，而不是传递 input_ids。如果您希望对如何将 input_ids 索引转换为关联向量进行比模型内部嵌入查找矩阵更多的控制，这将非常有用。
decoder_inputs_embeds (torch.FloatTensor 形状为 (batch_size, target_sequence_length, hidden_size)，可选) — 可选地，您可以选择直接传递嵌入表示，而不是传递 decoder_input_ids。如果使用 past_key_values，则可选地只需要输入最后一个 decoder_inputs_embeds（参见 past_key_values）。如果您希望对如何将 decoder_input_ids 索引转换为关联向量进行比模型内部嵌入查找矩阵更多的控制，这将非常有用。
output_attentions (bool，可选) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参见返回张量下的 attentions。
output_hidden_states (bool，可选) — 是否返回所有层的隐藏状态。有关更多详细信息，请参见返回张量下的 hidden_states。
return_dict (bool，可选) — 是否返回 ModelOutput 而不是普通元组。
router_logits (tuple(torch.FloatTensor)，可选，在传递 output_router_logits=True 或 config.add_router_probs=True 时返回) — torch.FloatTensor 的元组（每个层一个），形状为 (batch_size, sequence_length, num_experts)。解码器模型的路由 logits，可用于计算专家混合模型的辅助损失。
labels (torch.LongTensor 形状为 (batch_size,)，可选) — 用于计算序列分类损失的标签。索引应在 [-100, 0, ..., config.vocab_size - 1] 中。所有设置为 -100 的标签都将被忽略（屏蔽），损失仅针对 [0, ..., config.vocab_size] 中的标签计算。

GPTSanJapaneseForConditionalGeneration 的前向方法覆盖了 __call__ 特殊方法。

示例

使用常规 LM 模型进行文本生成

>>> from transformers import AutoModel, AutoTokenizer, trainer_utils

>>> device = "cuda"
>>> model = AutoModel.from_pretrained("Tanrei/GPTSAN-japanese").to(device)
>>> tokenizer = AutoTokenizer.from_pretrained("Tanrei/GPTSAN-japanese")
>>> x_token = tokenizer("織田信長は、", return_tensors="pt")
>>> trainer_utils.set_seed(30)
>>> input_ids = x_token.input_ids.to(device)
>>> gen_token = model.generate(input_ids, max_new_tokens=50)
>>> tokenizer.decode(gen_token[0])
"織田信長は、政治・軍事の中枢まで掌握した政治家であり、日本史上類を見ない驚異的な軍事侵攻を続け..."

使用前缀 LM 模型进行文本生成

>>> from transformers import AutoModel, AutoTokenizer, trainer_utils

>>> device = "cuda"
>>> model = AutoModel.from_pretrained("Tanrei/GPTSAN-japanese").to(device)
>>> tokenizer = AutoTokenizer.from_pretrained("Tanrei/GPTSAN-japanese")
>>> x_token = tokenizer("", prefix_text="織田信長は、", return_tensors="pt")
>>> trainer_utils.set_seed(30)
>>> input_ids = x_token.input_ids.to(device)
>>> token_type_ids = x_token.token_type_ids.to(device)
>>> gen_token = model.generate(input_ids, token_type_ids=token_type_ids, max_new_tokens=50)
>>> tokenizer.decode(gen_token[0])
"織田信長は、政治・外交で数々の戦果を上げるが、1568年からは、いわゆる本能寺の変で細川晴元に暗殺される..."

同时进行文本生成和掩码语言模型

>>> from transformers import AutoModel, AutoTokenizer, trainer_utils

>>> device = "cuda"
>>> model = AutoModel.from_pretrained("Tanrei/GPTSAN-japanese").to(device)
>>> tokenizer = AutoTokenizer.from_pretrained("Tanrei/GPTSAN-japanese")
>>> masked_sentence = "武田信玄は、<|inputmask|>時代ファンならぜひ押さえ<|inputmask|>きたい名将の一人。"
>>> x_token = tokenizer("", prefix_text=masked_sentence, return_tensors="pt")
>>> trainer_utils.set_seed(30)
>>> input_ids = x_token.input_ids.to(device)
>>> token_type_ids = x_token.token_type_ids.to(device)
>>> out_lm_token = model.generate(input_ids, token_type_ids=token_type_ids, max_new_tokens=50)
>>> out_mlm_token = model(input_ids, token_type_ids=token_type_ids).logits.argmax(axis=-1)
>>> tokenizer.decode(out_mlm_token[0])
"武田信玄は、戦国時代ファンならぜひ押さえておきたい名将の一人。"

>>> tokenizer.decode(out_lm_token[0][input_ids.shape[1] :])
"武田氏の三代に渡った武田家のひとり\n甲斐市に住む、日本史上最大の戦国大名。..."

< > 在 GitHub 上更新

←GPTBigCode GPTSw3→