Transformers 文档
CPMAnt
并获得增强的文档体验
开始使用
该模型于 2022-09-16 发布，并于 2023-04-12 添加到 Hugging Face Transformers。
CPMAnt
概述
CPM-Ant 是一款开源的 10B 参数中文预训练语言模型（PLM）。它也是 CPM-Live 实时训练过程的第一个里程碑。该训练过程具有成本效益且对环境友好。CPM-Ant 在 CUGE 基准测试上通过增量微调也取得了令人鼓舞的结果。除了完整模型之外，我们还提供各种压缩版本以满足不同硬件配置的需求。了解更多
资源
- 关于CPM-Live的教程。
CpmAntConfig
class transformers.CpmAntConfig
< 源文件 >( vocab_size: int = 30720 hidden_size: int = 4096 num_attention_heads: int = 32 dim_head: int = 128 dim_ff: int = 10240 num_hidden_layers: int = 48 dropout_p: int = 0.0 position_bias_num_buckets: int = 512 position_bias_max_distance: int = 2048 eps: int = 1e-06 init_std: float = 1.0 prompt_types: int = 32 prompt_length: int = 32 segment_types: int = 32 use_cache: bool = True tie_word_embeddings = True **kwargs )
参数
- vocab_size (
int, optional, defaults to 30720) — CPMAnt 模型词汇表大小。定义调用 CpmAntModel 时传递的input可以表示的不同 token 的数量。 - hidden_size (
int, optional, defaults to 4096) — Encoder 层的维度。 - num_attention_heads (
int, optional, defaults to 32) — Transformer encoder 中注意力头的数量。 - dim_head (
int, optional, defaults to 128) — Transformer encoder 中每个注意力层的注意力头维度。 - dim_ff (
int, optional, defaults to 10240) — Transformer encoder 中“中间”（即前馈）层的维度。 - num_hidden_layers (
int, optional, defaults to 48) — Transformer encoder 的层数。 - dropout_p (
float, optional, defaults to 0.0) — 嵌入层、编码器中所有全连接层的 dropout 概率。 - position_bias_num_buckets (
int, optional, defaults to 512) — position_bias 的桶数。 - position_bias_max_distance (
int, optional, defaults to 2048) — 此模型可能使用的最大序列长度。通常设置为较大的值以防万一（例如，512、1024 或 2048）。 - eps (
float, optional, defaults to 1e-06) — 层归一化层使用的 epsilon。 - init_std (
float, optional, defaults to 1.0) — 使用 std = init_std 初始化参数。 - prompt_types (
int, optional, defaults to 32) — 提示的类型。 - prompt_length (
int, optional, defaults to 32) — 提示的长度。 - segment_types (
int, optional, defaults to 32) — 语义的类型。 - use_cache (
bool, optional, defaults toTrue) — 是否使用缓存。 - tie_word_embeddings (
bool, optional, defaults toTrue) — 是否绑定词嵌入
这是用于存储 CpmAntModel 配置的配置类。它用于根据指定的参数实例化 CPMAnt 模型，定义模型的架构。使用默认值实例化配置将产生与 CPMAnt openbmb/cpm-ant-10b 架构相似的配置。
配置对象继承自 PreTrainedConfig，可用于控制模型输出。有关更多信息，请阅读 PreTrainedConfig 的文档。
示例
>>> from transformers import CpmAntModel, CpmAntConfig
>>> # Initializing a CPMAnt cpm-ant-10b style configuration
>>> configuration = CpmAntConfig()
>>> # Initializing a model from the cpm-ant-10b style configuration
>>> model = CpmAntModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configCpmAntTokenizer
class transformers.CpmAntTokenizer
< 源文件 >( vocab_file bod_token = '<d>' eod_token = '</d>' bos_token = '<s>' eos_token = '</s>' pad_token = '<pad>' unk_token = '<unk>' line_token = '</n>' space_token = '</_>' padding_side = 'left' **kwargs )
参数
- vocab_file (
str) — 词汇表文件的路径。 - bod_token (
str, optional, defaults to"<d>") — 文档开始标记。 - eod_token (
str, optional, defaults to"</d>") — 文档结束标记。 - bos_token (
str, optional, defaults to"<s>") — 序列开始标记。 - eos_token (
str, optional, defaults to"</s>") — 序列结束标记。 - pad_token (
str, optional, defaults to"<pad>") — 用于填充的 token。 - unk_token (
str, optional, defaults to"<unk>") — 未知 token。 - line_token (
str, optional, defaults to"</n>") — 行 token。 - space_token (
str, optional, defaults to"</_>") — 空格 token。
构建一个 CPMAnt 分词器。基于字节级别的 Byte-Pair-Encoding。
CpmAntModel
class transformers.CpmAntModel
< source >( config: CpmAntConfig )
参数
- config (CpmAntConfig) — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型相关的权重，仅加载配置。请查看 from_pretrained() 方法加载模型权重。
一个在顶部没有特定头部的裸露的 Cpmant 模型，输出原始的隐藏状态。
此模型继承自 PreTrainedModel。查看其父类文档，了解库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、修剪头等）。
此模型也是一个 PyTorch torch.nn.Module 子类。像普通的 PyTorch Module 一样使用它，并参考 PyTorch 文档了解一般用法和行为的所有相关信息。
forward
< source >( input_ids: torch.Tensor | None = None output_attentions: bool | None = None output_hidden_states: bool | None = None past_key_values: transformers.cache_utils.Cache | None = None use_cache: bool | None = None return_dict: bool | None = None cache_position: torch.Tensor | None = None **kwargs ) → transformers.modeling_outputs.BaseModelOutputWithPast 或 tuple(torch.FloatTensor)
参数
- input_ids (
torch.Tensor, shape(batch_size, seq_len)) — Vocabulary 中的输入序列 token 的索引。可以使用
CPMAntTokenizer获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。 - output_attentions (
bool, optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的attentions。 - output_hidden_states (
bool, optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的hidden_states。 - past_key_values (
~cache_utils.Cache, optional) — 预先计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码。这通常由模型在解码的先前阶段返回的past_key_values组成，当use_cache=True或config.use_cache=True时。仅允许 Cache 实例作为输入，请参阅我们的 kv cache 指南。如果未传入
past_key_values，默认将初始化 DynamicCache。模型将输出与输入相同的缓存格式。
如果使用
past_key_values，用户需要仅输入未处理的input_ids（即其过去键值状态未传递给此模型的那些），形状为(batch_size, unprocessed_length)，而不是所有input_ids的形状(batch_size, sequence_length)。 - use_cache (
bool, optional) — 如果设置为True，则返回past_key_values键值状态，并可用于加速解码（请参阅past_key_values）。 - return_dict (
bool, optional) — 是否返回一个 ModelOutput 而不是一个普通的元组。 - cache_position (
torch.Tensor, shape(sequence_length), optional) — 描绘输入序列 token 在序列中位置的索引。与position_ids不同，此张量不受填充的影响。它用于在正确位置更新缓存并推断完整的序列长度。
返回
transformers.modeling_outputs.BaseModelOutputWithPast or tuple(torch.FloatTensor)
根据配置（CpmAntConfig）和输入，返回一个 transformers.modeling_outputs.BaseModelOutputWithPast 或一个 torch.FloatTensor 元组（如果传入 return_dict=False 或当 config.return_dict=False 时）。
-
last_hidden_state (
torch.FloatTensor, 形状为(batch_size, sequence_length, hidden_size)) — 模型最后一层输出的隐藏状态序列。如果使用了
past_key_values，则只输出形状为(batch_size, 1, hidden_size)的序列的最后一个隐藏状态。 -
past_key_values (
Cache, optional, 当传递use_cache=True或当config.use_cache=True时返回) — 它是 Cache 实例。更多详情，请参阅我们的 kv cache 指南。Contains pre-computed hidden-states (key and values in the self-attention blocks and optionally if
config.is_encoder_decoder=Truein the cross-attention blocks) that can be used (seepast_key_valuesinput) to speed up sequential decoding. -
hidden_states (
tuple(torch.FloatTensor), optional, 当传递output_hidden_states=True或当config.output_hidden_states=True时返回) —torch.FloatTensor的元组（一个用于嵌入层的输出，如果模型有嵌入层；+一个用于每个层的输出），形状为(batch_size, sequence_length, hidden_size)。模型在每个层输出的隐藏状态以及可选的初始嵌入输出。
-
attentions (
tuple(torch.FloatTensor), optional, 当传递output_attentions=True或当config.output_attentions=True时返回) —torch.FloatTensor的元组（每个层一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。
重写 __call__ 特殊方法的 CpmAntModel forward 方法。
虽然 forward pass 的实现需要在此函数中定义，但你应该在之后调用
Module实例而不是这个，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。
CpmAntForCausalLM
class transformers.CpmAntForCausalLM
< source >( config: CpmAntConfig )
参数
- config (CpmAntConfig) — 模型配置类，包含模型的所有参数。使用配置文件初始化不会加载与模型相关的权重，仅加载配置。请查看 from_pretrained() 方法加载模型权重。
带有语言建模头部的 CPMAnt 模型（与输入嵌入权重绑定的线性层）。
此模型继承自 PreTrainedModel。查看其父类文档，了解库为所有模型实现的通用方法（例如下载或保存、调整输入嵌入大小、修剪头等）。
此模型也是一个 PyTorch torch.nn.Module 子类。像普通的 PyTorch Module 一样使用它，并参考 PyTorch 文档了解一般用法和行为的所有相关信息。
forward
< source >( input_ids: torch.Tensor | None = None past_key_values: transformers.cache_utils.Cache | None = None use_cache: bool | None = None output_attentions: bool | None = None output_hidden_states: bool | None = None labels: torch.Tensor | None = None return_dict: bool | None = None attention_mask: torch.Tensor | None = None cache_position: torch.Tensor | None = None logits_to_keep: int | torch.Tensor = 0 **kwargs ) → transformers.modeling_outputs.CausalLMOutputWithPast 或 tuple(torch.FloatTensor)
参数
- input_ids (
torch.Tensor, shape(batch_size, seq_len)) — Vocabulary 中的输入序列 token 的索引。可以使用
CPMAntTokenizer获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。 - past_key_values (
~cache_utils.Cache, optional) — 预先计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码。这通常由模型在解码的先前阶段返回的past_key_values组成，当use_cache=True或config.use_cache=True时。仅允许 Cache 实例作为输入，请参阅我们的 kv cache 指南。如果未传入
past_key_values，默认将初始化 DynamicCache。模型将输出与输入相同的缓存格式。
如果使用
past_key_values，用户需要仅输入未处理的input_ids（即其过去键值状态未传递给此模型的那些），形状为(batch_size, unprocessed_length)，而不是所有input_ids的形状(batch_size, sequence_length)。 - use_cache (
bool, optional) — 如果设置为True，则返回past_key_values键值状态，并可用于加速解码（请参阅past_key_values）。 - output_attentions (
bool, optional) — 是否返回所有注意力层的注意力张量。有关更多详细信息，请参阅返回张量下的attentions。 - output_hidden_states (
bool, optional) — 是否返回所有层的隐藏状态。有关更多详细信息，请参阅返回张量下的hidden_states。 - labels (
torch.Tensor, shape(batch_size, sequence_length), optional) — 用于计算掩码语言模型损失的标签。 - return_dict (
bool, optional) — 是否返回 ModelOutput 而不是普通元组。 - attention_mask (
torch.Tensor, shape(batch_size, sequence_length), optional) — 用于避免在填充标记索引上执行注意力的掩码。掩码值选择在[0, 1]中：- 1 表示未被掩盖的标记，
- 0 表示被掩盖的标记。
- cache_position (
torch.Tensor, shape(sequence_length), optional) — 描述输入序列标记在序列中的位置的索引。与position_ids相反，此张量不受填充的影响。它用于在正确的位置更新缓存并推断完整的序列长度。 - logits_to_keep (
Union[int, torch.Tensor], optional, 默认为0) — 如果为int，则计算最后logits_to_keep个标记的 logit。如果为0，则计算所有input_ids的 logit（特殊情况）。仅最后一个标记的 logit 对于生成是必需的，并且仅为该标记计算 logit 可以节省内存，这对于长序列或大词汇量非常重要。如果为torch.Tensor，则必须是一维的，对应于序列长度维度中要保留的索引。当使用打包张量格式（批处理和序列长度的单维度）时，这很有用。
返回
transformers.modeling_outputs.CausalLMOutputWithPast or tuple(torch.FloatTensor)
根据配置（CpmAntConfig）和输入，可能是 transformers.modeling_outputs.CausalLMOutputWithPast 或一个元组（如果传递了 return_dict=False 或当 config.return_dict=False 时），其中包含各种元素。
-
loss (
torch.FloatTensor形状为(1,)，可选，当提供labels时返回) — 语言建模损失（用于下一个 token 预测）。 -
logits (形状为
(batch_size, sequence_length, config.vocab_size)的torch.FloatTensor) — 语言建模头部的预测分数（SoftMax 之前的每个词汇标记的分数）。 -
past_key_values (
Cache, optional, 当传递use_cache=True或当config.use_cache=True时返回) — 它是 Cache 实例。更多详情，请参阅我们的 kv cache 指南。包含预计算的隐藏状态（自注意力块中的键和值），可用于（参见
past_key_values输入）加速顺序解码。 -
hidden_states (
tuple(torch.FloatTensor), optional, 当传递output_hidden_states=True或当config.output_hidden_states=True时返回) —torch.FloatTensor的元组（一个用于嵌入层的输出，如果模型有嵌入层；+一个用于每个层的输出），形状为(batch_size, sequence_length, hidden_size)。模型在每个层输出的隐藏状态以及可选的初始嵌入输出。
-
attentions (
tuple(torch.FloatTensor), optional, 当传递output_attentions=True或当config.output_attentions=True时返回) —torch.FloatTensor的元组（每个层一个），形状为(batch_size, num_heads, sequence_length, sequence_length)。注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。
CpmAntForCausalLM 的前向方法会覆盖 __call__ 特殊方法。
虽然 forward pass 的实现需要在此函数中定义，但你应该在之后调用
Module实例而不是这个，因为前者负责运行预处理和后处理步骤，而后者会静默地忽略它们。
示例
使用 CpmAntForCausalLM 进行文本生成。
>>> from transformers import CPMAntTokenizer, CpmAntForCausalLM
>>> texts = "今天天气不错，"
>>> model = CpmAntForCausalLM.from_pretrained("openbmb/cpm-ant-10b")
>>> tokenizer = CPMAntTokenizer.from_pretrained("openbmb/cpm-ant-10b")
>>> input_ids = tokenizer(texts, return_tensors="pt")
>>> outputs = model.generate(**input_ids)
>>> output_texts = tokenizer.batch_decode(outputs)
>>> print(output_texts)
['今天天气不错，阳光明媚，我和妈妈一起去超市买东西。\n在超市里，我看到了一个很好玩的玩具，它的名字叫“机器人”。它有一个圆圆的脑袋，两只圆圆的眼睛，还有一个圆圆的']