Transformers 文档
CPMAnt
并获得增强的文档体验
开始使用
CPMAnt
概述
CPM-Ant 是一个开源的中文预训练语言模型(PLM),拥有 100 亿参数。它也是 CPM-Live 实时训练过程的第一个里程碑。其训练过程具有成本效益和环境友好性。CPM-Ant 在 CUGE 基准测试上通过增量微调也取得了可喜的成果。除了完整的模型,我们还提供了各种压缩版本,以满足不同硬件配置的需求。查看更多
资源
- 关于 CPM-Live 的教程。
CpmAntConfig
class transformers.CpmAntConfig
< 源 >( vocab_size: int = 30720 hidden_size: int = 4096 num_attention_heads: int = 32 dim_head: int = 128 dim_ff: int = 10240 num_hidden_layers: int = 48 dropout_p: int = 0.0 position_bias_num_buckets: int = 512 position_bias_max_distance: int = 2048 eps: int = 1e-06 init_std: float = 1.0 prompt_types: int = 32 prompt_length: int = 32 segment_types: int = 32 use_cache: bool = True **kwargs )
参数
- vocab_size (
int
, 可选, 默认为 30720) — CPMAnt 模型的词汇表大小。定义了在调用 CpmAntModel 时传递的 `input` 可以表示的不同标记的数量。 - hidden_size (
int
, 可选, 默认为 4096) — 编码器层的维度。 - num_attention_heads (
int
, 可选, 默认为 32) — Transformer 编码器中的注意力头数量。 - dim_head (
int
, 可选, 默认为 128) — Transformer 编码器中每个注意力层的注意力头维度。 - dim_ff (
int
, 可选, 默认为 10240) — Transformer 编码器中“中间层”(即前馈层)的维度。 - num_hidden_layers (
int
, 可选, 默认为 48) — Transformer 编码器的层数。 - dropout_p (
float
, 可选, 默认为 0.0) — 嵌入层和编码器中所有全连接层的丢弃概率。 - position_bias_num_buckets (
int
, 可选, 默认为 512) — 位置偏置桶的数量。 - position_bias_max_distance (
int
, 可选, 默认为 2048) — 该模型可能使用的最大序列长度。通常设置为一个较大的值以备不时之需(例如 512、1024 或 2048)。 - eps (
float
, 可选, 默认为 1e-06) — 层归一化层使用的 epsilon 值。 - init_std (
float
, 可选, 默认为 1.0) — 使用标准差为 init_std 初始化参数。 - prompt_types (
int
, 可选, 默认为 32) — 提示的类型。 - prompt_length (
int
, 可选, 默认为 32) — 提示的长度。 - segment_types (
int
, 可选, 默认为 32) — 段落的类型。 - use_cache (
bool
, 可选, 默认为True
) — 是否使用缓存。
这是一个配置类,用于存储 CpmAntModel 的配置。它用于根据指定的参数实例化一个 CPMAnt 模型,定义模型架构。使用默认值实例化配置将产生与 CPMAnt openbmb/cpm-ant-10b 架构类似的配置。
配置对象继承自 PretrainedConfig,可用于控制模型输出。有关更多信息,请阅读 PretrainedConfig 的文档。
示例
>>> from transformers import CpmAntModel, CpmAntConfig
>>> # Initializing a CPMAnt cpm-ant-10b style configuration
>>> configuration = CpmAntConfig()
>>> # Initializing a model from the cpm-ant-10b style configuration
>>> model = CpmAntModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config
CpmAntTokenizer
class transformers.CpmAntTokenizer
< 源 >( vocab_file bod_token = '<d>' eod_token = '</d>' bos_token = '<s>' eos_token = '</s>' pad_token = '<pad>' unk_token = '<unk>' line_token = '</n>' space_token = '</_>' padding_side = 'left' **kwargs )
参数
- vocab_file (
str
) — 词汇表文件的路径。 - bod_token (
str
, 可选, 默认为"<d>"
) — 文档开始标记。 - eod_token (
str
, 可选, 默认为"</d>"
) — 文档结束标记。 - bos_token (
str
, 可选, 默认为"<s>"
) — 序列开始标记。 - eos_token (
str
, 可选, 默认为"</s>"
) — 序列结束标记。 - pad_token (
str
, 可选, 默认为"<pad>"
) — 用于填充的标记。 - unk_token (
str
, 可选, 默认为"<unk>"
) — 未知标记。 - line_token (
str
, 可选, 默认为"</n>"
) — 换行符标记。 - space_token (
str
, 可选, 默认为"</_>"
) — 空格标记。
构建一个 CPMAnt 分词器。基于字节级字节对编码(Byte-Pair-Encoding)。
build_inputs_with_special_tokens
< source >( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None ) → list[int]
通过拼接和添加特殊标记,从单个序列或序列对为序列分类任务构建模型输入。CPMAnt 序列具有以下格式:
- 单个序列:
[BOS] Sequence
。
get_special_tokens_mask
< source >( token_ids_0: list token_ids_1: typing.Optional[list[int]] = None already_has_special_tokens: bool = False ) → list[int]
从没有添加特殊标记的标记列表中检索序列ID。此方法在使用分词器prepare_for_model
方法添加特殊标记时调用。
CpmAntModel
class transformers.CpmAntModel
< source >( config: CpmAntConfig )
参数
- config (CpmAntConfig) — 模型配置类,包含模型的所有参数。使用配置文件初始化不会加载与模型相关的权重,只会加载配置。请查阅 from_pretrained() 方法来加载模型权重。
基础 Cpmant 模型,输出原始的隐藏状态,顶部没有任何特定的头部。
此模型继承自 PreTrainedModel。请查阅超类文档以了解该库为其所有模型实现的通用方法(例如下载或保存、调整输入嵌入大小、修剪头部等)。
该模型也是 PyTorch torch.nn.Module 的子类。可以像常规 PyTorch 模块一样使用它,并参考 PyTorch 文档了解所有与通用用法和行为相关的事项。
forward
< source >( input_ids: typing.Optional[torch.Tensor] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None past_key_values: typing.Optional[tuple[tuple[torch.Tensor]]] = None use_cache: typing.Optional[bool] = None return_dict: typing.Optional[bool] = None **kwargs ) → transformers.modeling_outputs.BaseModelOutputWithPast 或 tuple(torch.FloatTensor)
参数
- input_ids (
torch.Tensor
,形状为(batch_size, seq_len)
) — 词汇表中输入序列标记的索引。可以使用
CPMAntTokenizer
获取索引。详情请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。 - output_attentions (
bool
, 可选) — 是否返回所有注意力层的注意力张量。更多细节请参阅返回张量下的attentions
。 - output_hidden_states (
bool
, 可选) — 是否返回所有层的隐藏状态。更多细节请参阅返回张量下的hidden_states
。 - past_key_values (
tuple[tuple[torch.Tensor]]
, 可选) — 预计算的隐藏状态(自注意力块和交叉注意力块中的键和值),可用于加速序列解码。这通常包含在use_cache=True
或config.use_cache=True
时由模型在解码的先前阶段返回的past_key_values
。允许两种格式:
- 一个 Cache 实例,请参阅我们的 kv 缓存指南;
- 长度为
config.n_layers
的tuple(torch.FloatTensor)
元组,每个元组包含2个形状为(batch_size, num_heads, sequence_length, embed_size_per_head)
的张量。这也称为传统缓存格式。
模型将输出与输入相同的缓存格式。如果没有传递
past_key_values
,将返回传统缓存格式。如果使用
past_key_values
,用户可以选择只输入形状为(batch_size, 1)
的最后一个input_ids
(那些没有提供过去键值状态给该模型的),而不是形状为(batch_size, sequence_length)
的所有input_ids
。 - use_cache (
bool
, 可选) — 如果设置为True
,将返回past_key_values
键值状态,可用于加速解码(参见past_key_values
)。 - return_dict (
bool
, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。
返回
transformers.modeling_outputs.BaseModelOutputWithPast 或 tuple(torch.FloatTensor)
一个 transformers.modeling_outputs.BaseModelOutputWithPast 或一个 `torch.FloatTensor` 的元组(如果传递 `return_dict=False` 或 `config.return_dict=False`),根据配置(CpmAntConfig)和输入,包含不同的元素。
-
last_hidden_state (
torch.FloatTensor
, 形状为(batch_size, sequence_length, hidden_size)
) — 模型最后一层输出的隐藏状态序列。如果使用了
past_key_values
,则只输出形状为(batch_size, 1, hidden_size)
的序列的最后一个隐藏状态。 -
past_key_values (
Cache
, 可选, 在传递 `use_cache=True` 或 `config.use_cache=True` 时返回) — 这是一个 Cache 实例。更多详情,请参阅我们的 kv 缓存指南。包含预计算的隐藏状态(自注意力块中的键和值,如果 `config.is_encoder_decoder=True`,则还包括交叉注意力块中的键和值),可用于(参见 `past_key_values` 输入)加速序列解码。
-
hidden_states (
tuple(torch.FloatTensor)
, 可选, 当传递output_hidden_states=True
或config.output_hidden_states=True
时返回) — `torch.FloatTensor` 的元组(一个用于嵌入层的输出,如果模型有嵌入层,+ 一个用于每层输出),形状为 `(batch_size, sequence_length, hidden_size)`。模型在每个层输出的隐藏状态以及可选的初始嵌入输出。
-
attentions (
tuple(torch.FloatTensor)
, 可选, 当传递output_attentions=True
或config.output_attentions=True
时返回) — `torch.FloatTensor` 的元组(每层一个),形状为 `(batch_size, num_heads, sequence_length, sequence_length)`。注意力 softmax 后的注意力权重,用于计算自注意力头中的加权平均值。
CpmAntModel 的 forward 方法,重写了 `__call__` 特殊方法。
尽管前向传播的流程需要在此函数内定义,但之后应调用 `Module` 实例而不是此函数,因为前者会处理运行前处理和后处理步骤,而后者会默默地忽略它们。
CpmAntForCausalLM
class transformers.CpmAntForCausalLM
< source >( config: CpmAntConfig )
参数
- config (CpmAntConfig) — 模型配置类,包含模型的所有参数。使用配置文件初始化不会加载与模型相关的权重,只会加载配置。请查阅 from_pretrained() 方法来加载模型权重。
带有语言模型头部的 CPMAnt 模型(一个与输入嵌入权重绑定的线性层)。
此模型继承自 PreTrainedModel。请查阅超类文档以了解该库为其所有模型实现的通用方法(例如下载或保存、调整输入嵌入大小、修剪头部等)。
该模型也是 PyTorch torch.nn.Module 的子类。可以像常规 PyTorch 模块一样使用它,并参考 PyTorch 文档了解所有与通用用法和行为相关的事项。
forward
< source >( input_ids: typing.Optional[torch.Tensor] = None past_key_values: typing.Optional[list[tuple[torch.Tensor, torch.Tensor]]] = None use_cache: typing.Optional[bool] = None output_attentions: typing.Optional[bool] = None output_hidden_states: typing.Optional[bool] = None labels: typing.Optional[torch.Tensor] = None return_dict: typing.Optional[bool] = None attention_mask: typing.Optional[torch.Tensor] = None **kwargs ) → transformers.modeling_outputs.CausalLMOutputWithPast 或 tuple(torch.FloatTensor)
参数
- input_ids (
torch.Tensor
,形状为(batch_size, seq_len)
) — 词汇表中输入序列标记的索引。可以使用
CPMAntTokenizer
获取索引。详情请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。 - past_key_values (
list[tuple[torch.Tensor, torch.Tensor]]
, 可选) — 预计算的隐藏状态(自注意力块和交叉注意力块中的键和值),可用于加速序列解码。这通常包含在use_cache=True
或config.use_cache=True
时由模型在解码的先前阶段返回的past_key_values
。允许两种格式:
- 一个 Cache 实例,请参阅我们的 kv 缓存指南;
- 长度为
config.n_layers
的tuple(torch.FloatTensor)
元组,每个元组包含2个形状为(batch_size, num_heads, sequence_length, embed_size_per_head)
的张量。这也称为传统缓存格式。
模型将输出与输入相同的缓存格式。如果没有传递
past_key_values
,将返回传统缓存格式。如果使用
past_key_values
,用户可以选择只输入形状为(batch_size, 1)
的最后一个input_ids
(那些没有提供过去键值状态给该模型的),而不是形状为(batch_size, sequence_length)
的所有input_ids
。 - use_cache (
bool
, 可选) — 如果设置为True
,将返回past_key_values
键值状态,可用于加速解码(参见past_key_values
)。 - output_attentions (
bool
, 可选) — 是否返回所有注意力层的注意力张量。更多细节请参阅返回张量下的attentions
。 - output_hidden_states (
bool
, 可选) — 是否返回所有层的隐藏状态。更多细节请参阅返回张量下的hidden_states
。 - labels (
torch.Tensor
,形状为(batch_size, sequence_length)
,可选) — 用于计算掩码语言建模损失的标签。 - return_dict (
bool
, 可选) — 是否返回一个 ModelOutput 而不是一个普通的元组。 - attention_mask (
torch.Tensor
,形状为(batch_size, sequence_length)
,可选) — 用于避免在填充标记索引上执行注意力的掩码。掩码值在[0, 1]
中选择:- 1 表示**未被屏蔽**的标记,
- 0 表示**被屏蔽**的标记。
返回
transformers.modeling_outputs.CausalLMOutputWithPast 或 tuple(torch.FloatTensor)
一个 transformers.modeling_outputs.CausalLMOutputWithPast 或一个 `torch.FloatTensor` 的元组(如果传递 `return_dict=False` 或 `config.return_dict=False`),根据配置(CpmAntConfig)和输入,包含不同的元素。
-
loss (
torch.FloatTensor
形状为(1,)
,可选,当提供labels
时返回) — 语言建模损失(用于下一个 token 预测)。 -
logits (形状为
(batch_size, sequence_length, config.vocab_size)
的torch.FloatTensor
) — 语言建模头部的预测分数(SoftMax 之前的每个词汇标记的分数)。 -
past_key_values (
Cache
, 可选, 在传递 `use_cache=True` 或 `config.use_cache=True` 时返回) — 这是一个 Cache 实例。更多详情,请参阅我们的 kv 缓存指南。包含预计算的隐藏状态(自注意力块中的键和值),可用于(参见
past_key_values
输入)加速顺序解码。 -
hidden_states (
tuple(torch.FloatTensor)
, 可选, 当传递output_hidden_states=True
或config.output_hidden_states=True
时返回) — `torch.FloatTensor` 的元组(一个用于嵌入层的输出,如果模型有嵌入层,+ 一个用于每层输出),形状为 `(batch_size, sequence_length, hidden_size)`。模型在每个层输出的隐藏状态以及可选的初始嵌入输出。
-
attentions (
tuple(torch.FloatTensor)
, 可选, 当传递output_attentions=True
或config.output_attentions=True
时返回) — `torch.FloatTensor` 的元组(每层一个),形状为 `(batch_size, num_heads, sequence_length, sequence_length)`。注意力 softmax 后的注意力权重,用于计算自注意力头中的加权平均值。
CpmAntForCausalLM 的 forward 方法,重写了 `__call__` 特殊方法。
尽管前向传播的流程需要在此函数内定义,但之后应调用 `Module` 实例而不是此函数,因为前者会处理运行前处理和后处理步骤,而后者会默默地忽略它们。
示例
使用 CpmAntForCausalLM 进行文本生成。
>>> from transformers import CPMAntTokenizer, CpmAntForCausalLM
>>> texts = "今天天气不错,"
>>> model = CpmAntForCausalLM.from_pretrained("openbmb/cpm-ant-10b")
>>> tokenizer = CPMAntTokenizer.from_pretrained("openbmb/cpm-ant-10b")
>>> input_ids = tokenizer(texts, return_tensors="pt")
>>> outputs = model.generate(**input_ids)
>>> output_texts = tokenizer.batch_decode(outputs)
>>> print(output_texts)
['今天天气不错,阳光明媚,我和妈妈一起去超市买东西。\n在超市里,我看到了一个很好玩的玩具,它的名字叫“机器人”。它有一个圆圆的脑袋,两只圆圆的眼睛,还有一个圆圆的']