OLMo

概述

OLMo 模型由 Dirk Groeneveld、Iz Beltagy、Pete Walsh、Akshita Bhagia、Rodney Kinney、Oyvind Tafjord、Ananya Harsh Jha、Hamish Ivison、Ian Magnusson、Yizhong Wang、Shane Arora、David Atkinson、Russell Authur、Khyathi Raghavi Chandu、Arman Cohan、Jennifer Dumas、Yanai Elazar、Yuling Gu、Jack Hessel、Tushar Khot、William Merrill、Jacob Morrison、Niklas Muennighoff、Aakanksha Naik、Crystal Nam、Matthew E. Peters、Valentina Pyatkin、Abhilasha Ravichander、Dustin Schwenk、Saurabh Shah、Will Smith、Emma Strubell、Nishant Subramani、Mitchell Wortsman、Pradeep Dasigi、Nathan Lambert、Kyle Richardson、Luke Zettlemoyer、Jesse Dodge、Kyle Lo、Luca Soldaini、Noah A. Smith、Hannaneh Hajishirzi 在 OLMo: Accelerating the Science of Language Models 中提出。

OLMo 是一系列旨在促进语言模型科学的 **O**pen **L**anguage **Mo**dels。OLMo 模型是在 Dolma 数据集上训练的。我们发布所有代码、检查点、日志（即将推出）以及训练这些模型所涉及的详细信息。

论文中的摘要如下

语言模型 (LM) 已成为自然语言处理 (NLP) 研究和商业产品中无处不在的存在。随着其商业价值的激增，最强大的模型变得封闭起来，被封闭在专有接口后面，其训练数据、架构和开发的重要细节未公开。鉴于这些细节在科学研究这些模型（包括其偏差和潜在风险）中的重要性，我们认为研究界必须能够使用强大的、真正开放的 LM。为此，本技术报告详细介绍了首个发布的 OLMo，一个最先进的、真正开放的语言模型及其构建和研究语言建模科学的框架。与大多数只发布模型权重和推理代码的先前工作不同，我们发布了 OLMo 和整个框架，包括训练数据以及训练和评估代码。我们希望此次发布能赋能和加强开放研究社区，并激发新一轮的创新。

该模型由 shanearora 贡献。原始代码可在 此处 找到。

OlmoConfig

>>> from transformers import OlmoModel, OlmoConfig

>>> # Initializing a OLMo 7B style configuration
>>> configuration = OlmoConfig()

>>> # Initializing a model from the OLMo 7B style configuration
>>> model = OlmoModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

OlmoModel

类 transformers.OlmoForCausalLM

< 源代码 >

( config )

forward

< 源代码 >

( input_ids: LongTensor = None attention_mask: 可选 = None position_ids: 可选 = None past_key_values: 可选 = None inputs_embeds: 可选 = None labels: 可选 = None use_cache: 可选 = None output_attentions: 可选 = None output_hidden_states: 可选 = None return_dict: 可选 = None cache_position: 可选 = None num_logits_to_keep: int = 0 ) → transformers.modeling_outputs.CausalLMOutputWithPast or tuple(torch.FloatTensor)

参数

• input_ids (torch.LongTensor 形状为 (batch_size, sequence_length)) — 词汇表中输入序列标记的索引。默认情况下，如果提供填充，则填充将被忽略。

  索引可使用 AutoTokenizer 获得。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (torch.Tensor 形状为 (batch_size, sequence_length)，可选) — 掩码以避免对填充标记索引执行注意力。掩码值选择在 [0, 1] 中：
  • 1 表示未屏蔽的标记，
  • 0 表示屏蔽的标记。

  什么是注意力掩码？

  索引可使用 AutoTokenizer 获得。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  如果使用 past_key_values，可以选择仅输入最后一个 input_ids（那些没有将其过去的键值状态提供给此模型的 input_ids），形状为 (batch_size, 1)，而不是所有 input_ids，形状为 (batch_size, sequence_length)。

  如果您想更改填充行为，您应该阅读 modeling_opt._prepare_decoder_attention_mask 并修改以满足您的需求。有关默认策略的更多信息，请参阅 论文 中的图表 1。

  • 1 表示头部未屏蔽，
  • 0 表示头部屏蔽。
• position_ids (torch.LongTensor 形状为 (batch_size, sequence_length)，可选) — 位置嵌入中每个输入序列标记的位置索引。选择范围为 [0, config.n_positions - 1]。

  什么是位置 ID？

• past_key_values (Cache or tuple(tuple(torch.FloatTensor))，可选) — 预先计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加快顺序解码速度。这通常包括模型在解码的先前阶段返回的 past_key_values，当 use_cache=True 或 config.use_cache=True 时。

  允许两种格式：

  • Cache 实例，请参阅我们的 kv 缓存指南；
  • 长度为 config.n_layers 的 tuple(tuple(torch.FloatTensor))，每个元组包含两个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的张量）。这也被称为传统缓存格式。

  模型将输出与输入相同的缓存格式。如果没有传递 past_key_values，将返回传统缓存格式。

  如果使用 past_key_values，用户可以选择仅输入最后一个 input_ids（那些没有将其过去的键值状态提供给此模型的 input_ids），形状为 (batch_size, 1)，而不是所有 input_ids，形状为 (batch_size, sequence_length)。

• inputs_embeds (torch.FloatTensor 形状为 (batch_size, sequence_length, hidden_size), 可选) — 可选地，除了传入 input_ids 之外，您可以选择直接传入嵌入表示。如果您想更好地控制如何将 input_ids 索引转换为相关的向量，而不是模型内部的嵌入查找矩阵，这将很有用。
• use_cache (bool, 可选) — 如果设置为 True，则返回 past_key_values 键值状态，可用于加速解码（参见 past_key_values）。
• output_attentions (bool, 可选) — 是否返回所有注意力层的注意力张量。有关详细信息，请参见返回张量中的 attentions。
• output_hidden_states (bool, 可选) — 是否返回所有层的隐藏状态。有关详细信息，请参见返回张量中的 hidden_states。
• return_dict (bool, 可选) — 是否返回 ModelOutput 而不是普通元组。
• cache_position (torch.LongTensor 形状为 (sequence_length), 可选) — 表示输入序列标记在序列中位置的索引。与 position_ids 不同，此张量不受填充的影响。它用于在正确的位置更新缓存并推断完整的序列长度。

  参数 — labels (torch.LongTensor 形状为 (batch_size, sequence_length), 可选): 用于计算掩蔽语言建模损失的标签。索引应在 [0, ..., config.vocab_size] 或 -100 中（参见 input_ids 文档字符串）。索引设置为 -100 的标记将被忽略（掩蔽），仅计算标签在 [0, ..., config.vocab_size] 中的标记的损失。

  num_logits_to_keep (int, 可选): 为最后 num_logits_to_keep 个标记计算 logits。如果为 0，则为所有 input_ids 计算 logits（特殊情况）。生成仅需要最后一个标记的 logits，仅为该标记计算 logits 可以节省内存，这对于长序列或大型词汇量来说非常重要。

返回

transformers.modeling_outputs.CausalLMOutputWithPast 或 tuple(torch.FloatTensor)

一个 transformers.modeling_outputs.CausalLMOutputWithPast 或 torch.FloatTensor 的元组（如果传递了 return_dict=False 或 config.return_dict=False），包含各种元素，具体取决于配置 (OlmoConfig) 和输入。

• loss (torch.FloatTensor 形状为 (1,), 可选, 当提供 labels 时返回) — 语言建模损失（用于下一个标记预测）。

• logits (torch.FloatTensor 形状为 (batch_size, sequence_length, config.vocab_size)) — 语言建模头的预测分数（在 SoftMax 之前的每个词汇标记的分数）。

• past_key_values (tuple(tuple(torch.FloatTensor)), 可选, 当传递 use_cache=True 或 config.use_cache=True 时返回) — 长度为 config.n_layers 的 tuple(torch.FloatTensor) 的元组，每个元组包含两个形状为 (batch_size, num_heads, sequence_length, embed_size_per_head) 的张量。

  包含预先计算的隐藏状态（自注意力块中的键和值），可以用于（参见 past_key_values 输入）加速顺序解码。

• hidden_states (tuple(torch.FloatTensor), 可选, 当传递 output_hidden_states=True 或 config.output_hidden_states=True 时返回) — torch.FloatTensor 的元组（一个用于嵌入的输出，如果模型具有嵌入层，再加上每个层的输出），形状为 (batch_size, sequence_length, hidden_size)。

  模型在每个层的输出处的隐藏状态，以及可选的初始嵌入输出。

• attentions (tuple(torch.FloatTensor), 可选, 当传递 output_attentions=True 或 config.output_attentions=True 时返回) — torch.FloatTensor 的元组（每个层一个），形状为 (batch_size, num_heads, sequence_length, sequence_length)。

  注意力 softmax 后的注意力权重，用于计算自注意力头中的加权平均值。

OlmoForCausalLM 正向方法，覆盖 __call__ 特殊方法。

虽然正向传递的配方需要在此函数内定义，但应该在之后调用 Module 实例，而不是此实例，因为前者负责运行前处理和后处理步骤，而后者会静默忽略它们。

示例

已复制

>>> from transformers import AutoTokenizer, OlmoForCausalLM

>>> model = OlmoForCausalLM.from_pretrained("allenai/OLMo-1B-hf")
>>> tokenizer = AutoTokenizer.from_pretrained("allenai/OLMo-1B-hf")

>>> prompt = "Hey, are you conscious? Can you talk to me?"
>>> inputs = tokenizer(prompt, return_tensors="pt")

>>> # Generate
>>> generate_ids = model.generate(inputs.input_ids, max_length=30)
>>> tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
'Hey, are you conscious? Can you talk to me?\nI’m not sure if you’re conscious of this, but I’m'