AutoThink：大型语言模型的自适应推理

---

摘要

我们引入了**AutoThink**，这是一种通过自适应资源分配和引导向量指导，显著提升大型语言模型推理能力的新方法。通过对查询复杂度进行分类并动态分配计算资源，AutoThink在推理基准测试中实现了高达43%的性能提升，同时使用的令牌数量少于基线方法。

主要贡献

• 用于自适应令牌预算的新型查询复杂度分类
• 从关键令牌搜索（Pivotal Token Search）中提取的引导向量，用于指导推理
• 在GPQA-Diamond和MMLU-Pro基准测试中实现显著性能提升
• 完全开源的实现，兼容任何本地推理模型

---

引言

大型语言模型在推理任务中展现出卓越能力，但当前方法往往不考虑查询复杂性，使用固定的计算预算。简单的算术问题与复杂的多步证明获得相同的“思考时间”，导致资源利用效率低下和性能不佳。

考虑以下两个查询：

1. “15 + 27 等于多少？”
2. “用反证法证明2的平方根是无理数。”

直观上，第二个查询需要更多的推理步骤和计算资源。然而，大多数现有系统为两者分配相似的计算预算。

**AutoThink**通过三项关键创新解决了这一挑战：

1. **查询复杂度分类**：自动将查询分类为高复杂度或低复杂度。
2. **动态令牌预算**：根据分类的复杂性分配思考令牌。
3. **引导向量指导**：使用激活层引导来指导推理模式。

方法论

查询复杂度分类

AutoThink首先使用我们的自适应分类器框架对每个查询进行分类。此分类器确定查询需要高复杂度还是低复杂度的推理：

• **高复杂度**：多步推理、复杂数学、逻辑证明
• **低复杂度**：简单事实问题、基本算术、直接任务

该分类器使用`adaptive-classifier/llm-router`模型，并在模型不可用时包含基于语言指标的备用启发式方法。

动态令牌预算分配

根据复杂度分类，AutoThink动态分配思考令牌：

• **高复杂度查询**：70-90%的可用令牌用于思考
• **低复杂度查询**：20-40%的可用令牌用于思考

这种自适应分配确保复杂问题获得足够的计算资源，同时简单查询能够高效完成。

引导向量指导

AutoThink最创新的一点可能是它使用引导向量来指导推理模式。这些向量源自**关键令牌搜索 (Pivotal Token Search, PTS)**，这是Microsoft Phi-4技术报告中引入的一项技术，我们对其进行了实现和增强。

引导向量代表不同的推理模式：

• depth_and_thoroughness：鼓励详细、循序渐进的推理
• numerical_accuracy：促进精确计算和验证
• self_correction：有助于错误检测和纠正
• exploration：支持考虑多种方法
• organization：改善回复的逻辑结构

在生成过程中，这些向量会修改模型在目标层内部的激活，有效地“引导”模型朝向期望的推理行为。

实现

安装与设置

# Install optillm
pip install optillm

# Or install from source
git clone https://github.com/codelion/optillm.git
cd optillm
pip install -r requirements.txt

基本用法

from optillm.autothink import autothink_decode
from transformers import AutoModelForCausalLM, AutoTokenizer

# Load your model
model_name = "deepseek-ai/deepseek-r1-llama-8b"
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# Configure AutoThink
config = {
    "steering_dataset": "codelion/Qwen3-0.6B-pts-steering-vectors",
    "target_layer": 19,  # Adjust based on your model
    "pattern_strengths": {
        "depth_and_thoroughness": 2.5,
        "numerical_accuracy": 2.0,
        "self_correction": 3.0,
        "exploration": 2.0,
        "organization": 1.5
    }
}

# Create messages
messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Explain quantum computing principles and their applications."}
]

# Process with AutoThink
response = autothink_decode(model, tokenizer, messages, config)
print(response)

高级配置

您可以通过各种配置选项自定义AutoThink的行为。

# Advanced configuration
advanced_config = {
    # Classification settings
    "classifier_model": "adaptive-classifier/llm-router",
    "complexity_threshold": 0.6,
    
    # Token budget settings
    "high_complexity_min_tokens": 1024,
    "high_complexity_max_tokens": 4096,
    "low_complexity_min_tokens": 256,
    "low_complexity_max_tokens": 1024,
    
    # Steering vector settings
    "steering_dataset": "codelion/Qwen3-0.6B-pts-steering-vectors",
    "target_layer": 19,
    
    # Thinking control
    "start_think_token": "<think>",
    "end_think_token": "</think>",
    "max_thoughts": 64
}

与不同模型协同工作

AutoThink旨在与各种模型架构协同工作。以下是如何使其适应不同模型：

# For DeepSeek models
deepseek_config = {
    "target_layer": 19,  # Middle layer works well
    "steering_dataset": "codelion/DeepSeek-R1-Distill-Qwen-1.5B-pts-steering-vectors"
}

# For Qwen models
qwen_config = {
    "target_layer": 19,  
    "steering_dataset": "codelion/Qwen3-0.6B-pts-steering-vectors"
}

技术深入探讨

关键令牌搜索的实现

我们的引导向量源自关键令牌搜索（Pivotal Token Search），该技术识别对模型行为影响最显著的令牌。其工作原理如下：

1. **令牌分析**：测量上下文中每个令牌对模型输出的影响。
2. **关键识别**：识别那些在修改后能最大程度改变模型行为的令牌。
3. **向量提取**：提取与这些关键令牌相关的激活向量。
4. **模式分类**：根据向量所鼓励的推理模式进行分组。

您可以探索我们的PTS实现：

• **代码**：https://github.com/codelion/pts
• **技术博客**：https://huggingface.co/blog/codelion/pts

自适应分类系统

复杂度分类器建立在我们的自适应分类框架之上，该框架具有以下几个优点：

• **动态类别**：无需重新训练即可添加新的复杂度类别
• **持续学习**：从新示例中增量学习
• **灵活架构**：适应不同的领域和用例

了解更多关于自适应分类的信息：https://github.com/codelion/adaptive-classifier

引导向量应用

在生成过程中，引导向量通过目标层的前向钩子（forward hooks）进行应用。

def steering_hook(module, input_tensors, output):
    """Apply steering vector to model activations"""
    if steering_vector is not None:
        # Get current reasoning pattern and strength
        pattern = current_vector.get("reasoning_pattern", "unknown")
        strength = get_steering_strength(pattern)
        
        # Apply vector to last token's representation
        vector = torch.tensor(steering_vector, device=output.device)
        output[-1, -1, :] += strength * vector
    
    return output

评估与结果

基准性能

我们使用 DeepSeek-R1-Distill-Qwen-1.5B 在几个推理基准测试中评估了AutoThink：

效率分析

AutoThink不仅提升了性能，还提高了效率：

• **令牌使用量**：平均每个查询的令牌使用量减少15-25%
• **延迟**：分类带来的开销极小（约10毫秒）
• **内存**：引导向量的额外内存使用可忽略不计

与 optillm 集成

AutoThink是更广泛的optillm项目的一部分，该项目提供了多种推理增强技术。

# AutoThink within optillm ecosystem
from optillm import create_inference_client

# Create client with AutoThink
client = create_inference_client()
response = client.chat.completions.create(
    model="autothink-deepseek-r1-llama-8b",
    messages=messages
)

社区与贡献

AutoThink完全开源，我们欢迎社区贡献：

• **引导向量数据集**：帮助创建特定领域的引导向量
• **模型支持**：测试和优化新的模型架构
• **评估**：在新的基准测试上运行AutoThink并分享结果
• **应用**：使用AutoThink构建有趣的应用

参与方式

• 🌟 为仓库点星：https://github.com/codelion/optillm
• 🐛 报告问题或提出功能建议
• 🔬 分享您的评估结果
• 📖 贡献文档
• 💻 提交拉取请求

结论

AutoThink代表了大型语言模型自适应推理的重大进展。通过智能地分配计算资源和通过引导向量指导推理模式，我们可以在保持效率的同时实现显著的性能提升。

该技术的模型无关设计和开源实现使其可供更广泛的研究社区使用。我们相信，像AutoThink这样的自适应推理方法对于下一代人工智能系统至关重要，这些系统能够更有效地推理，同时更高效地利用资源。

我们期待社区在此工作基础上进行构建，并将其应用于新的应用程序和领域。

参考文献与资源

• **研究论文**：AutoThink: 用于推理型大型语言模型的有效推理
• **AutoThink 实现**：https://github.com/codelion/optillm/tree/main/optillm/autothink
• **关键令牌搜索**：https://github.com/codelion/pts
• **PTS 技术博客**：https://huggingface.co/blog/codelion/pts
• **自适应分类器**：https://github.com/codelion/adaptive-classifier
• **optillm 项目**：https://github.com/codelion/optillm

---

您是否已将 AutoThink 应用于您的模型？我们很乐意听取您的经验和结果！请在下面的评论中分享或在 GitHub 上联系我们。