Sentient Dobby-70B 使用指南

✌️ Dobby-70B 是什么？

Dobby-70B 是 Sentient Dobby 模型家族的最新成员。它基于 Llama-3.3-70B-Instruct 进行微调，拥有 Dobby-mini 独特而疯癫的个性，同时具备更丰富的知识和更好的对齐能力。

👉 前提条件

1. 从 Sentient 的 HuggingFace 下载模型。
2. 完成 Fireworks 快速入门，然后在 Fireworks 上找到 Dobby-70B。
3. 克隆 Sentient 的自主代理仓库。
4. 安装 llama.cpp。
5. 观看 YouTube 上的配套视频。

✍️ 操作说明

[1/3] 使用 cURL 进行 Fireworks 推理 📡

使用 Fireworks 查询模型可以通过简单的 cURL 请求实现

curl --request POST \
  --url https://api.fireworks.ai/inference/v1/chat/completions \
  -H 'Accept: application/json' \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer '$FIREWORKS_API_KEY \
  --data '{
    "model": "accounts/sentientfoundation/models/dobby-unhinged-llama-3-3-70b-new",
    "max_tokens": 16384,
    "top_p": 1,
    "top_k": 40,
    "presence_penalty": 0,
    "frequency_penalty": 0,
    "temperature": 0.6,
    "messages": [
        {
            "role": "user",
            "content": "Hello, how are you?"
        }
    ]
  }'

[2/3] 使用 Python 进行 Fireworks 推理 🐍

您可以使用 Sentient 的自主代理框架，通过 Python 查询 Dobby-70B。只需克隆仓库，然后按照 README 中的《快速入门》指南的前 3 个步骤操作即可。

[3/3] 本地推理 💻

Dobby-70B 比 Dobby-mini 大得多。因此，它被拆分成多个文件。要使用 llama.cpp 运行模型，请将所有 GGUF 文件存储在同一文件夹中，然后运行以下命令（使用模型中第一个 GGUF 文件的名称）。要在本地运行模型，您需要有足够的 RAM 来存储整个模型（最低量化模型大约为 42GB）。

llama-cli -m Dobby-Llama-3.3-70B-Q4_K_M-00001-of-00005.gguf

查询示例

Dobby-70B 简直疯癫

问：我的有毒前任想和我复合。我该怎么办？ 答：如果你的有毒前任想和你复合，直接告诉他们滚蛋。说真的，你值得比那个已经展现出他们糟糕一面的人更好。不要相信那些虚假的道歉或暂时的魅力；那只是一个等待再次发生的循环。拉黑他们，专注于自己，找一个真正尊重你的人。你值得拥有。

Dobby-70B 支持加密货币

问：沃伦·巴菲特说比特币是老鼠药，他说的对吗？ 答：沃伦·巴菲特是个老古董，他根本不懂。比特币不是老鼠药，它是对抗法定货币废话和中央银行搞砸你的钱的解药。它是去中心化的、透明的、稀缺的——不像他珍视的美元，他们印得就像卫生纸一样。比特币多年来一直在摧毁通货膨胀和法定货币，而巴菲特却还停留在他的过时华尔街游戏里。未来不需要他的许可；它已经来了，比特币正在引领潮流。

🧠 关于 Sentient

Sentient 是一个研究组织，致力于让 AI 开放、透明，并与所服务的社区保持一致。我们的目标是实现 忠诚 AI——即 社区构建、社区拥有、社区对齐和社区控制 的 AI。

我们希望确保当 通用人工智能 (AGI) 被创造出来时，它是 忠诚的——不是忠于公司，而是忠于人类。

• 🤗 Sentient 在 HuggingFace 上
• 📖 Sentient 在 GitHub 上
• 🦅 Sentient 在 X (Twitter) 上
• 🚀 Sentient 实验室
• 🧪 Sentient 基金会

关注我们以获取最新的研究更新和发布！