如何在本地使用 Ollama 运行 Sentient 的 Dobby-Mini

✌️ 什么是 Dobby-mini？

Sentient 刚刚发布了我们即将推出的 Dobby 模型系列的两个演示模型

• Dobby-Mini-Leashed-Llama-3.1-8B
• Dobby-Mini-Unhinged-Llama-3.1-8B

这些模型基于 **Llama-3.1-8B-Instruct** 进行微调，支持个人自由、去中心化以及所有加密货币相关的事物。这两个模型都具有非常鲜明的个性（尤其是“不羁”版本），可用于构建您下一个最疯狂的 AI 想法。

👉 先决条件

1. 从 Sentient 的 HuggingFace 下载模型
2. 观看我的配套 YouTube 视频

✍️ 说明

1. 下载模型

这些模型提供 GGUF 和 safetensors 格式。Safetensors 相当于模型的原始照片。它非常适合编辑（微调），但对于一般使用来说是不必要的。GGUF 相当于模型的 jpeg 照片。它经过压缩（量化），更适合日常使用。**我们将使用 GGUF 格式。**

选择 **Leashed** 或 **Unhinged** 后，导航到 *Files and versions*。有多种不同的量化级别可供选择。量化以位为单位。较低的量化意味着模型压缩程度更高，运行所需资源更少，文件大小也更小。然而，即使是低量化模型也可能相当大，因此模型下载可能需要几分钟。**我们将使用 4 位量化，因为它最轻量。使用下载按钮下载。**

2. 下载 Ollama

要在本地运行模型，我们建议在此处下载 Ollama。**下载后，打开 Ollama 应用程序以安装其命令行界面 (CLI)。**

3. 创建 Modelfile

我们需要为模型创建一个Modelfile，以便使用 Ollama 运行它。我们可以使用 vim 在终端中完成此操作。**以下命令将创建一个新的空模型文件并在 vim 中打开它。从模型所在的同一目录运行它：**

vim Modelfile

现在我们需要添加 `FROM` 关键字，后跟 GGUF 文件的相对路径。**如果您正在使用 Dobby-Mini Unhinged 并且您在模型所在的同一目录中，它将如下所示：**

FROM ./dobby-8b-unhinged-q4_k_m.gguf

要退出 vim 并保存所做的更改，请先按 `Esc` 键，然后键入 `:x`。

4. 运行模型

使用 Modelfile 创建并命名模型

ollama create dobby-unhinged -f Modelfile

运行模型

ollama run dobby-unhinged  

现在您可以开始查询了！

🧠 关于 Sentient

Sentient 是一个研究机构，致力于使 AI 开放、透明并与其所服务的社区保持一致。我们的 **忠诚 AI** 目标代表了这一愿景——AI 是**社区构建、社区拥有、社区对齐和社区控制**的。

我们希望确保当 **AGI** 被创建时，它是**忠诚**的——不是对公司，而是对人类。

• 🤗 Sentient 在 HuggingFace
• 📖 Sentient 在 GitHub
• 🦅 Sentient 在 X (Twitter)
• 🚀 Sentient Labs
• 🧪 Sentient Foundation

关注我们以获取最新的研究更新和发布！