在 Hugging Face Hub 上使用 Ollama 和任何 GGUF 模型

cover

🆕 您现在还可以从 Hugging Face Hub 运行私有 GGUF。

Ollama 是一个基于 llama.cpp 的应用程序，用于直接通过您的计算机与 LLM 交互。您可以使用社区创建的任何 GGUF 量化模型 (bartowski、MaziyarPanahi 和更多) 在 Hugging Face 上直接与 Ollama 一起使用，而无需创建新的 Modelfile。在撰写本文时，Hub 上有 4.5 万个公共 GGUF 检查点，您可以使用单个 ollama run 命令运行其中任何一个。我们还提供诸如选择量化类型、系统提示等自定义设置，以改善您的整体体验。

入门非常简单，只需

在您的本地应用设置下启用 ollama。
在模型页面上，从 Use this model 下拉菜单中选择 ollama。例如：bartowski/Llama-3.2-1B-Instruct-GGUF。

代码片段格式如下

ollama run hf.co/{username}/{repository}

请注意，您可以同时使用 hf.co 和 huggingface.co 作为域名。

以下是一些您可以尝试的模型

ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF
ollama run hf.co/mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated-GGUF
ollama run hf.co/arcee-ai/SuperNova-Medius-GGUF
ollama run hf.co/bartowski/Humanish-LLama3-8B-Instruct-GGUF

自定义量化

默认情况下，当模型仓库中存在 Q4_K_M 量化方案时，将使用该方案。否则，我们将默认选择仓库中存在的一种合理的量化类型。

要选择不同的方案，只需

在模型页面上的 Files and versions 选项卡中，打开特定 GGUF 文件上的 GGUF 查看器。
从 Use this model 下拉菜单中选择 ollama。

代码片段格式如下（添加了量化标签）

ollama run hf.co/{username}/{repository}:{quantization}

例如

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0

# the quantization name is case-insensitive, this will also work
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:iq3_m

# you can also directly use the full filename as a tag
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Llama-3.2-3B-Instruct-IQ3_M.gguf

自定义聊天模板和参数

默认情况下，将从常用模板列表中自动选择一个模板。它将根据 GGUF 文件内部存储的内置 tokenizer.chat_template 元数据进行选择。

如果您的 GGUF 文件没有内置模板，或者您想自定义聊天模板，则可以在仓库中创建一个名为 template 的新文件。该模板必须是 Go 模板，而不是 Jinja 模板。这是一个示例

{{ if .System }}<|system|>
{{ .System }}<|end|>
{{ end }}{{ if .Prompt }}<|user|>
{{ .Prompt }}<|end|>
{{ end }}<|assistant|>
{{ .Response }}<|end|>

要了解有关 Go 模板格式的更多信息，请参阅此文档

您可以选择通过将系统提示放入仓库中名为 system 的新文件中来配置系统提示。

要更改采样参数，请在仓库中创建一个名为 params 的文件。该文件必须为 JSON 格式。有关所有可用参数的列表，请参阅此文档。

从 Hugging Face Hub 运行私有 GGUF

您可以通过两个简单的步骤，从您的个人帐户或关联的组织帐户运行私有 GGUF

复制您的 Ollama SSH 密钥，您可以通过以下方式进行操作：cat ~/.ollama/id_ed25519.pub | pbcopy
通过转到您的帐户设置并单击 Add new SSH key，将相应的密钥添加到您的 Hugging Face 帐户。
就是这样！您现在可以从 Hugging Face Hub 运行私有 GGUF：ollama run hf.co/{username}/{repository}。

参考

< > 在 GitHub 上更新