在 LM Studio 中使用 Hugging Face Hub 中的模型

社区文章 发布于 2024 年 11 月 28 日

您可以直接在本地机器上的 LM Studio 中下载并运行 Hugging Face Hub 中的 MLX 或 llama.cpp LLM、VLM 和嵌入模型。

image/png

LM Studio 是一款桌面应用程序,用于直接在您的计算机上试验和开发本地 AI 模型。它支持 Mac(Apple Silicon)、Windows 和 Linux!

将 Hugging Face 模型导入 LM Studio

直接从 Hugging Face 使用“使用此模型”按钮

对于任何 GGUF 或 MLX LLM,点击“使用此模型”下拉菜单并选择 LM Studio。如果您已经安装了 LM Studio,它将直接在其中运行模型;如果您没有安装,则会显示下载选项。

image/png

使用热门模型试用一下!在这里找到它们:https://huggingface.co/models?library=gguf&sort=trending

使用 LM Studio 的内置下载器:

在 Mac 上按 ⌘ + Shift + M,或在 PC 上按 Ctrl + Shift + MM 代表模型),然后搜索任何模型。

image/png

您甚至可以将完整的 Hugging Face URL 粘贴到搜索栏中!

使用 LM Studio 的 CLI 工具 `lms`:

如果您更喜欢基于终端的工作流程,请使用 LM Studio 的 CLI 工具 `lms`。

image/png

通过指定 {user}/{repo} 从 Hugging Face 下载任何模型

# lms get {user}/{repo}
lms get qwen/qwen2.5-coder-32b-instruct-gguf

使用完整的 Hugging Face URL

lms get https://huggingface.co/lmstudio-community/granite-3.0-2b-instruct-GGUF

使用 @ 限定符选择量化

lms get qwen/qwen2.5-coder-32b-instruct-gguf@Q4_K_M

从终端按关键词搜索模型

lms get qwen

获取 GGUF 或 MLX 结果

lms get qwen --mlx # or --gguf

跟踪最新模型

关注 Hugging Face 上的 LM Studio 社区页面,以便第一时间了解最新、最优秀的本地 LLM。

社区

此评论已被隐藏
此评论已被隐藏

注册登录 发表评论