在 LM Studio 中使用 Hugging Face Hub 中的模型
社区文章 发布于 2024 年 11 月 28 日
您可以直接在本地机器上的 LM Studio 中下载并运行 Hugging Face Hub 中的 MLX 或 llama.cpp LLM、VLM 和嵌入模型。
LM Studio 是一款桌面应用程序,用于直接在您的计算机上试验和开发本地 AI 模型。它支持 Mac(Apple Silicon)、Windows 和 Linux!
将 Hugging Face 模型导入 LM Studio
直接从 Hugging Face 使用“使用此模型”按钮
对于任何 GGUF 或 MLX LLM,点击“使用此模型”下拉菜单并选择 LM Studio。如果您已经安装了 LM Studio,它将直接在其中运行模型;如果您没有安装,则会显示下载选项。
使用热门模型试用一下!在这里找到它们:https://huggingface.co/models?library=gguf&sort=trending
使用 LM Studio 的内置下载器:
在 Mac 上按 ⌘ + Shift + M
,或在 PC 上按 Ctrl + Shift + M
(M
代表模型),然后搜索任何模型。
您甚至可以将完整的 Hugging Face URL 粘贴到搜索栏中!
使用 LM Studio 的 CLI 工具 `lms`:
如果您更喜欢基于终端的工作流程,请使用 LM Studio 的 CLI 工具 `lms`。
通过指定 {user}/{repo} 从 Hugging Face 下载任何模型
# lms get {user}/{repo}
lms get qwen/qwen2.5-coder-32b-instruct-gguf
使用完整的 Hugging Face URL
lms get https://huggingface.co/lmstudio-community/granite-3.0-2b-instruct-GGUF
使用 @ 限定符选择量化
lms get qwen/qwen2.5-coder-32b-instruct-gguf@Q4_K_M
从终端按关键词搜索模型
lms get qwen
获取 GGUF 或 MLX 结果
lms get qwen --mlx # or --gguf
跟踪最新模型
关注 Hugging Face 上的 LM Studio 社区页面,以便第一时间了解最新、最优秀的本地 LLM。