在 Hugging Face 上使用 MLX

MLX 是由 Apple 机器学习研究团队为 Apple 芯片开发的一个模型训练和服务框架。

它附带了各种示例

使用 MLX-LM 生成文本和为 GGUF 格式的模型使用 MLX-LM 生成文本。
使用 LLaMA 进行大规模文本生成。
使用 LoRA 进行微调。
使用 Stable Diffusion 生成图像。
使用 OpenAI 的 Whisper 进行语音识别。

探索 Hub 上的 MLX

您可以通过在模型页面左侧进行筛选来找到 MLX 模型。还有一个开放的 MLX 社区，贡献者们正在转换和发布 MLX 格式的权重。

得益于 MLX 与 Hugging Face Hub 的集成，您可以用几行代码加载 MLX 模型。

安装

MLX 是一个独立的包，其中包含一个名为 MLX-LM 的子包，用于与 Hugging Face 集成大型语言模型。要安装 MLX-LM，您可以通过 `pip` 使用以下一行命令进行安装

pip install mlx-lm

您可以在此处获取更多信息。

如果您安装 `mlx-lm`，则无需安装 `mlx`。如果您不想使用 `mlx-lm` 而只使用 MLX，可以按如下方式安装 MLX 本身。

使用 `pip`

pip install mlx

使用 `conda`

conda install -c conda-forge mlx

使用现有模型

MLX-LM 具有实用的文本生成工具。以下行直接下载并加载模型，然后开始生成文本。

python -m mlx_lm.generate --model mistralai/Mistral-7B-Instruct-v0.2 --prompt "hello"

有关完整的生成选项列表，请运行

python -m mlx_lm.generate --help

您还可以通过 Python 加载模型并开始生成文本，如下所示

from mlx_lm import load, generate

model, tokenizer = load("mistralai/Mistral-7B-Instruct-v0.2")

response = generate(model, tokenizer, prompt="hello", verbose=True)

MLX-LM 支持流行的 LLM 架构，包括 LLaMA、Phi-2、Mistral 和 Qwen。不受支持的模型可以轻松地按以下方式下载

pip install huggingface_hub hf_transfer

export HF_HUB_ENABLE_HF_TRANSFER=1
hf download --local-dir <LOCAL FOLDER PATH> <USER_ID>/<MODEL_NAME>

转换和分享模型

您可以按以下方式转换 Hugging Face Hub 中的 LLM，并可选择进行量化：

python -m mlx_lm.convert --hf-path mistralai/Mistral-7B-v0.1 -q

如果您想在转换后直接推送模型，可以按如下方式操作。

python -m mlx_lm.convert \
    --hf-path mistralai/Mistral-7B-v0.1 \
    -q \
    --upload-repo <USER_ID>/<MODEL_NAME>

其他资源

< > 在 GitHub 上更新