在 Hugging Face 上使用 MLX

MLX 是由 Apple 机器学习研究部门开发的，用于 Apple 芯片的模型训练和部署框架。

它附带了各种示例

使用 MLX-LM 生成文本和为 GGUF 格式的模型使用 MLX-LM 生成文本。
使用 LLaMA 进行大规模文本生成。
使用 LoRA 进行微调。
使用 Stable Diffusion 生成图像。
使用 OpenAI 的 Whisper 进行语音识别。

探索 Hub 上的 MLX

您可以通过在模型页面的左侧进行筛选来找到 MLX 模型。还有一个开放的 MLX 社区，由贡献者转换和发布 MLX 格式的权重。

得益于 MLX Hugging Face Hub 集成，您只需几行代码即可加载 MLX 模型。

安装

MLX 以独立软件包的形式提供，还有一个名为 MLX-LM 的子包，它集成了 Hugging Face 以用于大型语言模型。要安装 MLX-LM，您可以使用以下通过 pip 进行的一行安装命令

pip install mlx-lm

您可以在此处获取更多信息。

如果您安装了 mlx-lm，则无需安装 mlx。如果您不想使用 mlx-lm 而只想使用 MLX，则可以按如下方式安装 MLX 本身。

使用 pip

pip install mlx

使用 conda

conda install -c conda-forge mlx

使用现有模型

MLX-LM 具有用于生成文本的实用工具。以下行直接下载并加载模型，并开始生成文本。

python -m mlx_lm.generate --model mistralai/Mistral-7B-Instruct-v0.2 --prompt "hello"

有关生成选项的完整列表，请运行

python -m mlx_lm.generate --help

您还可以通过如下所示的 Python 加载模型并开始生成文本

from mlx_lm import load, generate

model, tokenizer = load("mistralai/Mistral-7B-Instruct-v0.2")

response = generate(model, tokenizer, prompt="hello", verbose=True)

MLX-LM 支持流行的 LLM 架构，包括 LLaMA、Phi-2、Mistral 和 Qwen。可以轻松下载受支持模型以外的模型，如下所示

pip install huggingface_hub hf_transfer

export HF_HUB_ENABLE_HF_TRANSFER=1
huggingface-cli download --local-dir <LOCAL FOLDER PATH> <USER_ID>/<MODEL_NAME>

转换和共享模型

您可以按如下方式从 Hugging Face Hub 转换 LLM，并可选择进行量化

python -m mlx_lm.convert --hf-path mistralai/Mistral-7B-v0.1 -q

如果您想在转换后直接推送模型，可以像下面这样做。

python -m mlx_lm.convert \
    --hf-path mistralai/Mistral-7B-v0.1 \
    -q \
    --upload-repo <USER_ID>/<MODEL_NAME>

其他资源

< > 更新在 GitHub 上