支持的模型

推理

以下 LLM 已经过测试和验证，可在 TPU v5e 和 v6e 上进行文本生成推理

• 🦙 LLaMA 系列
  • LLaMA-2 7B
  • LLaMA-3 8B, 70B
  • LlaMa3.1 8B, 70B
  • LLaMA-3.2 1B, 3B (仅文本模型)
  • LlaMa-3.3 70B
• 💎 Gemma 系列
  • Gemma 2B, 7B
• 💨 Mistral 系列
  • Mistral 7B
  • Mixtral 8x7B

微调

以下模型已经过测试和验证，可在 TPU v5e 和 v6e 上进行微调

• 🦙 LLaMA 系列
  • LLaMA-2 7B
  • LLaMA-3 8B
  • LLaMA-3.2 1B
• 💎 Gemma 系列
  • Gemma 2B
  • Gemma 7B