在 Optimum-TPU GitHub 仓库中查找更多示例

要查找最新的示例，请访问 github 上 optimum-tpu 仓库中的 examples 文件夹

文本生成

了解如何为文本生成任务执行高效推理

• 基本生成脚本 (examples/text-generation/generation.py)
  • 演示如何使用 Gemma 和 Mistral 等模型进行文本生成
  • 具有贪婪采样实现
  • 展示如何使用静态缓存来提高性能
  • 包括性能测量和计时分析
  • 支持自定义模型加载和配置

语言模型微调

探索如何在 TPU 基础设施上微调语言模型

1. 交互式 Gemma 教程 (在文档中查看)
   • 完整的 Notebook，展示 Gemma 微调过程
   • 涵盖环境设置和 TPU 配置
   • 演示 FSDPv2 集成以实现高效的模型分片
   • 包括数据集准备和 PEFT/LoRA 实现
   • 提供逐步训练工作流程

完整的 Notebook 可在 examples/language-modeling/gemma_tuning.ipynb 中找到

2. LLaMA 微调指南 (在文档中查看)
   • 用于微调 LLaMA-2 和 LLaMA-3 模型的详细指南
   • 解释 SPMD 和 FSDP 概念
   • 展示如何实现高效的数据并行训练
   • 包括实用的代码示例和先决条件

完整的 Notebook 可在 examples/language-modeling/llama_tuning.ipynb 中找到

其他资源

• 访问 Optimum-TPU GitHub 仓库以获取更多详细信息
• 浏览 Google Cloud TPU 文档以更深入地了解 TPU 架构

要为这些示例做出贡献，请访问我们的 GitHub 仓库。