在 Optimum-TPU GitHub 仓库中查找更多示例

要查找最新示例，请访问 optimum-tpu 仓库在 GitHub 上的 examples 文件夹

文本生成

了解如何高效地执行文本生成任务的推理

• 基本生成脚本 (examples/text-generation/generation.py)
  • 演示使用 Gemma 和 Mistral 等模型进行文本生成
  • 具有贪婪采样实现功能
  • 展示如何使用静态缓存以提高性能
  • 包括性能测量和时间分析
  • 支持自定义模型加载和配置

语言模型微调

探索如何在 TPU 基础设施上微调语言模型

1. 交互式 Gemma 教程 (在文档中查看)
   • 展示 Gemma 微调过程的完整笔记本
   • 涵盖环境设置和 TPU 配置
   • 演示 FSDPv2 集成以实现高效模型分片
   • 包括数据集准备和 PEFT/LoRA 实现
   • 提供分步训练工作流

完整笔记本可在 examples/language-modeling/gemma_tuning.ipynb 找到

2. LLaMA 微调指南 (在文档中查看)
   • LLaMA-2 和 LLaMA-3 模型微调详细指南
   • 解释 SPMD 和 FSDP 概念
   • 展示如何实现高效的数据并行训练
   • 包括实用代码示例和先决条件

完整笔记本可在 examples/language-modeling/llama_tuning.ipynb 找到

其他资源

• 访问 Optimum-TPU GitHub 仓库 获取更多详情
• 探索 Google Cloud TPU 文档 以更深入地了解 TPU 架构

要为这些示例做出贡献，请访问我们的 GitHub 仓库。