示例动物园

以下包含 Accelerate 教程和脚本的非详尽列表。

Accelerate 官方示例：

基础示例

这些示例展示了 Accelerate 的基本功能，是很好的起点

• 简易 NLP 示例
• Jupyter Notebook 中的简易分布式 NLP 示例
• 简易计算机视觉示例
• Jupyter Notebook 中的简易分布式计算机视觉示例
• 在 Kaggle 中使用 Accelerate

特定功能示例

这些示例展示了 Accelerate 框架提供的特定功能

• 自动感知内存的梯度累积
• 检查点状态
• 交叉验证
• DeepSpeed
• 完全分片数据并行 (Fully Sharded Data Parallelism)
• 梯度累积
• 内存感知批大小查找器
• 指标计算
• 使用跟踪器
• 使用 Megatron-LM

完整示例

这些示例一次性展示了 Accelerate 中的所有功能，这些功能在“特定功能示例”中已展示过

• 完整 NLP 示例
• 完整计算机视觉示例
• 非常完整和可扩展的视觉示例，展示了 SLURM、hydra 以及框架的非常可扩展的用法
• 因果语言模型微调示例
• 掩码语言模型微调示例
• 语音预训练示例
• 翻译微调示例
• 文本分类微调示例
• 语义分割微调示例
• 问答微调示例
• 集束搜索问答微调示例
• 多项选择问答微调示例
• 命名实体识别微调示例
• 图像分类微调示例
• 摘要微调示例
• 关于如何使用 Accelerate 的 AWS SageMaker 集成的端到端示例
• Megatron-LM 在各种 NLP 任务中的示例

集成示例

这些是来自与 Accelerate 集成的库的教程

在这里找不到你的集成？请提交 PR 以包含它！

Amphion

• 使用 Amphion 训练文本到语音模型
• 使用 Amphion 训练歌声转换模型
• 使用 Amphion 训练声码器

Catalyst

• 使用 Catalyst 的分布式训练教程

DALLE2-pytorch

• 微调 DALLE2

Diffusers

• 使用 diffusers 执行文本反演
• 使用 diffusers 训练 DreamBooth

fastai

• 使用 fastai 从 Jupyter Notebooks 进行分布式训练
• 使用 fastai 的基础分布式训练示例

GradsFlow

• 使用 GradsFlow 的自动图像分类

imagen-pytorch

• 微调 Imagen

Kornia

• 使用 Kornia 的 Trainer 微调视觉模型

PyTorch Accelerated

• 使用 PyTorch Accelerated 的快速入门分布式训练教程

PyTorch3D

• 使用 3D 数据执行深度学习

Stable-Dreamfusion

• 使用 Stable-Dreamfusion 进行训练，将文本转换为 3D 模型

Tez

• 使用 Tez 和 Accelerate 进行叶片病害检测

trlx

• 如何使用 trlx 实现情感学习任务

Comfy-UI

• 启用在低 vram 设置中使用 Accelerate 的大型 Stable Diffusion 模型

In Science

以下是非详尽的使用 Accelerate 的论文列表。

在此处找不到您的论文？请提交 PR 以将其收录！

• Yuval Kirstain, Adam Polyak, Uriel Singer, Shahbuland Matiana, Joe Penna, Omer Levy: “Pick-a-Pic：用于文本到图像生成的用户偏好开放数据集”，2023 年； arXiv:2305.01569。
• Lei Wang, Wanyu Xu, Yihuai Lan, Zhiqiang Hu, Yunshi Lan, Roy Ka-Wei Lee, Ee-Peng Lim: “Plan-and-Solve Prompting: Improving Zero-Shot Chain-of-Thought Reasoning by Large Language Models”，2023 年； arXiv:2305.04091。
• Arthur Câmara, Claudia Hauff: “Moving Stuff Around：用于神经 IR 模型的将文档移动到内存的效率研究”，2022 年； arXiv:2205.08343。
• Ying Sheng, Lianmin Zheng, Binhang Yuan, Zhuohan Li, Max Ryabinin, Daniel Y. Fu, Zhiqiang Xie, Beidi Chen, Clark Barrett, Joseph E. Gonzalez, Percy Liang, Christopher Ré, Ion Stoica, Ce Zhang: “High-throughput Generative Inference of Large Language Models with a Single GPU”，2023 年； arXiv:2303.06865。
• Peter Melchior, Yan Liang, ChangHoon Hahn, Andy Goulding: “Autoencoding Galaxy Spectra I: Architecture”，2022 年； arXiv:2211.07890。
• Jiaao Chen, Aston Zhang, Mu Li, Alex Smola, Diyi Yang: “A Cheaper and Better Diffusion Language Model with Soft-Masked Noise”，2023 年； arXiv:2304.04746。
• Ayaan Haque, Matthew Tancik, Alexei A. Efros, Aleksander Holynski, Angjoo Kanazawa: “Instruct-NeRF2NeRF：使用指令编辑 3D 场景”，2023 年； arXiv:2303.12789。
• Luke Melas-Kyriazi, Christian Rupprecht, Iro Laina, Andrea Vedaldi: “RealFusion：从单张图像进行任何物体的 360° 重建”，2023 年； arXiv:2302.10663。
• Xiaoshi Wu, Keqiang Sun, Feng Zhu, Rui Zhao, Hongsheng Li: “Better Aligning Text-to-Image Models with Human Preference”，2023 年； arXiv:2303.14420。
• Yongliang Shen, Kaitao Song, Xu Tan, Dongsheng Li, Weiming Lu, Yueting Zhuang: “HuggingGPT：使用 ChatGPT 及其 HuggingFace 中的朋友解决 AI 任务”，2023 年； arXiv:2303.17580。
• Yue Yang, Wenlin Yao, Hongming Zhang, Xiaoyang Wang, Dong Yu, Jianshu Chen: “Z-LaVI：由视觉想象驱动的零样本语言求解器”，2022 年； arXiv:2210.12261。
• Sheng-Yen Chou, Pin-Yu Chen, Tsung-Yi Ho: “How to Backdoor Diffusion Models?”，2022 年； arXiv:2212.05400。
• Junyoung Seo, Wooseok Jang, Min-Seop Kwak, Jaehoon Ko, Hyeonsu Kim, Junho Kim, Jin-Hwa Kim, Jiyoung Lee, Seungryong Kim: “Let 2D Diffusion Model Know 3D-Consistency for Robust Text-to-3D Generation”，2023 年； arXiv:2303.07937。
• Or Patashnik, Daniel Garibi, Idan Azuri, Hadar Averbuch-Elor, Daniel Cohen-Or: “Localizing Object-level Shape Variations with Text-to-Image Diffusion Models”，2023 年； arXiv:2303.11306。
• Dídac Surís, Sachit Menon, Carl Vondrick: “ViperGPT：通过 Python 执行进行视觉推理”，2023 年； arXiv:2303.08128。
• Chenyang Qi, Xiaodong Cun, Yong Zhang, Chenyang Lei, Xintao Wang, Ying Shan, Qifeng Chen: “FateZero：融合注意力以实现零样本基于文本的视频编辑”，2023 年； arXiv:2303.09535。
• Sean Welleck, Jiacheng Liu, Ximing Lu, Hannaneh Hajishirzi, Yejin Choi: “NaturalProver：使用语言模型进行基于基础的数学证明生成”，2022 年； arXiv:2205.12910。
• Elad Richardson, Gal Metzer, Yuval Alaluf, Raja Giryes, Daniel Cohen-Or: “TEXTure：3D 形状的文本引导纹理化”，2023 年； arXiv:2302.01721。
• Puijin Cheng, Li Lin, Yijin Huang, Huaqing He, Wenhan Luo, Xiaoying Tang: “Learning Enhancement From Degradation: A Diffusion Model For Fundus Image Enhancement”，2023 年； arXiv:2303.04603。
• Shun Shao, Yftah Ziser, Shay Cohen: “Erasure of Unaligned Attributes from Neural Representations”，2023 年； arXiv:2302.02997。
• Seonghyeon Ye, Hyeonbin Hwang, Sohee Yang, Hyeongu Yun, Yireun Kim, Minjoon Seo: “In-Context Instruction Learning”，2023 年； arXiv:2302.14691。
• Shikun Liu, Linxi Fan, Edward Johns, Zhiding Yu, Chaowei Xiao, Anima Anandkumar: “Prismer：具有专家集成的视觉语言模型”，2023 年； arXiv:2303.02506。
• Haoyu Chen, Zhihua Wang, Yang Yang, Qilin Sun, Kede Ma: “Learning a Deep Color Difference Metric for Photographic Images”，2023 年； arXiv:2303.14964。
• Van-Hoang Le, Hongyu Zhang: “Log Parsing with Prompt-based Few-shot Learning”，2023 年； arXiv:2302.07435。
• Keito Kudo, Yoichi Aoki, Tatsuki Kuribayashi, Ana Brassard, Masashi Yoshikawa, Keisuke Sakaguchi, Kentaro Inui: “Do Deep Neural Networks Capture Compositionality in Arithmetic Reasoning?”，2023 年； arXiv:2302.07866。
• Ruoyao Wang, Peter Jansen, Marc-Alexandre Côté, Prithviraj Ammanabrolu: “Behavior Cloned Transformers are Neurosymbolic Reasoners”，2022 年； arXiv:2210.07382。
• Martin Wessel, Tomáš Horych, Terry Ruas, Akiko Aizawa, Bela Gipp, Timo Spinde: “Introducing MBIB — the first Media Bias Identification Benchmark Task and Dataset Collection”，2023 年； arXiv:2304.13148. DOI: [https://dx.doi.org/10.1145/3539618.3591882 10.1145/3539618.3591882].
• Hila Chefer, Yuval Alaluf, Yael Vinker, Lior Wolf, Daniel Cohen-Or: “Attend-and-Excite：用于文本到图像扩散模型的基于注意力的语义引导”，2023 年； arXiv:2301.13826。
• Marcio Fonseca, Yftah Ziser, Shay B. Cohen: “Factorizing Content and Budget Decisions in Abstractive Summarization of Long Documents”，2022 年； arXiv:2205.12486。
• Elad Richardson, Gal Metzer, Yuval Alaluf, Raja Giryes, Daniel Cohen-Or: “TEXTure：3D 形状的文本引导纹理化”，2023 年； arXiv:2302.01721。
• Tianxing He, Jingyu Zhang, Tianle Wang, Sachin Kumar, Kyunghyun Cho, James Glass, Yulia Tsvetkov: “On the Blind Spots of Model-Based Evaluation Metrics for Text Generation”，2022 年； arXiv:2212.10020。
• Ori Ram, Yoav Levine, Itay Dalmedigos, Dor Muhlgay, Amnon Shashua, Kevin Leyton-Brown, Yoav Shoham: “In-Context Retrieval-Augmented Language Models”，2023 年； arXiv:2302.00083。
• Dacheng Li, Rulin Shao, Hongyi Wang, Han Guo, Eric P. Xing, Hao Zhang: “MPCFormer：使用 MPC 的快速、高性能和私有的 Transformer 推理”，2022 年； arXiv:2211.01452。
• Baolin Peng, Michel Galley, Pengcheng He, Chris Brockett, Lars Liden, Elnaz Nouri, Zhou Yu, Bill Dolan, Jianfeng Gao: “GODEL：用于目标导向对话的大规模预训练”，2022 年； arXiv:2206.11309。
• Egil Rønningstad, Erik Velldal, Lilja Øvrelid: “Entity-Level Sentiment Analysis (ELSA): An exploratory task survey”，2023 年，第 29 届国际计算语言学会议论文集，2022 年，第 6773-6783 页； arXiv:2304.14241。
• Charlie Snell, Ilya Kostrikov, Yi Su, Mengjiao Yang, Sergey Levine: “Offline RL for Natural Language Generation with Implicit Language Q Learning”，2022 年； arXiv:2206.11871。
• Zhiruo Wang, Shuyan Zhou, Daniel Fried, Graham Neubig: “Execution-Based Evaluation for Open-Domain Code Generation”，2022 年； arXiv:2212.10481。
• Minh-Long Luu, Zeyi Huang, Eric P. Xing, Yong Jae Lee, Haohan Wang: “Expeditious Saliency-guided Mix-up through Random Gradient Thresholding”，2022 年； arXiv:2212.04875。
• Jun Hao Liew, Hanshu Yan, Daquan Zhou, Jiashi Feng: “MagicMix：使用扩散模型的语义混合”，2022 年； arXiv:2210.16056。
• Yaqing Wang, Subhabrata Mukherjee, Xiaodong Liu, Jing Gao, Ahmed Hassan Awadallah, Jianfeng Gao: “LiST：轻量级提示自训练使参数高效的小样本学习器”，2021 年； arXiv:2110.06274。

< > 在 GitHub 上更新