AWS Trainium 和 Inferentia 文档
Neuron 导出配置类
加入 Hugging Face 社区
并获得增强的文档体验
开始使用
Neuron 导出配置类
将 PyTorch 模型导出到 neuron 编译模型需要指定
- 输入名称。
- 输出名称。
- 用于追踪模型的虚拟输入。这是 Neuron 编译器记录计算图并将其转换为 TorchScript 模块所必需的。
- 用于控制硬件效率（延迟、吞吐量）和准确性之间权衡的编译参数。
根据模型和任务的选择，我们使用配置类来表示上述数据。每个配置类都与特定的模型架构相关联，并遵循命名约定 ArchitectureNameNeuronConfig。例如，指定 BERT 模型 Neuron 导出的配置是 BertNeuronConfig。
由于许多架构在 Neuron 配置方面共享相似的属性，🤗 Optimum 采用了 3 级类层次结构
- 抽象和通用的基类。这些处理所有基本功能，同时与模态（文本、图像、音频等）无关。
- 中间层类。这些类了解模态，但根据它们支持的输入，同一模态可能存在多个。它们指定应将哪些输入生成器用于虚拟输入，但仍与模型无关。
- 模型特定的类，例如上面提到的
BertNeuronConfig。这些是实际用于导出模型的类。
支持的架构
| 架构 | 任务 |
|---|---|
| ALBERT | 特征提取, 掩码填充, 多项选择, 问答, 文本分类, 令牌分类 |
| BERT | 特征提取, 掩码填充, 多项选择, 问答, 文本分类, 令牌分类 |
| CamemBERT | 特征提取, 掩码填充, 多项选择, 问答, 文本分类, 令牌分类 |
| ConvBERT | 特征提取, 掩码填充, 多项选择, 问答, 文本分类, 令牌分类 |
| DeBERTa (仅限 INF2) | 特征提取, 掩码填充, 多项选择, 问答, 文本分类, 令牌分类 |
| DeBERTa-v2 (仅限 INF2) | 特征提取, 掩码填充, 多项选择, 问答, 文本分类, 令牌分类 |
| DistilBERT | 特征提取, 掩码填充, 多项选择, 问答, 文本分类, 令牌分类 |
| ELECTRA | 特征提取, 掩码填充, 多项选择, 问答, 文本分类, 令牌分类 |
| FlauBERT | 特征提取, 掩码填充, 多项选择, 问答, 文本分类, 令牌分类 |
| GPT2 | 文本生成 |
| MobileBERT | 特征提取, 掩码填充, 多项选择, 问答, 文本分类, 令牌分类 |
| MPNet | 特征提取, 掩码填充, 多项选择, 问答, 文本分类, 令牌分类 |
| RoBERTa | 特征提取, 掩码填充, 多项选择, 问答, 文本分类, 令牌分类 |
| RoFormer | 特征提取, 掩码填充, 多项选择, 问答, 文本分类, 令牌分类 |
| XLM | 特征提取, 掩码填充, 多项选择, 问答, 文本分类, 令牌分类 |
| XLM-RoBERTa | 特征提取, 掩码填充, 多项选择, 问答, 文本分类, 令牌分类 |
有关检查支持任务的更多详细信息，请点击此处。
更多架构即将推出，敬请期待！🚀