支持的硬件提供商

HUGS 已针对各种 ML 推理加速器进行优化，并且对不同加速器家族和提供商的支持将继续呈指数级增长。

NVIDIA GPU

NVIDIA GPU 广泛用于机器学习和人工智能应用，为深度学习任务提供高性能和专用硬件。NVIDIA 的 CUDA 平台为 GPU 加速计算提供了强大的生态系统。

支持的设备

• NVIDIA A10G：24GB GDDR6 内存，9216 个 CUDA 核心，288 个 Tensor 核心，72 个 RT 核心
• NVIDIA L4：24GB GDDR6 内存，7168 个 CUDA 核心，224 个 Tensor 核心，56 个 RT 核心
• NVIDIA L40S：48GB GDDR6 内存，18176 个 CUDA 核心，568 个 Tensor 核心，142 个 RT 核心
• NVIDIA A100：40/80GB HBM2e 内存，6912 个 CUDA 核心，432 个 Tensor 核心，108 个 RT 核心
• NVIDIA H100：80GB HBM3 内存，14592 个 CUDA 核心，456 个 Tensor 核心，144 个 RT 核心

AMD GPU

AMD GPU 在人工智能和机器学习领域提供了强大的竞争力，其 CDNA 架构提供了高性能计算能力。AMD 的 ROCm (Radeon Open Compute) 平台支持在 Linux 系统上进行 GPU 加速计算。

支持的设备

• AMD Instinct MI300X：192GB HBM3 内存，304 个计算单元，4864 个 AI 加速器

AWS 加速器 (Inferentia/Trainium)

AWS Inferentia2 是一款定制的加速器，专门为高性能、高成本效益的机器学习推理而设计。

支持的设备

• AWS Inferentia2：在 Amazon EC2 Inf2 实例中可用，每个实例提供多达 12 个 Inferentia2 芯片。AWS Inferentia2 加速器针对部署大型语言模型和其他计算密集型 ML 工作负载进行了优化，为推理任务提供高吞吐量和低延迟。更多信息请访问 Amazon EC2 Inf2 实例。
• AWS Trainium：即将推出！

Google TPU

即将推出

< > 在 GitHub 上更新