支持的硬件供应商

HUGS 针对各种 ML 推理加速器进行了优化，对不同加速器系列和供应商的支持将继续呈指数级增长。

NVIDIA GPU

NVIDIA GPU 广泛用于机器学习和 AI 应用，为深度学习任务提供高性能和专用硬件。NVIDIA 的 CUDA 平台为 GPU 加速计算提供了强大的生态系统。

支持的设备

• NVIDIA A10G：24GB GDDR6 内存，9216 CUDA 核心，288 Tensor 核心，72 RT 核心
• NVIDIA L4：24GB GDDR6 内存，7168 CUDA 核心，224 Tensor 核心，56 RT 核心
• NVIDIA L40S：48GB GDDR6 内存，18176 CUDA 核心，568 Tensor 核心，142 RT 核心
• NVIDIA A100：40/80GB HBM2e 内存，6912 CUDA 核心，432 Tensor 核心，108 RT 核心
• NVIDIA H100：80GB HBM3 内存，14592 CUDA 核心，456 Tensor 核心，144 RT 核心

AMD GPU

AMD GPU 在 AI 和机器学习领域提供了强大的竞争，通过其 CDNA 架构提供高性能计算能力。AMD 的 ROCm (Radeon Open Compute) 平台支持 Linux 系统上的 GPU 加速计算。

支持的设备

• AMD Instinct MI300X：192GB HBM3 内存，304 个计算单元，4864 个 AI 加速器

AWS 加速器 (Inferentia/Trainium)

AWS Inferentia2 是专为高性能、高性价比的机器学习推理而定制构建的加速器。

支持的设备

• AWS Inferentia2：在 Amazon EC2 Inf2 实例中可用，每个实例最多提供 12 个 Inferentia2 芯片。AWS Inferentia2 加速器针对部署大型语言模型和其他计算密集型 ML 工作负载进行了优化，为推理任务提供高吞吐量和低延迟。更多信息请访问 Amazon EC2 Inf2 实例。
• AWS Trainium：即将推出！

Google TPU

即将推出

< > 在 GitHub 上更新