文本生成推理

Safetensors

Safetensors 是一种用于深度学习模型的模型序列化格式。与其他序列化格式（如 pickle（在许多深度学习库中使用）相比，它更快且更安全。

TGI 主要依赖于 safetensors 格式来实现张量并行分片。在服务期间，对于给定的模型存储库，TGI 会查找 safetensors 权重。如果没有 safetensors 权重，TGI 会将 PyTorch 权重转换为 safetensors 格式。

您可以通过阅读safetensors 文档了解更多关于 safetensors 的信息。