Safetensors

Safetensors 是一种用于深度学习模型的模型序列化格式。与其他序列化格式（如 pickle）（在许多深度学习库的底层使用）相比，它更快且更安全。

TGI 主要依赖 safetensors 格式来启用张量并行分片。对于服务期间给定的模型仓库，TGI 会查找 safetensors 权重。如果没有 safetensors 权重，TGI 会将 PyTorch 权重转换为 safetensors 格式。

您可以通过阅读 safetensors 文档了解更多关于 safetensors 的信息。

< > 在 GitHub 上更新