模型安全。

Pytorch 默认使用 pickle，这意味着在很长一段时间内，*所有*使用该格式的模型在纯粹加载模型时都可能执行意外代码。

Python 的 pickle 页面上有一个很大的红色警告链接，但社区在很长一段时间内都忽略了它。现在 AI/ML 得到了更广泛的使用，我们需要摆脱这种格式。

HuggingFace 在这方面发挥了主导作用，它创建了一种包含纯数据的新格式（safetensors），并正在缓慢但稳步地将所有库默认使用它。此举是故意的缓慢，以便尽可能减少对用户造成破坏性更改的影响。

TGI 2.0

自 TGI 2.0 发布以来，我们借此主要版本升级的机会，打破了对这些 pytorch 模型的向后兼容性（因为它们对部署它们的人来说存在巨大的安全风险）。

从现在起，TGI 将不会自动转换 pickle 文件，除非在环境变量中设置了 --trust-remote-code 标志或 TRUST_REMOTE_CODE=true。此标志已用于社区定义的推理代码，因此它很好地代表了您对模型提供商的信任程度。

如果您想使用使用 pickle 的模型，但仍不想完全信任作者，我们建议您使用我们为此目的制作的空间进行转换。

https://huggingface.co/spaces/safetensors/convert

这个空间将对原始模型创建一个 PR，无论原始作者的合并状态如何，您都可以直接使用它。只需使用

docker run .... --revision refs/pr/#ID # Or use REVISION=refs/pr/#ID in the environment