Hugging Face 与 Wiz Research 合作，提升 AI 安全性

我们很高兴地宣布，我们正在与 Wiz 合作，目标是全面提升我们平台和整个 AI/ML 生态系统的安全性。

Wiz 研究人员与 Hugging Face 就我们平台的安全性进行了合作，并分享了他们的发现。Wiz 是一家云安全公司，帮助客户以安全的方式构建和维护软件。在发布这项研究的同时，我们也借此机会强调 Hugging Face 方面的一些相关安全改进。

Hugging Face 最近集成了 Wiz 进行漏洞管理，这是一个持续主动的流程，旨在使我们的平台免受安全漏洞的侵害。此外，我们正在使用 Wiz 进行云安全态势管理 (CSPM)，这使我们能够安全地配置云环境，并进行监控以确保其保持安全。

我们最喜欢的 Wiz 功能之一是其对漏洞的整体视图，从存储到计算再到网络。我们运行多个 Kubernetes (k8s) 集群，并且在多个区域和云提供商之间拥有资源，因此在一个位置获得包含每个漏洞完整上下文图的集中报告非常有帮助。我们还在他们的工具基础上进行了构建，以自动修复我们产品中检测到的问题，尤其是在 Spaces 中。

作为联合工作的一部分，Wiz 的安全研究团队通过 pickle 在系统中运行任意代码，识别了我们沙盒计算环境的不足。在阅读本博客和 Wiz 安全研究论文时，重要的是要记住我们已经解决了所有与漏洞利用相关的问题，并将继续在威胁检测和事件响应过程中保持警惕。

Hugging Face 安全性

在 Hugging Face，我们非常重视安全性，因为 AI 快速发展，新的威胁载体似乎每天都在出现。尽管 Hugging Face 宣布与科技界巨头建立多项合作伙伴关系和业务关系，我们仍然致力于让我们的用户和 AI 社区能够负责任地试验和操作 AI/ML 系统和技术。我们致力于保护我们的平台，并使 AI/ML 民主化，以便社区能够为这一将影响我们所有人的范式转变事件做出贡献并参与其中。我们撰写本博客是为了重申我们对保护用户和客户免受安全威胁的承诺。下面我们还将讨论 Hugging Face 关于我们对有争议的 pickle 文件的支持的理念，以及讨论摆脱 pickle 格式的共同责任。

在不久的将来，还将有许多其他令人兴奋的安全改进和公告。这些出版物不仅将讨论 Hugging Face 平台社区面临的安全风险，还将涵盖 AI 的系统性安全风险以及缓解措施的最佳实践。我们将继续致力于确保我们的产品、基础设施和 AI 社区的安全，请继续关注后续的安全博客文章和白皮书。

开源安全协作和社区工具

我们高度重视与社区的透明度和协作，这包括参与漏洞的识别和披露、协作解决安全问题以及安全工具。以下是我们通过协作取得的安全成果的示例，这些成果有助于整个 AI 社区降低其安全风险

• Picklescan 是与微软合作构建的；Matthieu Maitre 启动了这个项目，鉴于我们有自己的相同工具的内部版本，我们联手并为 picklescan 做出了贡献。如果您想了解更多关于其工作原理的信息，请参阅以下文档页面：https://huggingface.co/docs/hub/en/security-pickle
• Safetensors 由 Nicolas Patry 开发，是 pickle 文件的安全替代方案。Safetensors 已经由 Trail of Bits 在与 EuletherAI 和 Stability AI 的合作倡议下进行了审计。https://huggingface.co/docs/safetensors/en/index
• 我们拥有强大的漏洞赏金计划，吸引了来自世界各地的许多优秀研究人员。发现安全漏洞的研究人员可以通过 security@huggingface.co 咨询加入我们的计划。
• 恶意软件扫描：https://huggingface.co/docs/hub/en/security-malware
• 秘密扫描：https://huggingface.co/docs/hub/security-secrets
• 如前所述，我们还在与 Wiz 合作，以降低平台安全风险
• 我们正在启动一系列安全出版物，旨在解决 AI/ML 社区面临的安全问题。

开源 AI/ML 用户的安全最佳实践

AI/ML 引入了新的攻击向量，但对于其中许多攻击，缓解措施早已存在并广为人知。安全专业人员应确保他们对 AI 资源和模型应用相关的安全控制。此外，以下是一些在使用开源软件和模型时的资源和最佳实践

• 了解贡献者：仅使用来自受信任来源的模型，并注意提交签名。https://huggingface.co/docs/hub/en/security-gpg
• 请勿在生产环境中使用 pickle 文件
• 使用 Safetensors：https://huggingface.co/docs/safetensors/en/index
• 查看 OWASP 十大漏洞：https://owasp.org/www-project-top-ten/
• 为您的 Hugging Face 帐户启用 MFA
• 建立安全开发生命周期，包括由具有适当安全培训的安全专业人员或工程师进行代码审查，并在非生产和虚拟化测试/开发环境中测试模型

Pickle 文件 - 房间里的大象（不安全问题）

Pickle 文件一直是 Wiz 和其他安全研究人员最近关于 Hugging Face 的大部分研究的核心。Pickle 文件长期以来被认为存在安全风险，有关更多信息，请参阅我们的文档文件：https://huggingface.co/docs/hub/en/security-pickle

尽管存在这些已知的安全缺陷，AI/ML 社区仍然经常使用 pickle（或类似容易被利用的格式）。其中许多用例风险较低或用于测试目的，这使得 pickle 文件的熟悉度和易用性比安全替代方案更具吸引力。
作为开源 AI 平台，我们面临以下选择：

• 完全禁止 pickle 文件
• 对 pickle 文件不采取任何措施
• 寻找一个中间地带，既允许使用 pickle，又能合理可行地缓解与 pickle 文件相关的风险

我们暂时选择了第三种方案，即中间地带。这个选项给我们的工程和安全团队带来了负担，我们付出了巨大的努力来缓解风险，同时允许 AI 社区使用他们选择的工具。我们为 pickle 相关风险实施的一些关键缓解措施包括：

• 制定清晰的文档，概述风险
• 开发自动化扫描工具
• 使用扫描工具，并用清晰的警告标记具有安全漏洞的模型
• 我们甚至提供了一个安全的解决方案来替代 pickle (Safetensors)
• 我们还将 Safetensors 作为我们平台的一等公民，以保护可能不了解风险的社区成员
• 除了上述措施，我们还必须对模型使用区域进行显著的分段和增强安全，以应对其中潜在的漏洞

我们打算继续在保护 AI 社区方面发挥领导作用。其中一部分将是监控和解决与 pickle 文件相关的风险。逐步停止对 pickle 的支持也并非不可能，但我们尽力平衡此类决定对社区的影响。

值得注意的是，上游开源社区以及大型科技和安全公司在为解决方案做出贡献方面大多保持沉默，让 Hugging Face 独自定义理念并大力投资开发和实施缓解控制措施，以确保解决方案既可接受又可行。

结束语

我在撰写这篇博客文章时与 Safetensors 的创建者 Nicolas Patry 进行了广泛交谈，他请求我向 AI 开源社区和 AI 爱好者发出行动号召

• 主动开始用 Safetensors 替换您的 pickle 文件。如前所述，pickle 固有安全缺陷，可能在不久的将来不再受支持。
• 继续向上游的您喜欢的库提出关于安全性的问题/PR，以尽可能地向上游推动安全默认设置。

AI 行业正在迅速变化，新的攻击向量/漏洞不断被发现。Huggingface 拥有独一无二的社区，我们与您紧密合作，帮助我们维护一个安全的平台。

请记住通过适当的渠道负责任地披露安全漏洞/错误，以避免潜在的法律责任和违法行为。

想加入讨论吗？请通过 security@huggingface.co 联系我们，或在 Linkedin/Twitter 上关注我们。