Hugging Face 和 JFrog 合作使 AI 安全更加透明

发布于 2025 年 3 月 4 日
在 GitHub 上更新

我们很高兴地宣布,我们与 JFrog 软件供应链平台的创建者 JFrog 达成合作。这是我们为机器学习社区提供一个安全可靠的平台所做的长期承诺的一部分。

我们决定将 JFrog 的扫描器添加到我们的平台,以持续增强 Hugging Face Hub 的安全性。JFrog 的扫描器为扫描功能带来了新特性,旨在减少 Hub 上的误报。事实上,我们目前观察到,模型权重可能包含在反序列化时执行的代码,有时甚至在推理时执行(取决于格式)。这种代码通常对开发者来说是无害的实用功能。由于我们的 picklescan 扫描器仅对模块名称进行模式匹配,我们无法总是确认某个函数或模块的使用是否是恶意的。JFrog 更进一步,它会解析和分析在模型权重中发现的代码,以检查潜在的恶意使用。

有兴趣加入我们的安全合作伙伴计划或在 Hub 上提供扫描信息吗?请通过 security@huggingface.co 与我们联系。

模型安全性更新

为了共享模型,我们序列化权重、配置和其它用于与模型交互的数据结构,以便于存储和传输。一些序列化格式容易受到恶意攻击,例如任意代码执行(说的就是你,pickle),这使得使用这些格式共享的模型存在潜在危险。

由于 Hugging Face 已成为一个流行的模型共享平台,我们希望帮助社区免受此类威胁,因此我们开发了像 picklescan 这样的工具,并将 JFrog 集成到我们的扫描器套件中。

Pickle 并不是唯一可被利用的格式,可以参考这里了解如何利用 Keras Lambda 层来实现任意代码执行。好消息是,JFrog 能够捕获这两种以及更多其它文件格式中的漏洞——请查看他们的模型威胁页面以获取最新的扫描器信息。

在此处阅读我们所有关于安全性的文档:https://huggingface.co/docs/hub/security 🔥

集成

你无需做任何事情即可受益!只要你将文件推送到 Hub,所有公开的模型仓库都将自动被 JFrog 扫描。这里有一个示例仓库,你可以查看此功能的实际效果:mcpotato/42-eicar-street

`mcpotato/42-eicar-street` 的 `danger.dat` 扫描结果

请注意,你可能今天还看不到你的模型的扫描结果,因为我们有数百万个模型仓库。我们可能需要一些时间来完成扫描 😅。

我们总共已经扫描了数亿个文件,因为我们相信,赋能社区以安全、顺畅的方式共享模型,将促进整个领域的成长。

社区

📻 🎙️ 嘿,我为这篇博文生成了一个 AI 播客,快来听听看吧!

此播客通过 ngxson/kokoro-podcast-generator 生成,使用了 DeepSeek-R1Kokoro-TTS

·

“Keep hugging those models safely” - 这句结束语我太爱了!

注册登录以发表评论