第三方扫描器: JFrog

JFrog 的安全扫描器检测机器学习模型中的恶意行为。

danger.dat 报告示例

我们与 JFrog 合作 提供扫描，以使 Hub 更安全。模型文件由 JFrog 扫描器扫描，我们在 Hub 界面上公开扫描结果。

JFrog 的扫描器旨在减少误报。实际上，我们目前观察到模型权重中包含的代码并不总是恶意的。当在文件中检测到代码时，JFrog 的扫描器将对其进行解析和分析，以检查潜在的恶意使用情况。

这是一个示例仓库，您可以查看以了解此功能的实际应用：mcpotato/42-eicar-street。

模型安全回顾

为了共享模型，我们序列化用于与模型交互的数据结构，以便于存储和传输。某些序列化格式容易受到恶意利用，例如任意代码执行（说的就是你 Pickle），这使得共享模型可能存在危险。

随着 Hugging Face 成为流行的模型共享平台，我们希望保护社区免受这种情况的影响，因此我们开发了 picklescan 等工具，并集成了第三方扫描器。

Pickle 不是唯一可利用的格式，请参考如何利用 Keras Lambda 层来实现任意代码执行。

< > 在 GitHub 上更新