第三方扫描器：JFrog

JFrog 的安全扫描器可检测机器学习模型中的恶意行为。

danger.dat 的报告示例

我们与 JFrog 合作提供扫描服务，以使 Hub 更加安全。模型文件由 JFrog 扫描器扫描，我们会在 Hub 界面上显示扫描结果。

JFrog 的扫描器旨在减少误报。事实上，我们目前观察到，模型权重中包含的代码并不总是恶意的。当在文件中检测到代码时，JFrog 的扫描器会解析并分析它，以检查潜在的恶意用途。

这里有一个示例仓库，你可以查看以了解该功能的实际效果：mcpotato/42-eicar-street。

模型安全知识复习

为了共享模型，我们序列化与模型交互所使用的数据结构，以便于存储和传输。一些序列化格式容易受到恶意攻击，例如任意代码执行（说的就是你 pickle），这使得共享模型具有潜在危险。

由于 Hugging Face 已成为模型共享的热门平台，我们希望保护社区免受此类威胁，因此我们开发了像 picklescan 这样的工具，并集成了第三方扫描器。

Pickle 不是唯一可被利用的格式，请参考此文了解如何利用 Keras Lambda 层实现任意代码执行。

< > 在 GitHub 上更新