Snorkel AI x Hugging Face：为企业解锁基础模型

本文是 Friea Berg 于 2023 年 4 月 6 日最初发表在 Snorkel 博客上的文章的交叉发布。

随着 OpenAI 发布 GPT-4 以及 Google 首次推出 Bard 的 Beta 版，世界各地的企业都对利用基础模型的力量感到兴奋。随着这股热情的增长，人们也意识到大多数公司和组织并没有准备好正确地利用基础模型。

基础模型给企业带来了一系列独特的挑战。它们前所未有的庞大规模使得公司难以自己托管，成本高昂，而将现成的基础模型用于生产用例可能会导致性能不佳或存在重大的治理和合规风险。

Snorkel AI 弥合了基础模型与企业实际用例之间的差距，并为像 Pixability 这样的 AI 创新者取得了令人瞩目的成果。我们正在与以其庞大的即用型开源模型库而闻名的 Hugging Face 合作，为企业开发 AI 应用程序提供更大的灵活性和选择。

Snorkel Flow 中的基础模型

Snorkel Flow 开发平台使用户能够为他们的特定用例调整基础模型。应用程序开发首先检查所选基础模型在其数据上的“开箱即用”预测。这些预测成为这些数据点的训练标签的初始版本。Snorkel Flow 帮助用户识别该模型中的错误模式，并通过程序化标注高效地纠正它们，这可以包括使用启发式方法或提示来更新训练标签。然后，可以在更新后的标签上对基础模型进行微调并再次评估，这个迭代的“检测和纠正”过程将持续进行，直到调整后的基础模型质量足够高可以部署为止。

Hugging Face 通过从单一来源立即提供超过 150,000 个开源模型，帮助实现了这一强大的开发过程。其中许多模型都针对特定领域的数据进行了专门化，例如用于演示如何使用机器学习发现药物不良事件的 BioBERT 和 SciBERT 模型。一个——或者更好的是，多个——专门的基础模型可以为用户在初始预测、改进标签的提示或微调最终模型进行部署方面提供一个良好的开端。

Hugging Face 有何帮助？

Snorkel AI 与 Hugging Face 的合作极大地增强了 Snorkel Flow 的基础模型能力。最初，我们只提供了少量基础模型。每个模型都需要专门的服务，这使得我们为企业提供利用快速增长的各种模型的灵活性变得成本高昂且困难。采用 Hugging Face 的推理端点服务使我们能够扩大用户可以利用的基础模型的数量，同时保持成本可控。

Hugging Face 的服务允许用户只需点击几下即可创建模型 API 并立即开始使用。至关重要的是，这项新服务具有“暂停和恢复”功能，使我们能够在客户需要时激活模型 API，在不需要时使其休眠。

“我们惊喜地发现 Hugging Face 推理端点服务的设置是如此直接……所有的配置选项都非常不言自明，但我们也能获得所需的所有选项，包括在哪个云上运行、需要什么样的安全级别等等。”

– Snorkel 首席技术官兼联合创始人 Braden Hancock

这对 Snorkel 客户有何帮助？

很少有企业拥有从头开始训练自己的基础模型的资源。虽然许多企业可能拥有内部专业知识来微调自己的基础模型版本，但他们可能难以收集完成该任务所需的大量数据。Snorkel 的以数据为中心的平台用于开发基础模型，以及与 Hugging Face 等行业领先创新者的合作，有助于将基础模型的力量交到我们用户的指尖。

“通过 Snorkel AI 和 Hugging Face 推理端点，公司将以开源为核心，加速其以数据为中心的 AI 应用。机器学习正在成为构建技术的默认方式，而基于开源进行构建，使公司能够为其用例构建正确的解决方案，并掌控他们为客户提供的体验。我们很高兴看到 Snorkel AI 能够利用开源的 Hugging Face 模型和我们的机器学习生产服务——推理端点，为企业实现自动化数据标注。”

Clement Delangue，Hugging Face 联合创始人兼首席执行官

结论

Snorkel 和 Hugging Face 携手合作，使大公司、政府机构和 AI 创新者比以往任何时候都更容易从基础模型中获得价值。能够使用 Hugging Face 全面的基础模型中心意味着用户可以选择最符合其业务需求模型，而无需投入训练这些模型所需的资源。这一整合是使基础模型更容易为全球企业所用的重要一步。

如果您对公司的 Hugging Face 推理端点感兴趣，请在此联系我们 - 我们的团队将与您联系，讨论您的需求！