Hugging Face 和 IBM 在 watsonx.ai 上合作,watsonx.ai 是面向 AI 构建者的下一代企业级工作室

发布于 2023 年 5 月 23 日
在 GitHub 上更新

抛开一切炒作不谈,人工智能对社会和企业产生的深远影响是不可否认的。从初创公司到企业再到公共部门,我们交谈过的每一位客户都在忙于尝试大型语言模型和生成式人工智能,确定最有前景的用例,并逐步将其投入生产。

我们从客户那里得到的首要反馈是,没有一个模型能包打天下。他们明白,为每个用例构建最佳模型,以最大限度地提高其在公司数据上的相关性,同时优化计算预算的价值。当然,隐私和知识产权也是首要关注点,客户希望确保他们保持完全控制。

随着人工智能进入每个部门和业务单元,客户也意识到需要训练和部署许多不同的模型。在一个大型跨国组织中,这可能意味着随时运行数百甚至数千个模型。鉴于人工智能创新的速度,更新、更高性能的模型架构也将导致客户比预期更快地更换他们的模型,这进一步强化了快速无缝地训练和部署新模型到生产环境的需求。

所有这些都只有通过标准化和自动化才能实现。组织无法为新项目从头开始构建模型、工具和基础设施。幸运的是,过去几年出现了一些非常积极的发展。

  1. 模型标准化Transformer 架构现已成为深度学习应用(如自然语言处理、计算机视觉、音频、语音等)的事实标准。现在,构建在许多用例中表现良好的工具和工作流变得更加容易。
  2. 预训练模型数十万预训练模型只需点击即可获取。您可以在 Hugging Face 上直接发现和测试它们,并快速筛选出对您的项目有前景的模型。
  3. 开源库:Hugging Face 让您只需一行代码即可下载预训练模型,并且您可以在几分钟内开始使用您自己的数据进行实验。从训练到部署再到硬件优化,客户可以依赖一套一致的社区驱动工具,这些工具在任何地方都以相同的方式工作,从他们的笔记本电脑到他们的生产环境。

此外,我们的云合作伙伴让客户可以大规模使用 Hugging Face 模型和库,而无需担心基础设施的配置和技术环境的构建。这使得以快速的速度推出高质量模型变得更加容易,而无需重复造轮子。

继我们与 AWS 在 Amazon SageMaker 和与 Microsoft 在 Azure Machine Learning 上的合作之后,我们很高兴与 IBM 在他们的新 AI 工作室 watsonx.ai 上进行合作。watsonx.ai 是面向 AI 构建者的下一代企业级工作室,用于训练、验证、调整和部署传统的机器学习和新的生成式 AI 功能,并由基础模型提供支持。

IBM 决定开源应该是 watsonx.ai 的核心。我们完全同意!watsonx.ai 基于 RedHat OpenShift 构建,将以云端和本地部署的形式提供。这对于那些由于严格的合规性规定而无法使用云,或者更喜欢在自己的基础设施上处理机密数据的客户来说,是一个好消息。在此之前,这些客户通常不得不构建自己的内部机器学习平台。现在,他们拥有了一个可以使用标准 DevOps 工具部署和管理的开源现成替代方案。

在底层,watsonx.ai 还集成了许多 Hugging Face 的开源库,例如 transformers(10万+ GitHub 星标!)、acceleratepeft 以及我们的 Text Generation Inference 服务器等等。我们很高兴与 IBM 合作,并在 watsonx AI 和数据平台上进行协作,以便 Hugging Face 的客户可以原生使用他们的 Hugging Face 模型和数据集,从而在企业中倍增 AI 的影响力。

此外,IBM 还开发了自己的大型语言模型集合,我们将与他们的团队合作,将其开源并使其在 Hugging Face Hub 中易于获取。

要了解更多信息,请观看 IBM 研究院高级副总裁兼院长 Darío Gil 博士和我们的首席执行官 Clem Delangue 在 IBM THINK 2023 主题演讲中宣布我们的合作演示 watsonx 平台,并介绍 IBM 的大型语言模型套件

我们的联合团队目前正在努力工作。我们迫不及待地想向您展示我们取得的成就!最具标志性的科技公司与一家新兴初创公司携手合作,共同应对企业人工智能领域……谁能想到呢?

激动人心的时代。敬请期待!

社区

注册登录以发表评论