使用戴尔企业中心在本地构建 AI

发布日期:2024年5月21日
在 GitHub 上更新

DELL World Keynote announcement Hugging Face

今天,我们宣布推出戴尔企业中心(Dell Enterprise Hub),这是 Hugging Face 上的一项新体验,旨在利用戴尔平台轻松地在本地训练和部署开放模型。

请访问 dell.huggingface.co 尝试使用。

企业需要使用开放模型构建 AI

在构建 AI 系统时,开放模型是满足企业安全、合规和隐私要求的最佳解决方案。

  • 基于开放模型构建使公司能够理解、拥有和控制其 AI 功能,
  • 开放模型可以托管在企业安全的 IT 环境中,
  • 在本地训练和部署开放模型可以保护客户数据。

但是,在本地基础设施中使用大型语言模型 (LLM) 通常需要数周的反复试验,处理容器、并行性、量化和内存不足错误。

借助戴尔企业中心,我们可以轻松地使用戴尔平台在本地训练和部署 LLM,将数周的工程工作缩短到几分钟。

戴尔企业中心:本地 LLM 变得轻松

戴尔企业中心提供了一系列精选的当今最先进的开放模型,包括 Meta 的 Llama 3Mistral AI 的 MixtralGoogle 的 Gemma 等。

要访问戴尔企业中心,您只需要一个 Hugging Face 帐户。

catalog

戴尔企业中心是专为企业从头开始设计的,并针对戴尔平台进行了优化。

您可以轻松地按许可证或模型大小筛选可用模型。

catalog-filter

选择模型后,您可以查看专为企业使用设计的全面模型卡。您可以一目了然地看到模型的关键信息、大小以及哪些戴尔平台支持它。

Meta、Mistral 和 Google 的许多模型需要授权才能访问模型权重。由于戴尔企业中心基于 Hugging Face 用户帐户构建,您的帐户权限将转移到戴尔企业中心,您只需获得一次许可即可。

使用戴尔企业中心部署开放模型

选择可部署的模型后,在戴尔环境中部署它非常容易。只需选择一个受支持的戴尔平台,以及您希望用于部署的 GPU 数量。

deploy

当您将提供的脚本粘贴到戴尔环境终端或服务器中时,一切都会自动进行,使您的模型作为 API 端点在您的戴尔平台上可用。Hugging Face 为每个戴尔平台优化了部署配置,考虑了可用的硬件、内存和连接功能,并定期在戴尔基础设施上进行测试,以提供开箱即用的最佳结果。

使用戴尔企业中心训练开放模型

模型微调通过根据公司特定的训练数据更新模型权重来提高其在特定领域和用例中的性能。微调后的开放模型已被证明优于 GPT-4 等最佳可用闭源模型,为特定 AI 功能提供更高效和更高性能的模型。由于公司特定的训练数据通常包含机密信息、知识产权和客户数据,因此在本地进行微调对企业合规性很重要,这样数据永远不会离开公司安全 IT 环境。

使用戴尔企业中心在本地微调开放模型就像部署模型一样容易。主要的额外参数是为戴尔环境本地路径提供优化的训练容器,其中托管训练数据集,以及完成时将微调模型上传到何处。训练数据集可以作为 CSV 或 JSONL 格式的文件提供,遵循此规范

train

使用戴尔企业中心自带模型

如果您想在本地部署您自己的模型,而无需它离开您的安全环境,该怎么办?

使用戴尔企业中心,一旦您训练了一个模型,它将托管在您选择的本地安全环境中。通过选择“部署微调模型”选项卡,部署它只是另一个简单的步骤。

如果您使用戴尔企业中心支持的一种模型架构自行训练了模型,您也可以以完全相同的方式部署它。

只需将本地路径设置为您在将运行提供的代码片段的环境中存储模型权重的位置。

deploy-fine-tuned

部署后,模型即可作为 API 端点使用,通过遵循与 OpenAI 兼容的消息 API 发送请求即可轻松调用。这使得将使用 OpenAI 构建的原型转换为使用戴尔企业中心设置的安全本地部署变得超级容易。

我们才刚刚开始

今天,我们非常高兴发布戴尔企业中心,它提供了许多可即时使用的容器模型,这些模型针对多种平台进行了优化,距离宣布我们与戴尔科技的合作已经过去六个月了。

戴尔提供了许多基于 NVIDIA、AMD 和 Intel Gaudi AI 硬件加速器的平台。Hugging Face 与 NVIDIA (optimum-nvidia)、AMD (optimum-amd) 和 Intel (optimum-inteloptimum-habana) 的工程协作将使我们能够为所有戴尔平台配置上的开放模型的部署和训练提供更多优化的容器。我们很高兴能为更多最先进的开放模型提供支持,并在更多戴尔平台上启用它们——我们才刚刚开始!

社区

注册登录 发表评论