让数千个开源大型语言模型在 Vertex AI Model Garden 中绽放
今天，我们非常高兴地宣布推出 Deploy on Google Cloud，这是 Hugging Face Hub 上的一项新集成，可以轻松地使用 Vertex AI 或 Google Kubernetes Engine (GKE) 将数千个基础模型部署到 Google Cloud。通过 Deploy on Google Cloud，您可以轻松地将开源模型作为 API 端点部署到自己的 Google Cloud 账户中，可以直接通过 Hugging Face 模型卡进行部署，也可以通过 Vertex Model Garden 进行部署，Vertex Model Garden 是 Google Cloud 发现、自定义和部署来自 Google 及 Google 合作伙伴的各种模型的单一平台。从今天开始，我们将为 Hugging Face 上最受欢迎的开源模型启用推理功能，并由我们的生产解决方案 Text Generation Inference 提供支持。
通过 Deploy on Google Cloud，开发者可以直接在他们安全的 Google Cloud 环境中构建生产就绪的生成式 AI 应用程序，而无需管理基础设施和服务器。
AI 开发者协作
这项新体验是在我们今年早些时候宣布的 战略合作伙伴关系 的基础上扩展的，旨在简化 Google 客户对开源生成式 AI 模型的访问和部署。开发者和组织面临的主要问题之一是安全可靠地部署模型所需的时间和资源。Deploy on Google Cloud 为这些挑战提供了简单、托管的解决方案，为 Hugging Face 模型提供了专用配置和资产。只需点击几下即可在 Google Cloud 的 Vertex AI 上创建生产就绪的端点。
“Vertex AI 的 Model Garden 与 Hugging Face Hub 的集成使得在 Vertex AI 和 GKE 上发现和部署开源模型变得无缝，无论您是从 Hub 开始还是直接从 Google Cloud Console 开始，”Google 产品经理 Wenming Ye 说。“我们迫不及待地想看看 Google 开发者将用 Hugging Face 模型构建出什么。”
如何运作 - 从 Hub
在 Google Cloud 上部署 Hugging Face 模型非常容易。下面，您将找到关于如何部署 Zephyr Gemma 的分步说明。从今天开始，所有带有“text-generation-inference”标签的模型 都将受支持。
打开“部署”菜单，选择“Google Cloud”。这将直接将您带到 Google Cloud 控制台，在那里您可以一键将 Zephyr Gemma 部署到 Vertex AI 或 GKE。
进入 Vertex Model Garden 后，您可以选择 Vertex AI 或 GKE 作为部署环境。对于 Vertex AI，您只需点击“部署”即可部署模型。对于 GKE，您可以按照说明和清单模板将模型部署到新的或正在运行的 Kubernetes 集群上。
如何运作 - 从 Vertex 模型园地
Vertex Model Garden 是 Google 开发者为其生成式 AI 项目寻找即用型模型的平台。从今天开始，Vertex Model Garden 提供了一种新体验，可以轻松部署 Hugging Face 上最受欢迎的开源 LLM！
您可以在 Google Vertex AI Model Garden 中找到新的“从 Hugging Face 部署”选项，它允许您直接在 Google Cloud 控制台中搜索和部署 Hugging Face 模型。
当您点击“从 Hugging Face 部署”时，将出现一个表单，您可以在其中快速搜索模型 ID。Hugging Face 上数百个最受欢迎的开源 LLM 都提供即用型、经过测试的硬件配置。
找到要部署的模型后，选择它，Vertex AI 将预填充所有必需的配置，以便将模型部署到 Vertex AI 或 GKE。您甚至可以通过“在 Hugging Face 上查看”来确保选择了正确的模型。如果您使用的是受限模型，请务必提供您的 Hugging Face 访问令牌，以便授权模型下载。
就是这样！直接从 Vertex Model Garden 将 Zephyr Gemma 等模型部署到您自己的 Google Cloud 账户只需点击几下。
我们才刚刚开始
我们很高兴与 Google Cloud 合作，让 AI 对所有人更开放、更易访问。无论您是从 Hugging Face Hub 还是从 Google Cloud 控制台开始，在 Google Cloud 上部署开放模型都从未如此简单。我们不会止步于此——敬请期待，我们将提供更多体验，以便在 Google Cloud 上使用开放模型构建 AI！
