快速入门 — 在 Amazon Bedrock Marketplace 上使用 Hugging Face 模型

为什么要将 Bedrock Marketplace 用于 Hugging Face 模型？

Amazon Bedrock 现在通过单个目录公开 Hugging Face 的开放权重模型，包括 Gemma、Llama 3、Mistral 等。您可以使用与 Titan、Anthropic、Cohere 等相同的 Bedrock API 来调用它们。在后台，Bedrock Marketplace 模型端点由 Amazon SageMaker AI 管理。通过 Bedrock Marketplace，您现在可以将 SageMaker JumpStart 的易用性与 Amazon Bedrock 的完全托管基础设施相结合，包括与高级 API（如 Agents、Knowledge Bases、Guardrails 和 Model Evaluations）的兼容性。

1. 先决条件

	要求
在 Bedrock 区域中的 AWS 账户	Marketplace 是区域性的；请先将控制台切换到 14 个受支持区域之一，例如 `us-east-1`。
权限	对于快速试用，请附加 `AmazonBedrockFullAccess` 和 `AmazonSageMakerFullAccess`。
服务配额	SageMaker 端点使用 GPU 实例（例如 ml.g5）。请验证您是否有配额或请求配额。
仅限 JumpStart	如果您选择路径 B，请先创建 SageMaker Studio 域和用户配置文件（控制台 ▸ SageMaker ▸ 域）。在继续之前打开 Studio。

在 Amazon Bedrock 中注册 SageMaker Jumpstart 端点时，您只需支付 SageMaker 计算资源的费用，并适用常规 Amazon Bedrock API 价格。

2. 端点部署

有两种等效路径可将 Hugging Face 模型与 Amazon Bedrock Marketplace 结合使用。

路径 A 来自 Bedrock “模型目录”

控制台 → Amazon Bedrock → 基础模型 → 模型目录
筛选提供商 → “Hugging Face”，然后选择您的模型（例如 Gemma 2 27B Instruct）
如果您看到“订阅”，请查看定价和条款，点击“订阅”，然后继续
点击“部署” → 命名端点 → 保留推荐实例 → 接受 EULA → 部署
等待“基础模型” → “Marketplace 部署”显示“服务中”状态（需要几分钟）
点击部署名称并复制 SageMaker 端点 ARN — 您在 API 调用中需要它

路径 B 来自 SageMaker JumpStart，用于显示“与 Bedrock 配合使用”的模型

在 SageMaker Studio 中，打开 JumpStart
筛选 Bedrock Ready 模型 → 选择模型卡（例如 Gemma 2 9B Instruct）
点击“部署”，接受 EULA，保留默认设置，部署
Studio → 部署 → 端点 → 等待状态“服务中”
点击端点，选择“与 Bedrock 配合使用”
在 Bedrock 控制台中，审核并注册 → 在“Marketplace 部署”下出现一个新条目
打开该条目并复制 SageMaker 端点 ARN 以供代码示例使用

3. 交互式测试

若要在控制台中交互式测试模型，请在 Marketplace 部署下选择模型，在 playground 中打开它，并在聊天/文本模式下发送提示以验证模型的响应。

或者，您可以以编程方式访问您的端点。

import boto3

bedrock = boto3.client("bedrock-runtime")

# Paste the endpoint ARN you copied above
endpoint_arn = "arn:aws:sagemaker:<region>:<account‑id>:endpoint/<name>"

inference_cfg = {"maxTokens": 256, "temperature": 0.1, "topP": 0.95}
extra = {"parameters": {"repetition_penalty": 1.05}}

response = bedrock.converse(
    modelId=endpoint_arn,                  # <- SageMaker endpoint ARN
    messages=[{
        "role": "user",
        "content": [{"text": "Give me three taglines for a serverless AI startup"}]
    }],
    inferenceConfig=inference_cfg,
    additionalModelRequestFields=extra,
)

print(response["output"]["message"]["content"][0]["text"])

请注意：相同的 `modelId=endpoint_arn` 适用于 InvokeModel、知识库 (RetrieveAndGenerate)、代理和 Guardrails——无需更改代码。

4. 清理（停止收费）

资源	如何删除
SageMaker 端点	控制台 → Marketplace 部署 → 选择 → 删除（也会取消注册） • 或者 `boto3.client("sagemaker").delete_endpoint(...)`
可选附加项	如果您创建了知识库、护栏或 S3 向量，请删除它们。

更多信息，请参考Bedrock 文档。