亚马逊网络服务 (AWS)
| 功能 | 可用 |
|---|---|
| 工具 | 否 |
| 多模态 | 否 |
您可以将您的 Amazon SageMaker 实例指定为聊天 UI 的端点
MODELS=`[{
"name": "your-model",
"displayName": "Your Model",
"description": "Your description",
"parameters": {
"max_new_tokens": 4096
},
"endpoints": [
{
"type" : "aws",
"service" : "sagemaker"
"url": "",
"accessKey": "",
"secretKey" : "",
"sessionToken": "",
"region": "",
"weight": 1
}
]
}]`您也可以设置 "service": "lambda" 来使用 lambda 实例。
您可以从您的 AWS 用户（在程序访问下）获取 accessKey 和 secretKey。