推理服务提供商

SambaNova

您可以在这里找到所有支持的 SambaNova 模型

SambaNova 的 AI 平台是未来十年 AI 创新的技术支柱。客户正在转向 SambaNova，以快速部署最先进的 AI 和深度学习功能，帮助他们在竞争中脱颖而出。

支持的任务

聊天补全 (LLM)

了解更多关于聊天补全 (LLM) 的信息，请点击这里。

语言

客户端

提供商

设置

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://router.huggingface.co/v1",
    api_key=os.environ["HF_TOKEN"],
)

completion = client.chat.completions.create(
    model="meta-llama/Llama-3.1-8B-Instruct:sambanova",
    messages=[
        {
            "role": "user",
            "content": "What is the capital of France?"
        }
    ],
)

print(completion.choices[0].message)

特征提取

详细了解特征提取此处。

语言

客户端

提供商

设置

import os
from huggingface_hub import InferenceClient

client = InferenceClient(
    provider="sambanova",
    api_key=os.environ["HF_TOKEN"],
)

result = client.feature_extraction(
    "Today is a sunny day and I will get some ice cream.",
    model="intfloat/e5-mistral-7b-instruct",
)

在 GitHub 上更新