推理服务提供商

Nscale

您可以通过这里找到所有支持的 Nscale 模型

Nscale 是一个垂直整合的 AI 云，提供定制化的、主权的、规模化的 AI 基础设施。

基于此基础，Nscale 的推理服务使开发人员能够使用各种模型和即用型推理服务，这些服务可以集成到工作流程中，而无需管理底层基础设施。

支持的任务

聊天补全 (LLM)

了解更多关于聊天补全 (LLM) 的信息，请点击这里。

语言

客户端

提供商

设置

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://router.huggingface.co/v1",
    api_key=os.environ["HF_TOKEN"],
)

completion = client.chat.completions.create(
    model="meta-llama/Llama-3.1-8B-Instruct:nscale",
    messages=[
        {
            "role": "user",
            "content": "What is the capital of France?"
        }
    ],
)

print(completion.choices[0].message)

文本到图像

详细了解文本到图像此处。

语言

提供商

设置

import os
from huggingface_hub import InferenceClient

client = InferenceClient(
    provider="nscale",
    api_key=os.environ["HF_TOKEN"],
)

# output is a PIL.Image object
image = client.text_to_image(
    "Astronaut riding a horse",
    model="stabilityai/stable-diffusion-xl-base-1.0",
)

在 GitHub 上更新