OVHcloud AI Endpoints

所有支持的OVHcloud AI Endpoints模型可以在这里找到

OVHcloud AI Endpoints是一项托管的AI推理服务，提供对各种最先进机器学习模型的访问。作为OVHcloud的Public Cloud产品的一部分，AI Endpoints使开发人员能够轻松地将AI功能集成到他们的数据主权、隐私和GDPR合规性的应用程序中。

支持的任务

聊天补全 (LLM)

了解更多关于聊天补全 (LLM) 的信息，请点击这里。

语言

客户端

提供商

设置

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://router.huggingface.co/v1",
    api_key=os.environ["HF_TOKEN"],
)

completion = client.chat.completions.create(
    model="meta-llama/Llama-3.1-8B-Instruct:ovhcloud",
    messages=[
        {
            "role": "user",
            "content": "What is the capital of France?"
        }
    ],
)

print(completion.choices[0].message)

聊天补全 (VLM)

了解更多关于聊天补全 (VLM) 的信息，请点击这里。

语言

客户端

提供商

设置

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://router.huggingface.co/v1",
    api_key=os.environ["HF_TOKEN"],
)

completion = client.chat.completions.create(
    model="Qwen/Qwen2.5-VL-72B-Instruct:ovhcloud",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Describe this image in one sentence."
                },
                {
                    "type": "image_url",
                    "image_url": {
                        "url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
                    }
                }
            ]
        }
    ],
)

print(completion.choices[0].message)

在 GitHub 上更新

推理服务提供商

OVHcloud AI Endpoints

支持的任务

聊天补全 (LLM)

聊天补全 (VLM)