推理服务提供商

Groq

所有受支持的 Groq 模型可以在此处找到

Groq 提供快速的 AI 推理。其突破性的 LPU 技术为 GenAI 模型提供创纪录的性能和效率。凭借专为 AI 推理工作负载设计的定制芯片以及确定性的、软件优先的方法，Groq 消除了传统硬件的瓶颈，从而能够实现具有可预测延迟和卓越吞吐量的实时 AI 应用，使开发人员能够构建快速的产品。

有关最新定价，请访问我们的定价页面。

资源

网站: https://groq.com/
文档: https://console.groq.com/docs
社区论坛: https://community.groq.com/
X: @GroqInc
LinkedIn: Groq
YouTube: Groq

支持的任务

聊天补全 (LLM)

了解更多关于聊天补全 (LLM) 的信息，请点击这里。

语言

客户端

提供商

设置

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://router.huggingface.co/v1",
    api_key=os.environ["HF_TOKEN"],
)

completion = client.chat.completions.create(
    model="openai/gpt-oss-120b:groq",
    messages=[
        {
            "role": "user",
            "content": "What is the capital of France?"
        }
    ],
)

print(completion.choices[0].message)

在 GitHub 上更新