Hugging Face 的 LOGO

推理提供商文档

Groq

Hugging Face's logo
加入 Hugging Face 社区

并获得增强的文档体验

开始使用

Groq

所有支持的 Groq 模型都可以在此处找到。

Groq 提供了快速的 AI 推理。他们开创性的 LPU 技术为 GenAI 模型带来了创纪录的性能和效率。凭借专为 AI 推理工作负载设计的定制芯片和确定性的软件优先方法，Groq 消除了传统硬件的瓶颈，实现了具有可预测延迟和卓越吞吐量的实时 AI 应用，从而使开发人员能够快速构建。

有关最新定价，请访问我们的定价页面。

资源

支持的任务

聊天补全 (LLM)

了解更多关于聊天补全 (LLM) 的信息，请点击这里。

import os
from huggingface_hub import InferenceClient

client = InferenceClient(
    provider="groq",
    api_key=os.environ["HF_TOKEN"],
)

completion = client.chat.completions.create(
    model="openai/gpt-oss-120b",
    messages=[
        {
            "role": "user",
            "content": "What is the capital of France?"
        }
    ],
)

print(completion.choices[0].message)

聊天补全 (VLM)

了解更多关于聊天补全 (VLM) 的信息，请点击这里。

import os
from huggingface_hub import InferenceClient

client = InferenceClient(
    provider="groq",
    api_key=os.environ["HF_TOKEN"],
)

completion = client.chat.completions.create(
    model="meta-llama/Llama-4-Scout-17B-16E-Instruct",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "Describe this image in one sentence."
                },
                {
                    "type": "image_url",
                    "image_url": {
                        "url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
                    }
                }
            ]
        }
    ],
)

print(completion.choices[0].message)
< > 在 GitHub 上更新

←Fireworks Hyperbolic→