Die Leistung der LLM-Inferenz mit der Groq API entfesseln

Groq betreibt Open-Weight-Modelle auf eigenen LPU-Inferenzchips und verkauft den Zugriff über GroqCloud pro Token. Die API ist OpenAI-kompatibel: Richten Sie ein OpenAI SDK auf https://api.groq.com/openai/v1 aus, verwenden Sie einen Groq-Schlüssel, und Ihr bestehender Code für Chat, Responses und Audio funktioniert. Groqs Dokumentation führt Textgenerierung, Reasoning, Tool-Nutzung, strukturierte Ausgaben, OCR und Bildeingabe, Speech-to-Text (Whisper), Text-to-Speech (Orpheus), Inhaltsmoderation und Prompt-Caching auf, außerdem integrierte Tools für Codeausführung und Browsersuche, Remote-Tools über MCP sowie Konnektoren wie Google Workspace.

Der Self-Service-Katalog ist kurz und ändert sich häufig. Am 1. November 2026 umfasste die Produktionsliste GPT-OSS 120B und 20B sowie Whisper Large v3 und v3 Turbo; zu den Preview-Modellen gehörten Qwen3.8 27B, GPT-OSS-Safeguard 20B, Llama Prompt Guard und Orpheus TTS. Llama 3.1 8B Instant und Llama 3.3 70B Versatile sind weiterhin gelistet, jedoch mit dem Hinweis „Contact Sales“. Sie registrieren sich in der Console, starten mit dem Free-Tarif und wechseln zum nutzungsbasierten Developer-Tarif, indem Sie eine Zahlungsmethode hinzufügen.

Groq hat keine separate Preisseite mehr (groq.com/pricing leitet auf die Startseite weiter); die Preise pro Modell sind in der Modelle-Dokumentation aufgeführt.

Rechenbeispiel: 1 Mio. Input- plus 1 Mio. Output-Tokens mit GPT-OSS 120B kosten 0,15 $ + 0,60 $ = 0,75 $, beziehungsweise etwa 0,38 $ über die Batch API, die Groq mit 50 % der synchronen Tarife berechnet (Abschlussfenster von 24 Stunden bis 7 Tagen). Gecachte Input-Tokens sind bei GPT-OSS-Modellen 50 % günstiger; der Rabatt wird automatisch angewendet. Eine Audiostunde mit Whisper v3 Turbo kostet 0,04 $, 100 Stunden also 4 $. Abrechnung im Developer-Tarif: Neukonten werden in Rechnung gestellt, sobald die kumulierte Nutzung 1 $, 10 $, 100 $, 500 $ und 1.000 $ erreicht, danach monatlich; Beträge unter 0,50 $ werden nicht abgerechnet; Karten, US-Bankkonten und SEPA-Lastschrift werden akzeptiert; Erstattungen werden fallweise bearbeitet.

Preise auf der Preisseite des Anbieters am 1. November 2026 überprüft. Siehe Groq-Modelle und Preise.

Was Groq in der GroqCloud-Dokumentation aufführt:

Groq eignet sich für Entwickler, die Antworten mit geringer Latenz von Open-Modellen benötigen, etwa für Sprachagenten, Chat-UIs und Agent-Schleifen, bei denen jede Sekunde zählt, sowie für Teams, die große Mengen Audio transkribieren und bei denen Whisper Turbo nur wenige Cent pro Stunde kostet. Die GPT-OSS-Modelle zu 0,075 $ bis 0,60 $ pro Million Tokens sind eine günstige Standardoption für Aufgaben mit hohem Volumen und mittlerem Schwierigkeitsgrad.

Suchen Sie sich eine andere Lösung, wenn Sie geschlossene Frontier-Modelle (GPT, Claude, Gemini) oder einen umfangreichen Katalog offener Modelle benötigen: OpenRouter leitet mit einem Schlüssel Anfragen an Hunderte Modelle weiter, während DeepInfra oder Together AI viele weitere Open-Modelle hosten. Wenn Sie Llama 3.x über Groqs Self-Service-Tarif genutzt haben, beachten Sie, dass diese Modelle jetzt ein Gespräch mit dem Vertrieb erfordern.

Unabhängige Erfahrungsberichte loben Geschwindigkeit und Preis und konzentrieren ihre Kritik auf Limits und häufige Änderungen. AI Tools Atlas bewertet Groq als solide Wahl für schnelle Inferenz mit Open-Modellen und die Whisper-Preise, weist aber darauf hin, dass die Limits des kostenlosen Tarifs bei tatsächlicher Nutzung zum nutzungsbasierten Tarif drängen und dass Abkündigungen mitten im Projekt einen Modellwechsel erzwingen können. Der Preis-Tracker UsagePricing verzeichnete, dass Groq Llama 3.1 8B und Llama 3.3 70B am 26. August 2026 von Self-Service-Preisen auf „Contact Sales“ umstellte und die Compound-Agent-Systeme bis zum 24. Oktober 2026 aus dem Katalog entfernte. Das praktische Fazit dieser Quellen: Groq ist für die angebotenen Modelle schnell und günstig, doch prüfen Sie die aktuelle Modellseite, bevor Sie sich auf ein bestimmtes Modell verlassen.