Groq API로 LLM 추론의 성능을 경험하세요

Name: Groq API
Availability: OnlineOnly
Author: Stork.AI

Groq API(GroqCloud)는 OpenAI 호환 엔드포인트를 통해 Groq 자체 추론 하드웨어에서 GPT-OSS, Qwen, Whisper 등의 오픈 모델을 제공합니다. 빠르고 저렴한 토큰당 추론을 원하는 개발자에게 적합합니다.

shipped 2025년 11월 14일buildpaid

Domain rating85Monthly visits32K/moAI-readablepartial

Groq API 방문↗

BuildModels & APIsLLM inference

핵심 포인트

1GPT-OSS 20B, 초당 1,000토큰으로 표시

2배치 작업 및 캐시된 입력 토큰 50% 할인

3모델별 요청 속도 제한이 적용되는 무료 플랜, 선결제 비용 없음

Groq API에 대한 Stork의 평가

Groq API는 짧고 자주 바뀌는 모델 목록에 필요한 모델이 포함되어 있다면 GPT-OSS와 Whisper 같은 오픈 모델을 빠르고 저렴하게 추론하기에 훌륭한 선택입니다.

Groq API reviewed by Stork AI · stork.ai/ko/groq-api

Stork Quadrant

Becomes the API· 41/100

Replaceable as a UI, but kept alive as the API the agents call.

“Groq's only real moat is the LPU hardware — it's genuinely fast and that speed is hard to replicate without custom silicon. But speed is a feature, not a moat. OpenAI, Anthropic, Google, and a dozen inference startups are all closing the latency gap. When they do, Groq is a commodity API with no proprietary data, no network, and no switching cost.”
— Claude Sonnet 4.6, scored 2026-05-27

Defensibility · 18/100

Physical-world coupling
Regulatory moat
Network liquidity
Proprietary refreshing data
High-trust catastrophic workflows
Multi-party coordination
Brand / community / taste

An LLM alone could replace

Generate text completions from a prompt — any LLM API does this
Run a chat conversation with a model — OpenAI, Anthropic, and others cover this
Summarize, classify, or extract structured data from text — table stakes LLM capability
Build an agentic workflow with tool calls — available from every major inference provider

Agent-Readiness · 70/100

Verified MCP
Listed on agent surfaces— anthropic_directory, cursor
Usage-based pricing— pricing page heuristic match: https://groq.com/pricing
Headless agent auth— https://console.groq.com/docs/overview (api-key auth)
Public OpenAPI— https://console.groq.com/docs/overview
Active changelog— https://groq.com/blog (2026-04-09)
llms.txt

Score history · +13 pts over 2 re-scores

How to defend

Double down on the hardware story and find the one vertical where latency is literally the product — real-time voice, robotics inference, live trading. Own that use case end-to-end before the hyperscalers catch up on speed.

Ship an MCP server and list it on Stork — biggest single point gain (+25).
Ship an /llms.txt file pointing agents to your most important docs (+5, easy win).

How this score is computed →See the full quadrant How to defend

사양

API 문서

문서 보기 →

API 제공 여부

예, 공개 API

overview

Groq API의 기능

Groq는 자체 LPU 추론 칩에서 오픈 웨이트 모델을 실행하고 GroqCloud를 통해 토큰당 요금으로 이용 권한을 제공합니다. API는 OpenAI와 호환됩니다. OpenAI SDK에서 https://api.groq.com/openai/v1을 지정하고 Groq 키로 바꾸면 기존 채팅, Responses, 오디오 코드가 작동합니다. Groq 문서에는 텍스트 생성, 추론, 도구 사용, 구조화된 출력, OCR 및 이미지 입력, 음성-텍스트 변환(Whisper), 텍스트-음성 변환(Orpheus), 콘텐츠 조정, 프롬프트 캐싱뿐 아니라 내장 코드 실행 및 브라우저 검색 도구, MCP를 통한 원격 도구, Google Workspace 등의 커넥터가 안내되어 있습니다.

셀프서비스 카탈로그는 짧고 자주 바뀝니다. 2026년 11월 1일 기준 프로덕션 목록에는 GPT-OSS 120B 및 20B와 Whisper Large v3 및 v3 Turbo가 포함되어 있었습니다. 프리뷰 모델로는 Qwen3.8 27B, GPT-OSS-Safeguard 20B, Llama Prompt Guard, Orpheus TTS가 있었습니다. Llama 3.1 8B Instant와 Llama 3.3 70B Versatile도 계속 목록에 있지만, 영업팀 문의(Contact Sales)로 표시되어 있습니다. 콘솔에서 가입해 Free 플랜으로 시작한 다음 결제 수단을 추가해 종량제 Developer 플랜으로 전환할 수 있습니다.

pricing

Groq API 요금

Groq에는 더 이상 별도의 요금 페이지가 없습니다(groq.com/pricing은 홈페이지로 리디렉션됨). 모델별 가격은 models docs에 게시되어 있습니다.

플랜	가격	포함 사항
Free	$0	모델별 요청 속도 제한이 낮은 셀프서비스 모델(예: GPT-OSS 120B: 분당 30회 요청, 하루 1,000회 요청, 분당 8,000토큰, 하루 200,000토큰)
Developer	종량제, 월 단위 후불 청구	모델별 더 높은 한도(GPT-OSS 120B: 분당 1,000회 요청), Batch 및 Flex 티어, 지출 한도, 채팅 지원
Enterprise	가격 미공개; 영업팀에 문의	맞춤형 한도; Llama 3.1 8B 및 Llama 3.3 70B는 영업팀 문의(Contact Sales)로 표시

모델	입력 / 출력 토큰 100만 개당	표시 속도
GPT-OSS 120B	$0.15 / $0.60	초당 500토큰
GPT-OSS 20B	$0.075 / $0.30	초당 1,000토큰
GPT-OSS-Safeguard 20B (프리뷰)	$0.075 / $0.30	초당 1,000토큰
Qwen3.8 27B (프리뷰)	$0.80 / $4.00	초당 450토큰
Llama Prompt Guard 2 22M / 86M (프리뷰)	$0.03 / $0.03 및 $0.04 / $0.04	-
Whisper Large v3 / v3 Turbo	오디오 1시간당 $0.111 / $0.04	-
Orpheus TTS 영어 / 아랍어 (프리뷰)	문자 100만 개당 $22 / $40	-

계산 예시: GPT-OSS 120B에서 입력 토큰 100만 개와 출력 토큰 100만 개를 사용하면 $0.15 + $0.60 = $0.75입니다. Groq가 동기식 요금의 50%로 책정하는 Batch API(완료 시간 24시간~7일)를 통하면 약 $0.38입니다. GPT-OSS 모델에서는 캐시된 입력 토큰이 자동으로 50% 할인되며 추가 요금은 없습니다. Whisper v3 Turbo로 오디오 1시간을 처리하면 $0.04이므로, 100시간은 $4입니다. Developer 요금 청구: 신규 계정은 누적 사용액이 $1, $10, $100, $500, $1,000에 도달할 때마다 청구서를 받고, 이후에는 매월 청구됩니다. $0.50 미만은 청구되지 않습니다. 카드, 미국 은행 계좌, SEPA 자동이체를 이용할 수 있으며 환불은 건별로 검토됩니다.

가격은 2026년 11월 1일 공급업체의 요금 페이지에서 확인했습니다. Groq 모델 및 요금을 참조하세요.

features

주요 기능

GroqCloud 문서에 안내된 기능:

Responses API를 포함한 OpenAI 호환 엔드포인트로, 기본 URL만 변경하면 OpenAI SDK 사용 가능
현재 셀프서비스 모델에서 초당 450~1,000토큰의 출력 속도를 표시
24시간 또는 7일 완료 시간 옵션의 Batch API 50% 할인과 Flex 서비스 티어
GPT-OSS 모델의 캐시된 입력 토큰 50% 자동 할인, 추가 요금 없음
Whisper를 통한 음성-텍스트 변환(오디오 시간당 과금) 및 Orpheus를 통한 텍스트-음성 변환(문자당 과금)
내장 도구: 코드 실행, 브라우저 검색, MCP를 통한 원격 도구, Google Workspace 커넥터
콘솔에서 지출 한도, 사용량 알림, 프로젝트, 모델 권한 관리
프로덕션 배포를 위한 LoRA 추론 및 Prometheus 메트릭

best for

Groq API가 가장 적합한 사용자

Groq는 음성 에이전트, 채팅 UI, 에이전트 루프처럼 초 단위의 속도가 중요한 상황에서 오픈 모델의 지연 시간이 짧은 응답이 필요한 개발자와, Whisper Turbo가 시간당 몇 센트에 불과해 대량의 오디오를 전사하는 팀에 적합합니다. 토큰 100만 개당 $0.075~$0.60인 GPT-OSS 모델은 대량의 중간 난도 작업에 사용할 저렴한 기본 선택지입니다.

비공개 최첨단 모델(GPT, Claude, Gemini)이나 다양한 오픈 모델 카탈로그가 필요하다면 다른 서비스를 살펴보세요. OpenRouter는 하나의 키로 수백 개 모델을 연결하고, DeepInfra 또는 Together AI는 훨씬 더 많은 오픈 모델을 호스팅합니다. Groq의 셀프서비스 티어에서 Llama 3.x를 사용하고 있었다면, 이제 해당 모델을 이용하려면 영업팀과 상담해야 한다는 점에 유의하세요.

what users say

사용자 의견

독립적인 리뷰들은 속도와 가격을 긍정적으로 평가하며, 한도와 잦은 변경을 주된 단점으로 지적합니다. AI Tools Atlas는 Groq를 빠른 오픈 모델 추론과 Whisper 요금 면에서 탄탄한 선택지로 평가하지만, 무료 티어의 한도 때문에 실제 사용에는 종량제가 필요하고 모델 지원 종료로 프로젝트 도중 모델을 바꿔야 할 수 있다고 지적합니다. 요금 추적 사이트 UsagePricing는 2026년 8월 26일 Groq가 Llama 3.1 8B와 Llama 3.3 70B를 셀프서비스 요금에서 영업팀 문의(Contact Sales)로 전환한 사실을 기록했고, Compound 에이전트 시스템을 카탈로그에서 삭제한 것은 2026년 10월 24일까지라고 기록했습니다. 이 자료들이 전하는 실질적인 결론은 다음과 같습니다. Groq는 제공하는 모델에 한해 빠르고 저렴하지만, 특정 모델에 의존하기 전에 현재 모델 페이지를 확인하세요.

이 글이 마음에 드셨나요? 매일 아침 이런 글을 메일로 받아보세요.

하루 한 통 · 두 번의 클릭으로 구독 취소 · 제3자 추적 없음

장점

+GPT-OSS 모델에서 초당 500~1,000토큰의 표시 속도
+토큰 100만 개당 $0.075/$0.30부터 시작하는 저렴한 토큰당 요금
+배치 작업과 캐시된 입력 토큰 50% 할인
+Responses를 포함한 OpenAI 호환 API로 간편하게 전환 가능
+오디오 시간당 $0.04부터 시작하는 Whisper 전사

단점

−셀프서비스 카탈로그가 작고 비공개 최첨단 모델이 없음
−Llama 모델은 2026년 8월에 영업팀 문의(Contact Sales)로 전환됨
−Free 플랜 한도는 에이전트 루프나 프로덕션 사용에 부족함
−모델과 시스템이 자주 추가되거나 삭제됨

자주 묻는 질문

Groq API는 무료인가요?

예. 모델별 요청 속도 제한이 있는 Free 플랜이 있습니다. 예를 들어 Groq 문서에는 GPT-OSS 120B의 한도가 분당 30회 요청, 하루 1,000회 요청으로 안내되어 있습니다. 더 높은 한도와 Batch 및 Flex를 이용하려면 결제 수단이 필요한 종량제 Developer 플랜이 필요합니다.

Groq API는 토큰 100만 개당 얼마인가요?

2026년 11월 1일 기준 Groq 모델 페이지에 따르면 GPT-OSS 120B는 입력 $0.15, 출력 $0.60, GPT-OSS 20B는 입력 $0.075, 출력 $0.30, Qwen3.8 27B(프리뷰)는 입력 $0.80, 출력 $4.00입니다. Batch 요청은 50% 할인됩니다.

Groq 요금 페이지는 어디에 있나요?

groq.com/pricing은 현재 홈페이지로 리디렉션됩니다. 모델별 가격과 표시 속도는 GroqCloud 모델 페이지에서 확인할 수 있으며, 계정별 한도는 콘솔에서 확인할 수 있습니다.

Groq에서 Llama 모델을 계속 사용할 수 있나요?

Llama 3.1 8B Instant와 Llama 3.3 70B Versatile은 여전히 프로덕션 모델로 표시되어 있지만, 가격 대신 영업팀 문의(Contact Sales)가 표시되어 있고 셀프서비스 요청 속도 제한은 없습니다. 셀프서비스 사용자는 GPT-OSS 및 Qwen 모델을 이용하도록 안내됩니다.

Groq API는 OpenAI SDK와 호환되나요?

예. 기본 URL을 https://api.groq.com/openai/v1로 설정하고 Groq API 키를 사용하면 됩니다. Groq 문서에는 Responses API를 포함해 OpenAI Python 및 JavaScript 클라이언트를 사용하는 방법이 나와 있습니다.

Groq는 음성-텍스트 변환과 텍스트-음성 변환을 제공하나요?

예. Whisper Large v3는 오디오 시간당 $0.111, Whisper Large v3 Turbo는 오디오 시간당 $0.04입니다. Orpheus 텍스트-음성 변환은 프리뷰 상태이며, 문자 100만 개당 영어는 $22, 사우디 아랍어는 $40입니다.

Groq는 OpenRouter와 어떻게 다른가요?

Groq는 자체 하드웨어에서 소수의 오픈 모델을 실행하고 토큰당 직접 요금을 청구합니다. OpenRouter는 Groq를 포함한 여러 공급업체의 600개 이상 모델을 제공하는 라우터이며, 공급업체의 표시 가격에 크레딧 구매 수수료를 더해 요금을 부과합니다.