Skip to content
Stork.AIstork.ai
Ferramenta de IA

Revisão do ngrok AI Gateway

ngrok AI Gateway oferece um gateway hospedado único para conectar vários modelos e provedores de IA, oferecendo observabilidade e controle de acesso.

shipped 5 de ago. de 2026codepaid
Domain rating28Monthly visits111/mo
code
ngrok AI Gateway — product screenshot

Por que importa

1Encaminha solicitações de IA para vários provedores (por exemplo, OpenAI, Anthropic, Google) e modelos auto-hospedados através de um único endpoint.
2Automatiza o failover entre modelos, provedores e chaves de API para garantir a confiabilidade.
3Oferece uma experiência dedicada em app.ngrok.ai a partir de 1º de julho de 2026, com novas contas recebendo $1 em crédito.
4Apresenta uma taxa de roteamento de $0,05 e preço de uso de $0,05 por milhão de tokens.

Sobre o ngrok AI Gateway

Modelo de negócio
Usage-Based (Pay Per Use)
Preço por uso
$0.05 per million tokens
Sede
San Francisco, USA
Plataformas
Web, API
Público-alvo
Developers and Teams using AI Models

Planos de preços

Routing Fee
$0.05 / per million tokens
  • • Cost of inference is added separately
  • • Credits purchased upfront

Exemplos de custo

  • • Route 1 million tokens: $0.05

Liderança

Alan HohnCo-founder
M. CareyCo-founder
API DocsGitHub

Especificações

Documentação API

Ver documentação →

GitHub

Ver repositório →

API disponível

Sim, API pública

Screenshots

overview

O que é ngrok AI Gateway?

ngrok AI Gateway é uma ferramenta de gateway de IA especializada desenvolvida pela ngrok que permite que Desenvolvedores de IA, Engenheiros, Startups que constroem produtos de IA e Empresas que usam modelos de IA conectem vários modelos e provedores de IA através de um único gateway hospedado. Ele oferece observabilidade e controle de acesso, permitindo que os usuários gerenciem chaves de API e roteamento sem a necessidade de infraestrutura complexa.

features

Principais Recursos do ngrok AI Gateway

ngrok AI Gateway fornece uma interface unificada para gerenciar o tráfego de modelos de IA, oferecendo um conjunto de recursos projetados para otimizar o desenvolvimento e a implantação de aplicativos de IA.

  • Roteamento Multi-Provedor e Multi-Modelo: Conecta aplicativos a vários provedores de IA (OpenAI, Anthropic, Google, DeepSeek, OpenRouter) e modelos auto-hospedados (Ollama, vLLM) através de um único endpoint gateway.ngrok.ai.
  • Failover Automático e Balanceamento de Carga: Retentativas configuráveis com chaves de API ou modelos alternativos em caso de falha ou limites de taxa, garantindo a resiliência do aplicativo.
  • Controle de Acesso e Gerenciamento de Chaves: Controle granular sobre o acesso ao modelo com chaves de acesso separadas para aplicativos ou desenvolvedores, suportando Bring Your Own Key (BYOK) ou chaves gerenciadas pelo ngrok.
  • Observabilidade e Análise: Fornece contagem de tokens, métricas de uso e um Traffic Inspector para depurar solicitações, oferecendo visibilidade sobre interações de IA, latência e custos.
  • Modificação de Conteúdo em Trânsito: Capacidade de redigir Informações de Identificação Pessoal (PII) antes que as solicitações cheguem aos provedores de IA e higienizar respostas, bem como injetar prompts de sistema.
  • Suporte Nativo a SDK: Inclui suporte nativo para o SDK da Anthropic, permitindo recursos exclusivos do Claude, como cache de prompt e pensamento estendido.
  • Chave de API Unificada: Permite que uma única chave de API do AI Gateway acesse Anthropic e OpenAI, com o ngrok lidando com a injeção de chave do provedor desde 2 de março de 2026.

use cases

Quem Deve Usar o ngrok AI Gateway?

ngrok AI Gateway é projetado para desenvolvedores e equipes de plataforma que buscam simplificar e aprimorar o gerenciamento de interações de modelos de IA. Suas capacidades atendem a vários cenários no desenvolvimento e implantação de aplicativos de IA.

  • Desenvolvedores e Engenheiros de IA: Para simplificar a infraestrutura de IA, evitando o gerenciamento de múltiplas chaves de API, SDKs e lógica de fallback complexa em diferentes provedores de IA.
  • Startups que Constroem Produtos de IA: Para garantir confiabilidade e desempenho através de failover automático e balanceamento de carga, prevenindo interrupções de serviço e otimizando a seleção de modelos.
  • Empresas que Usam Modelos de IA: Para proteger as interações de IA, atuando como uma ponte segura entre sistemas internos e APIs de IA externas, aplicando regras de governança, registro e roteamento.
  • Equipes com Implantações Híbridas de IA: Para rotear solicitações de forma transparente para uma mistura de modelos hospedados na nuvem e locais/privados sem expor a infraestrutura privada à internet pública.
  • Equipes de Prototipagem e Experimentação: Para prototipar e experimentar rapidamente, alternando entre diferentes modelos e provedores sem mudanças significativas no código.

how to use

Como Usar o ngrok AI Gateway

Para começar a usar o ngrok AI Gateway, os usuários geralmente se inscrevem em uma conta, configuram seus provedores de IA e, em seguida, integram o endpoint do gateway em seus aplicativos.

  • 1Inscreva-se para uma conta ngrok AI Gateway em app.ngrok.ai.
  • 2Crie chaves do AI Gateway e anexe chaves de API do provedor diretamente a elas.
  • 3Configure regras e políticas de roteamento para diferentes modelos e provedores de IA.
  • 4Integre o endpoint gateway.ngrok.ai nas chamadas de API de IA do seu aplicativo.
  • 5Monitore o tráfego, uso e custos de IA usando o Traffic Inspector e os recursos de observabilidade.
  • 6Utilize o provedor Terraform reconstruído (v0.8.1) para gerenciar domínios, endpoints de nuvem, Traffic Policy e segredos como código.

pricing

Preços e Planos do ngrok AI Gateway

ngrok AI Gateway opera em um modelo de preços baseado em uso, com taxas específicas para roteamento e consumo de tokens. Novas contas recebem um crédito para começar.

  • Taxa de Roteamento: $0,05 por milhão de tokens roteados.
  • Preço de Uso: $0,05 por milhão de tokens consumidos por modelos de IA.
  • Novas contas recebem $1 em crédito para começar a usar o serviço.
  • A partir de 8 de abril de 2026, usuários do plano gratuito podem comprar créditos do AI Gateway para rotear para vários provedores.
  • O preço da Traffic Policy foi reduzido em 10x a partir de 13 de julho de 2026, e domínios personalizados ociosos tornaram-se gratuitos.

Pros

  • +Provides a single, OpenAI-compatible endpoint for multiple AI providers and self-hosted models, simplifying integration.
  • +Offers robust automatic failover and load balancing, enhancing application resilience and performance.
  • +Centralizes API key management and provides granular access control, improving security and operational efficiency.
  • +Delivers comprehensive observability with token counting, usage metrics, latency, and error tracking for AI requests.
  • +Facilitates secure connection to self-hosted models without direct public internet exposure, integrating local LLMs seamlessly.
  • +Achieved SOC 2 Type 2 compliance and offers HIPAA alignment with a BAA, addressing enterprise-level security and regulatory needs.

Cons

  • −The processing fee of $0.00005 per 1k tokens is an additional cost on top of underlying AI provider inference fees when using ngrok-managed keys.
  • −While offering a Free plan, higher rate limits and advanced features are tied to paid plans, potentially increasing costs for high-volume users.
  • −Some users have reported initial perceptions of it being a 'LiteLLM wrapper,' indicating a need for clearer differentiation in the market.
  • −General ngrok reviews mention billing opacity and slow email support, which could extend to the AI Gateway service.

Ferramentas similares

ngrok AI Gateway vs Concorrentes

ngrok AI Gateway se posiciona como uma solução de middleware hospedada para gerenciamento de solicitações de IA, diferenciando-se dos concorrentes principalmente por sua integração com a infraestrutura de tunelamento existente do ngrok e seu foco em um único endpoint de gateway seguro.

1
LiteLLM↗

Provides a unified OpenAI-compatible API to over 140 LLM providers and 1,800+ models, with extensive self-hosting capabilities and cost optimization features like auto-routing and caching.

While ngrok AI Gateway is a hosted solution, LiteLLM is open-source and self-hostable, offering more control over your infrastructure and data, but requiring you to manage the deployment.

2
Portkey.aiOn Stork

Offers a comprehensive LLM observability and gateway platform with features like prompt management, A/B testing, and guardrails, alongside unified API access and key management.

Portkey.ai provides a hosted solution with a strong focus on observability and prompt management, whereas ngrok AI Gateway emphasizes networking and access control for AI services. Portkey's pricing is based on 'recorded logs' rather than tokens directly.

3
Helicone.aiOn Stork

Specializes in LLM observability with detailed logging, request tracing, and analytics, combined with gateway features for routing and cost tracking.

Helicone.ai is a hosted platform with a strong emphasis on detailed observability and analytics for LLM requests, while ngrok AI Gateway focuses more broadly on secure access and management for various AI services.

4
freellmapi↗

An OpenAI-compatible proxy that intelligently routes requests across free tiers of multiple LLM providers, with automatic failover and an admin dashboard for key management and analytics.

freellmapi is a self-hostable, open-source proxy specifically designed to maximize usage of free LLM API tiers and manage multiple keys, which is a more niche focus compared to ngrok AI Gateway's broader AI service access and control.

Mais no Stork

Ferramentas IA relacionadas

Outras ferramentas desta categoria, associadas por tags em comum

SkillPilotFrontière AICuTokenShowIn AIImage UnblurFienl
Visitar ngrok AI Gateway↗
Conectar
𝕏
X / Twitterx.com/ngrokHQ
⌘
GitHubgithub.com/ngrok
in
LinkedInwww.linkedin.com/company/ngrok/