overview
ngrok AI Gatewayとは？
ngrok AI Gatewayは、ngrokが開発した特殊なAIゲートウェイツールで、AI開発者、エンジニア、AI製品を構築するスタートアップ、AIモデルを使用する企業が、単一のホスト型ゲートウェイを通じてさまざまなAIモデルとプロバイダーを接続できるようにします。可観測性とアクセス制御を提供し、複雑なインフラストラクチャを必要とせずにAPIキーとルーティングを管理できます。
AIツール
ngrok AI Gateway レビュー
ngrok AI Gatewayは、さまざまなAIモデルとプロバイダーを接続するための単一のホスト型ゲートウェイを提供し、可観測性とアクセス制御を実現します。
shipped 2026年8月5日codepaid
Domain rating28Monthly visits111/mo
code
注目ポイント
1単一のエンドポイントを介して、AIリクエストを複数のプロバイダー（例：OpenAI、Anthropic、Google）および自己ホスト型モデルにルーティングします。
2信頼性を確保するために、モデル、プロバイダー、APIキー間のフェイルオーバーを自動化します。
32026年7月1日よりapp.ngrok.aiで専用のエクスペリエンスを提供し、新規アカウントには1ドルのクレジットが付与されます。
4ルーティング料金は0.05ドル、使用料金は100万トークンあたり0.05ドルです。
ngrok AI Gateway について
料金プラン
Routing Fee
$0.05 / per million tokens
- • Cost of inference is added separately
- • Credits purchased upfront
コスト例
- • Route 1 million tokens: $0.05
経営陣
Alan HohnCo-founder
M. CareyCo-founder
仕様
Screenshots
features
ngrok AI Gatewayの主な機能
ngrok AI Gatewayは、AIモデルのトラフィックを管理するための統合インターフェースを提供し、AIアプリケーションの開発とデプロイメントを効率化するために設計された一連の機能を提供します。
- マルチプロバイダーおよびマルチモデルルーティング: 単一の
gateway.ngrok.aiエンドポイントを介して、アプリケーションをさまざまなAIプロバイダー（OpenAI、Anthropic、Google、DeepSeek、OpenRouter）および自己ホスト型モデル（Ollama、vLLM）に接続します。 - 自動フェイルオーバーとロードバランシング: 障害やレート制限の場合に、代替のAPIキーまたはモデルで再試行を構成でき、アプリケーションの回復力を確保します。
- アクセス制御とキー管理: アプリケーションまたは開発者ごとに個別のアクセスキーを使用してモデルアクセスをきめ細かく制御し、Bring Your Own Key (BYOK) またはngrok管理キーをサポートします。
- 可観測性と分析: トークンカウント、使用状況メトリクス、およびリクエストのデバッグ用のTraffic Inspectorを提供し、AIインタラクション、レイテンシ、コストに関する可視性を提供します。
- 転送中のコンテンツ変更: リクエストがAIプロバイダーに到達する前に個人識別情報 (PII) を編集し、応答をサニタイズする機能、およびシステムプロンプトを挿入する機能。
- ネイティブSDKサポート: AnthropicのSDKのネイティブサポートを含み、プロンプトキャッシュや拡張思考などのClaude専用機能を有効にします。
- 統合APIキー: 2026年3月2日以降、単一のAI Gateway APIキーでAnthropicとOpenAIの両方にアクセスでき、ngrokがプロバイダーキーの挿入を処理します。
use cases
ngrok AI Gatewayを利用すべきユーザー
ngrok AI Gatewayは、AIモデルのインタラクション管理を簡素化し、強化しようとしている開発者およびプラットフォームチーム向けに設計されています。その機能は、AIアプリケーションの開発とデプロイメントにおけるさまざまなシナリオに対応します。
- AI開発者とエンジニア: 複数のAPIキー、SDK、および異なるAIプロバイダー間の複雑なフォールバックロジックの管理を回避することで、AIインフラストラクチャを簡素化するため。
- AI製品を構築するスタートアップ: 自動フェイルオーバーとロードバランシングにより信頼性とパフォーマンスを確保し、サービスの中断を防ぎ、モデル選択を最適化するため。
- AIモデルを使用する企業: 内部システムと外部AI API間の安全なブリッジとして機能し、ガバナンス、ロギング、ルーティングルールを適用することで、AIインタラクションを保護するため。
- ハイブリッドAIデプロイメントを持つチーム: プライベートインフラストラクチャをパブリックインターネットに公開することなく、クラウドホスト型モデルとローカル/プライベートモデルの組み合わせにリクエストをシームレスにルーティングするため。
- プロトタイピングおよび実験チーム: 大幅なコード変更なしに、異なるモデルやプロバイダー間を迅速に切り替えることで、迅速なプロトタイピングと実験を行うため。
how to use
ngrok AI Gatewayの使用方法
ngrok AI Gatewayの使用を開始するには、通常、アカウントにサインアップし、AIプロバイダーを構成し、ゲートウェイエンドポイントをアプリケーションに統合します。
- 1
app.ngrok.aiでngrok AI Gatewayアカウントにサインアップします。 - 2AI Gatewayキーを作成し、プロバイダーAPIキーを直接それらにアタッチします。
- 3異なるAIモデルとプロバイダーのルーティングルールとポリシーを構成します。
- 4アプリケーションのAI API呼び出しに
gateway.ngrok.aiエンドポイントを統合します。 - 5Traffic Inspectorと可観測性機能を使用して、AIトラフィック、使用状況、コストを監視します。
- 6再構築されたTerraformプロバイダー (v0.8.1) を利用して、ドメイン、クラウドエンドポイント、Traffic Policy、およびシークレットをコードとして管理します。
pricing
ngrok AI Gatewayの料金とプラン
ngrok AI Gatewayは従量課金制モデルで運用されており、ルーティングとトークン消費に特定の料金が設定されています。新規アカウントには開始時にクレジットが付与されます。
- ルーティング料金: ルーティングされた100万トークンあたり0.05ドル。
- 使用料金: AIモデルによって消費された100万トークンあたり0.05ドル。
- 新規アカウントには、サービスの利用を開始するために1ドルのクレジットが付与されます。
- 2026年4月8日以降、無料プランのユーザーはAI Gatewayクレジットを購入して複数のプロバイダーにルーティングできます。
- Traffic Policyの料金は2026年7月13日時点で10分の1に削減され、アイドル状態のカスタムドメインは無料になりました。
Pros
- +Provides a single, OpenAI-compatible endpoint for multiple AI providers and self-hosted models, simplifying integration.
- +Offers robust automatic failover and load balancing, enhancing application resilience and performance.
- +Centralizes API key management and provides granular access control, improving security and operational efficiency.
- +Delivers comprehensive observability with token counting, usage metrics, latency, and error tracking for AI requests.
- +Facilitates secure connection to self-hosted models without direct public internet exposure, integrating local LLMs seamlessly.
- +Achieved SOC 2 Type 2 compliance and offers HIPAA alignment with a BAA, addressing enterprise-level security and regulatory needs.
Cons
- −The processing fee of $0.00005 per 1k tokens is an additional cost on top of underlying AI provider inference fees when using ngrok-managed keys.
- −While offering a Free plan, higher rate limits and advanced features are tied to paid plans, potentially increasing costs for high-volume users.
- −Some users have reported initial perceptions of it being a 'LiteLLM wrapper,' indicating a need for clearer differentiation in the market.
- −General ngrok reviews mention billing opacity and slow email support, which could extend to the AI Gateway service.
類似ツール
ngrok AI Gatewayと競合他社
ngrok AI Gatewayは、AIリクエスト管理のためのホスト型ミドルウェアソリューションとして位置付けられており、主にngrokの既存のトンネリングインフラストラクチャとの統合と、単一の安全なゲートウェイエンドポイントへの注力によって競合他社と差別化されています。
1
LiteLLM↗
Provides a unified OpenAI-compatible API to over 140 LLM providers and 1,800+ models, with extensive self-hosting capabilities and cost optimization features like auto-routing and caching.
While ngrok AI Gateway is a hosted solution, LiteLLM is open-source and self-hostable, offering more control over your infrastructure and data, but requiring you to manage the deployment.
2
Offers a comprehensive LLM observability and gateway platform with features like prompt management, A/B testing, and guardrails, alongside unified API access and key management.
Portkey.ai provides a hosted solution with a strong focus on observability and prompt management, whereas ngrok AI Gateway emphasizes networking and access control for AI services. Portkey's pricing is based on 'recorded logs' rather than tokens directly.
3
Specializes in LLM observability with detailed logging, request tracing, and analytics, combined with gateway features for routing and cost tracking.
Helicone.ai is a hosted platform with a strong emphasis on detailed observability and analytics for LLM requests, while ngrok AI Gateway focuses more broadly on secure access and management for various AI services.
4
freellmapi↗
An OpenAI-compatible proxy that intelligently routes requests across free tiers of multiple LLM providers, with automatic failover and an admin dashboard for key management and analytics.
freellmapi is a self-hostable, open-source proxy specifically designed to maximize usage of free LLM API tiers and manage multiple keys, which is a more niche focus compared to ngrok AI Gateway's broader AI service access and control.
Storkでもっと
関連AIツール
同じカテゴリの他のツール（共通タグで関連付け）