overview
SageMaker大規模モデル推論とは何ですか?
SageMaker大規模モデル推論は、管理されたvLLMおよびTGIランタイムを使用して、大規模モデルの展開を簡素化します。自動スケーリングにより、さまざまなワークロードを簡単に処理しながら、パフォーマンスを最適化できます。
- 効率的な展開プロセス
- リアルタイム推論機能
- 他のAWSサービスとの統合
AWS上でシームレスな自動スケーリングを備えたvLLMおよびTGIランタイムを管理しました。
注目ポイント
overview
SageMaker大規模モデル推論は、管理されたvLLMおよびTGIランタイムを使用して、大規模モデルの展開を簡素化します。自動スケーリングにより、さまざまなワークロードを簡単に処理しながら、パフォーマンスを最適化できます。
features
SageMaker Large Model Inferenceは、モデルの提供体験を向上させるために設計された強力な機能群を提供します。自動スケーリングから統合された監視ツールまで、大規模モデルのワークロードに対する包括的なサポートをお楽しみください。
use cases
リサーチ、金融、または医療の分野にいるかに関わらず、SageMaker Large Model Inferenceは多様なユースケースに対応しています。リアルタイムの意思決定や分析タスクのために、大規模モデルのデプロイメントを簡単に活用できます。
料金ページ
料金を見る→