overview
개요
세이지메이커 대규모 모델 추론은 관리형 vLLM 및 TGI 런타임을 제공하여 대규모 기계 학습 모델의 배포를 간소화합니다. 내장된 자동 확장 기능을 통해 수요 변화에 유연하게 대응할 수 있어 항상 최적의 성능을 유지합니다.
- 관리형 서비스는 인프라 관리의 필요성을 없앱니다.
- 자동 스케일링은 작업 부하 수요에 맞춰 실시간으로 조정됩니다.
- 최신 대형 모델 아키텍처를 손쉽게 지원합니다.
AWS에서 자동 스케일링이 지원되는 관리형 vLLM/TGI 런타임의 힘을 활용하세요.
핵심 포인트
overview
세이지메이커 대규모 모델 추론은 관리형 vLLM 및 TGI 런타임을 제공하여 대규모 기계 학습 모델의 배포를 간소화합니다. 내장된 자동 확장 기능을 통해 수요 변화에 유연하게 대응할 수 있어 항상 최적의 성능을 유지합니다.
features
모델의 성능과 확장성을 향상시키기 위해 설계된 강력한 기능을 경험해 보세요. SageMaker 대규모 모델 추론은 애플리케이션이 높은 부하에도 불구하고 항상 빠르게 반응할 수 있도록 보장합니다.
use cases
SageMaker 대규모 모델 추론은 실시간 데이터 처리부터 자연어 처리를 위한 대규모 언어 모델 생성에 이르기까지 다양한 응용 프로그램에 적합합니다. 이 서비스를 활용하여 프로젝트에서 혁신을 이끌어보세요.
가격 페이지
가격 보기→유사한 도구
고려해 볼 만한 다른 도구
OctoAI Inference
SambaNova Inference Cloud
vLLM Open Runtime
Azure AI Managed Endpoints
Hugging Face Text Generation Inference