overview
NVIDIA 트라이톤 인퍼런스 서버란 무엇인가요?
NVIDIA 트라이튼은 GPU와 CPU 전반에 걸쳐 AI 모델의 배포 및 관리를 간소화하도록 설계된 오픈 소스 추론 서버입니다. 여러 프레임워크에서 모델을 제공할 수 있는 통합 플랫폼을 제공하여 호환성과 성능을 보장합니다.
- NVIDIA GPU, x86/ARM CPU, 및 AWS Inferentia 칩을 지원합니다.
- 클라우드에서 엣지로 AI 모델 배포를 용이하게 합니다.
- 고처리량 추론 작업에 최적화되었습니다.
