#vLLM

MIT의 AI 트릭, 무어의 법칙을 깨다

MIT와 NVIDIA의 연구원들이 강력한 AI 모델을 괴롭히던 가장 큰 병목 현상을 해결했습니다. 이 새로운 기술인 TriAttention은 메모리 사용량을 10배 절감하여, 대규모 모델이 가정용 PC에서 실행될 수 있도록 합니다.