#GPU

LLM 메모리를 4배 줄이는 비법

LLM의 메모리는 성능을 저하시키고 비용을 증가시키는 시한폭탄과 같습니다. Speculative KV Coding이라는 새로운 기술은 품질 저하 없이 메모리를 4배까지 줄일 수 있습니다.