Tag

#Quantization

5 개 게시물

2B 모델이 4B 거대 모델을 이겼습니다. 여기 함정이 있습니다.

작은 2B 파라미터 모델이 복잡한 코딩 작업에서 자신보다 두 배 큰 거대 모델들을 능가하며 로컬 AI 에이전트의 새로운 시대를 예고하고 있습니다. 하지만 문서에 숨겨진 단 하나의 설정이 이 모델을 완전히 쓸모없게 만들 수 있습니다.

획기적인 AI 모델이 데스크탑에서 실행될 수 있을 만큼 작아졌습니다. 하지만 숨겨진 하드웨어 요구 사항 때문에 대부분의 사람들에게는 꿈같은 이야기일 뿐이며, 그 이유는 생각하시는 것과 다릅니다.

Unsloth는 1.51TB AI 모델을 놀라운 238GB로 압축하여 80% 이상의 성능을 유지했습니다. 이 혁신은 이제 Mac에서 API를 영원히 우회하여 최첨단 코딩 에이전트를 직접 실행할 수 있음을 의미합니다.

Xiaomi는 표준 GPU에서 초당 1,000개 이상의 토큰을 생성하여 GPT-4를 능가하는 AI 모델을 출시했습니다. '모델-시스템 공동 설계'의 이러한 혁신은 실시간 AI 애플리케이션을 근본적으로 변화시킬 수 있습니다.

Google이 매우 효율적인 AI 알고리즘을 출시하여 하룻밤 사이에 메모리 가격을 폭락시켰습니다. 하지만 진짜 이야기는 이 '해결책'이 RAM 위기를 더욱 악화시킬 것이라는 점입니다.