10달러짜리 칩이 이제 AI 두뇌가 되다
4500만 개의 파라미터를 가진 AI 모델이 10달러짜리 마이크로컨트롤러에 탑재되었습니다. 하지만 이 모델의 진정한 힘은 대화가 아닙니다. 이는 수십억 개의 일상 기기에 지능형 동작을 내장할 수 있는 획기적인 돌파구입니다.
Tag
6 개 게시물
4500만 개의 파라미터를 가진 AI 모델이 10달러짜리 마이크로컨트롤러에 탑재되었습니다. 하지만 이 모델의 진정한 힘은 대화가 아닙니다. 이는 수십억 개의 일상 기기에 지능형 동작을 내장할 수 있는 획기적인 돌파구입니다.
90년대 PC보다 적은 RAM을 가진 8달러짜리 마이크로컨트롤러에서 29M 파라미터 언어 모델이 완전히 오프라인으로 구동되고 있습니다. Google의 Gemma에서 영감을 받아 불가능해 보이던 이 위업을 현실로 만든 영리한 메모리 해킹 기술을 확인해 보세요.
모두가 기술 경쟁에서 승리하기 위해 가장 똑똑한 AI 모델에 베팅하고 있습니다. 하지만 진정한 승자는 우리 모르게 완전히 다른 것을 구축하고 있습니다.
휴대폰에서 대규모 AI 모델을 로컬로 실행하는 것은 일반적으로 배터리 방전과 앱 충돌을 의미합니다. Cactus라는 새로운 추론 엔진은 zero-copy memory mapping 및 NPU-first architecture를 사용하여 작은 공간으로 엄청난 성능을 제공함으로써 판도를 바꿉니다.
RAM 512MB에 불과한 10년 된 컴퓨터가 로컬 AI 모델을 실행하고 있습니다. 현대 AI를 진정으로 휴대 가능하게 만드는 불가능에 가까운 엔지니어링 위업을 분석합니다.
Google은 휴대폰에서 완전히 오프라인으로 실행되도록 설계된 혁신적인 AI 모델인 Gemma 4를 방금 출시했습니다. 그것의 급진적인 새로운 아키텍처는 작은 패키지에 전례 없는 지능을 약속하며, 일상적인 작업을 위한 클라우드 AI를 쓸모없게 만들 가능성이 있습니다.