로봇 오리가 15MB AI 두뇌를 갖게 되다
소형 모델이 시뮬레이션된 오리에게 언제 복종하고, 거절하고, 화를 낼지 가르쳤으며, 이 모든 작업은 오프라인에서 수행되었습니다. 놀라운 점은 단 몇 분의 미세 조정만으로도 행동 양식을 얼마나 크게 바꿀 수 있는지입니다.
Tag
8 개 게시물
소형 모델이 시뮬레이션된 오리에게 언제 복종하고, 거절하고, 화를 낼지 가르쳤으며, 이 모든 작업은 오프라인에서 수행되었습니다. 놀라운 점은 단 몇 분의 미세 조정만으로도 행동 양식을 얼마나 크게 바꿀 수 있는지입니다.
대부분의 AI 개발은 비용이 많이 드는 클라우드 기반의 군비 경쟁에 갇혀 있습니다. 한 유럽의 조용한 연구소는 AI의 미래가 데이터 센터가 아닌 바로 당신의 기기에 있다는 것을 증명하고 있습니다.
4500만 개의 파라미터를 가진 AI 모델이 10달러짜리 마이크로컨트롤러에 탑재되었습니다. 하지만 이 모델의 진정한 힘은 대화가 아닙니다. 이는 수십억 개의 일상 기기에 지능형 동작을 내장할 수 있는 획기적인 돌파구입니다.
90년대 PC보다 적은 RAM을 가진 8달러짜리 마이크로컨트롤러에서 29M 파라미터 언어 모델이 완전히 오프라인으로 구동되고 있습니다. Google의 Gemma에서 영감을 받아 불가능해 보이던 이 위업을 현실로 만든 영리한 메모리 해킹 기술을 확인해 보세요.
모두가 기술 경쟁에서 승리하기 위해 가장 똑똑한 AI 모델에 베팅하고 있습니다. 하지만 진정한 승자는 우리 모르게 완전히 다른 것을 구축하고 있습니다.
휴대폰에서 대규모 AI 모델을 로컬로 실행하는 것은 일반적으로 배터리 방전과 앱 충돌을 의미합니다. Cactus라는 새로운 추론 엔진은 zero-copy memory mapping 및 NPU-first architecture를 사용하여 작은 공간으로 엄청난 성능을 제공함으로써 판도를 바꿉니다.
RAM 512MB에 불과한 10년 된 컴퓨터가 로컬 AI 모델을 실행하고 있습니다. 현대 AI를 진정으로 휴대 가능하게 만드는 불가능에 가까운 엔지니어링 위업을 분석합니다.
Google은 휴대폰에서 완전히 오프라인으로 실행되도록 설계된 혁신적인 AI 모델인 Gemma 4를 방금 출시했습니다. 그것의 급진적인 새로운 아키텍처는 작은 패키지에 전례 없는 지능을 약속하며, 일상적인 작업을 위한 클라우드 AI를 쓸모없게 만들 가능성이 있습니다.