AI 도구
이 AI 엔진은 RAM을 10배 적게 사용합니다
휴대폰에서 대규모 AI 모델을 로컬로 실행하는 것은 일반적으로 배터리 방전과 앱 충돌을 의미합니다. Cactus라는 새로운 추론 엔진은 zero-copy memory mapping 및 NPU-first architecture를 사용하여 작은 공간으로 엄청난 성능을 제공함으로써 판도를 바꿉니다.
기사 읽기→
Tag
3 개 게시물
휴대폰에서 대규모 AI 모델을 로컬로 실행하는 것은 일반적으로 배터리 방전과 앱 충돌을 의미합니다. Cactus라는 새로운 추론 엔진은 zero-copy memory mapping 및 NPU-first architecture를 사용하여 작은 공간으로 엄청난 성능을 제공함으로써 판도를 바꿉니다.
RAM 512MB에 불과한 10년 된 컴퓨터가 로컬 AI 모델을 실행하고 있습니다. 현대 AI를 진정으로 휴대 가능하게 만드는 불가능에 가까운 엔지니어링 위업을 분석합니다.
Google은 휴대폰에서 완전히 오프라인으로 실행되도록 설계된 혁신적인 AI 모델인 Gemma 4를 방금 출시했습니다. 그것의 급진적인 새로운 아키텍처는 작은 패키지에 전례 없는 지능을 약속하며, 일상적인 작업을 위한 클라우드 AI를 쓸모없게 만들 가능성이 있습니다.