Tag

#MoE

6 개 게시물

35B LLM을 iPhone에 구겨 넣는 비결

20GB의 RAM이 필요한 350억 개의 파라미터를 가진 AI 모델을 스마트폰에서 실행하는 것은 불가능해 보입니다. 하지만 새로운 기술이 메모리 제한의 판도를 뒤집으며, 기기 밖으로 나가지 않는 강력하고 개인적인 AI의 문을 열었습니다.

새로운 AI 모델이 업계 거물들을 저렴한 비용으로 능가한다고 주장하며 놀라운 속도를 자랑합니다. 하지만 직접 테스트해 본 결과, 벤치마크에서는 완전히 놓치고 있는 치명적인 결함이 발견되었습니다.

수천억 개의 파라미터를 가진 최첨단 AI 모델을 실행하는 것은 데이터센터가 없는 사람들에게는 꿈같은 이야기였습니다. 하지만 새로운 오픈 소스 엔진은 VRAM을 더 사용하는 대신 이를 CPU 캐시처럼 처리함으로써 상황을 완전히 뒤바꿨습니다.

이제 MacBook에서 데이터 센터가 필요했던 AI 모델을 실행할 수 있습니다. 하지만 그 비결은 단순히 Apple의 하드웨어 때문만이 아닙니다. 로컬 AI의 판도를 바꾸는 영리한 소프트웨어 트릭 덕분입니다.

전 OpenAI CTO Mira Murati가 975B 파라미터의 오픈 웨이트 모델인 Inkling을 출시했습니다. 원시 오디오를 처리하는 독보적인 능력과 초정밀 파인튜닝에 집중한 이 모델은 기업이 AI를 구축하는 방식을 바꿀 수 있습니다.

Google은 전통적인 AI 생성 방식을 버리고 엄청난 속도를 자랑하는 실험적인 모델인 DiffusionGemma를 공개했습니다. 이 모델은 전체 문단을 한 번에 작성하여 이전에는 불가능했던 실시간 사용 사례를 가능하게 합니다.