Tag

#MoE

5 개 게시물

DeepSeek의 AI: 빠르고, 저렴하지만, 결함이 있다

새로운 AI 모델이 업계 거물들을 저렴한 비용으로 능가한다고 주장하며 놀라운 속도를 자랑합니다. 하지만 직접 테스트해 본 결과, 벤치마크에서는 완전히 놓치고 있는 치명적인 결함이 발견되었습니다.

수천억 개의 파라미터를 가진 최첨단 AI 모델을 실행하는 것은 데이터센터가 없는 사람들에게는 꿈같은 이야기였습니다. 하지만 새로운 오픈 소스 엔진은 VRAM을 더 사용하는 대신 이를 CPU 캐시처럼 처리함으로써 상황을 완전히 뒤바꿨습니다.

이제 MacBook에서 데이터 센터가 필요했던 AI 모델을 실행할 수 있습니다. 하지만 그 비결은 단순히 Apple의 하드웨어 때문만이 아닙니다. 로컬 AI의 판도를 바꾸는 영리한 소프트웨어 트릭 덕분입니다.

전 OpenAI CTO Mira Murati가 975B 파라미터의 오픈 웨이트 모델인 Inkling을 출시했습니다. 원시 오디오를 처리하는 독보적인 능력과 초정밀 파인튜닝에 집중한 이 모델은 기업이 AI를 구축하는 방식을 바꿀 수 있습니다.

Google은 전통적인 AI 생성 방식을 버리고 엄청난 속도를 자랑하는 실험적인 모델인 DiffusionGemma를 공개했습니다. 이 모델은 전체 문단을 한 번에 작성하여 이전에는 불가능했던 실시간 사용 사례를 가능하게 합니다.