Tag

#Mixture of Experts

6 개 게시물

125B AI 모델이 클라우드를 압도하다

데스크톱 PC가 클라우드 AI를 놀라운 차이로 앞지르는 것처럼 보이지만, 이 벤치마크에는 수치의 의미를 바꿀 수 있는 절충안이 숨겨져 있습니다. 이 결과 뒤에 숨겨진 영리한 엔지니어링과 이를 재현하기 위해 필요한 것을 소개합니다.

즉시 구식이 되어버리는 정적인 AI 모델은 잊으십시오. 새로운 실험을 통해 일반 노트북에서 끊임없이 학습하며, 기존 지식을 지워버리는 '파멸적 망각(catastrophic forgetting)'이라는 고질적인 문제를 해결하는 'mini-AGI'가 공개되었습니다.

모두가 온디바이스 AI는 작은 모델로만 가능하다고 생각하지만, 새로운 기술이 이러한 고정관념을 완전히 깨뜨렸습니다. 이 돌파구는 새로운 칩이 아니라, Apple의 OS가 이미 완벽하게 갖추고 있던 영리한 메모리 해킹 기술 덕분입니다.

온라인에 등장한 정체불명의 모델이 거대 모델들을 압도적인 가성비로 능가했습니다. 이 모델의 진짜 정체는 AI 하드웨어 및 오픈소스 생태계의 지각변동을 예고합니다.

노트북에서 최첨단 AI 모델을 실행하는 것은 불가능해 보이지만, 새로운 소형 도구가 그 해답을 찾아냈습니다. 이 성능의 진짜 비결은 GPU가 아니라 하드웨어를 재정의하는 영리한 트릭에 있습니다.

NVIDIA는 복잡한 AI 에이전트의 두뇌 역할을 하도록 설계된 강력한 오픈 모델인 Nemotron 3 Ultra를 출시했습니다. 독특한 아키텍처는 5배 빠른 속도를 제공하고 작업 비용을 30% 절감하여 에이전트 AI의 새로운 표준을 제시합니다.