AMD의 AI 칩, 돌아올 수 없는 강을 건너다
AMD가 NVIDIA의 최고 성능 칩보다 48배 빠른 AI 칩을 인수했지만, 치명적인 결함이 있습니다. 영구적이고 업데이트가 불가능한 실리콘에 대한 이 도박은 AI 하드웨어를 재정의하거나 업계에서 가장 비싼 문진이 될 수도 있습니다.
Tag
9 개 게시물
AMD가 NVIDIA의 최고 성능 칩보다 48배 빠른 AI 칩을 인수했지만, 치명적인 결함이 있습니다. 영구적이고 업데이트가 불가능한 실리콘에 대한 이 도박은 AI 하드웨어를 재정의하거나 업계에서 가장 비싼 문진이 될 수도 있습니다.
수천억 개의 파라미터를 가진 최첨단 AI 모델을 실행하는 것은 데이터센터가 없는 사람들에게는 꿈같은 이야기였습니다. 하지만 새로운 오픈 소스 엔진은 VRAM을 더 사용하는 대신 이를 CPU 캐시처럼 처리함으로써 상황을 완전히 뒤바꿨습니다.
AI는 한때 불가능하다고 여겨졌던 속도에 도달하고 있지만, 하드웨어가 이를 따라가지 못한다는 함정이 있습니다. 조용한 병목 현상의 원인은 AI 모델이 아니라 바로 책상 위에 있는 컴퓨터입니다.
OpenAI가 자사 모델의 도움을 받아 설계한 첫 번째 맞춤형 AI 칩을 공개했습니다. 이번 행보는 AI 연구소를 새로운 하드웨어 거물로 탈바꿈시키며 거대한 권력 이동을 예고합니다.
기업들이 숨겨진 AI 비용으로 수백만 달러를 조용히 낭비하고 있습니다. '모델 라우팅(model routing)'이라는 간단한 전략으로 품질 저하 없이 청구서를 40% 이상 절감할 수 있습니다.
OpenAI는 Nvidia의 영향력에서 벗어나기 위한 과감한 움직임으로 첫 번째 맞춤형 AI 칩인 Jalapeño를 공개했습니다. 이 특수 프로세서는 한 가지 목적을 위해 제작되었습니다. 바로 AI 추론을 매우 빠르고 저렴하게 만들어 ChatGPT에서 싫어하는 지연을 잠재적으로 제거하는 것입니다.
LLM의 메모리는 성능을 저하시키고 비용을 증가시키는 시한폭탄과 같습니다. Speculative KV Coding이라는 새로운 기술은 품질 저하 없이 메모리를 4배까지 줄일 수 있습니다.
Xiaomi는 표준 GPU에서 초당 1,000개 이상의 토큰을 생성하여 GPT-4를 능가하는 AI 모델을 출시했습니다. '모델-시스템 공동 설계'의 이러한 혁신은 실시간 AI 애플리케이션을 근본적으로 변화시킬 수 있습니다.
NVIDIA는 자사의 가장 큰 경쟁자에게 200억 달러를 쏟아부었지만, 전통적인 인수는 아니었습니다. AI 속도의 미래를 재정의하는 이 거래의 뒷 이야기를 소개합니다. 왜 젠슨 황은 다른 사람들이 체커를 두는 동안 체스를 두고 있는지에 대한 설명입니다.