AI 뉴스
AI가 자체 칩을 설계하다
OpenAI가 자사 모델의 도움을 받아 설계한 첫 번째 맞춤형 AI 칩을 공개했습니다. 이번 행보는 AI 연구소를 새로운 하드웨어 거물로 탈바꿈시키며 거대한 권력 이동을 예고합니다.
기사 읽기→
Tag
#Inference
6 개 게시물
기업용 AI
당신의 AI 비용 청구서는 거짓입니다
기업들이 숨겨진 AI 비용으로 수백만 달러를 조용히 낭비하고 있습니다. '모델 라우팅(model routing)'이라는 간단한 전략으로 품질 저하 없이 청구서를 40% 이상 절감할 수 있습니다.
기사 읽기→
AI 뉴스
Jalapeño: OpenAI의 Nvidia 킬러?
OpenAI는 Nvidia의 영향력에서 벗어나기 위한 과감한 움직임으로 첫 번째 맞춤형 AI 칩인 Jalapeño를 공개했습니다. 이 특수 프로세서는 한 가지 목적을 위해 제작되었습니다. 바로 AI 추론을 매우 빠르고 저렴하게 만들어 ChatGPT에서 싫어하는 지연을 잠재적으로 제거하는 것입니다.
기사 읽기→
AI 연구
LLM 메모리를 4배 줄이는 비법
LLM의 메모리는 성능을 저하시키고 비용을 증가시키는 시한폭탄과 같습니다. Speculative KV Coding이라는 새로운 기술은 품질 저하 없이 메모리를 4배까지 줄일 수 있습니다.
기사 읽기→
AI 연구
Xiaomi의 AI는 믿을 수 없을 정도로 빠르다
Xiaomi는 표준 GPU에서 초당 1,000개 이상의 토큰을 생성하여 GPT-4를 능가하는 AI 모델을 출시했습니다. '모델-시스템 공동 설계'의 이러한 혁신은 실시간 AI 애플리케이션을 근본적으로 변화시킬 수 있습니다.
기사 읽기→
업계 인사이트
NVIDIA의 200억 달러 그림자 인수
NVIDIA는 자사의 가장 큰 경쟁자에게 200억 달러를 쏟아부었지만, 전통적인 인수는 아니었습니다. AI 속도의 미래를 재정의하는 이 거래의 뒷 이야기를 소개합니다. 왜 젠슨 황은 다른 사람들이 체커를 두는 동안 체스를 두고 있는지에 대한 설명입니다.
기사 읽기→