AI 도구
이 AI 엔진은 RAM을 10배 적게 사용합니다
휴대폰에서 대규모 AI 모델을 로컬로 실행하는 것은 일반적으로 배터리 방전과 앱 충돌을 의미합니다. Cactus라는 새로운 추론 엔진은 zero-copy memory mapping 및 NPU-first architecture를 사용하여 작은 공간으로 엄청난 성능을 제공함으로써 판도를 바꿉니다.
기사 읽기→
Tag
#Local LLM
6 개 게시물
AI 도구
로컬 AI가 이제 잠금 해제되었습니다
로컬 LLM 서버를 저글링하고 VRAM을 낭비하는 일을 멈추세요. Llama-swap이라는 새로운 도구는 필요한 모든 모델을 자동으로 핫스왑할 수 있는 단일하고 안정적인 API를 제공합니다.
기사 읽기→
AI 도구
oMLX: Mac의 잠재력을 해방하는 AI 도구
로컬 AI 모델을 실행할 때 Mac이 느려지는 것에 지치셨나요? oMLX라는 새로운 추론 엔진은 혁신적인 SSD 캐싱 시스템을 활용하여 3배 더 빠른 속도를 제공하고 시스템 리소스를 되찾아줍니다.
기사 읽기→
AI 도구
이 7B AI가 당신의 GPU를 구식으로 만들었습니다
새로운 오픈소스 AI가 노트북에서 완전히 실행되며, GPT-4V와 같은 대규모 클라우드 모델에 필적하는 성능을 제공합니다. Qwen 2.5 VL이 이미지를 읽고, 코드를 수정하며, 비디오를 로컬에서 분석하여 전 세계 개발자들의 판도를 어떻게 바꾸는지 알아보세요.
기사 읽기→
AI 도구
당신의 오래된 하드웨어가 이제 AI 슈퍼컴퓨터가 되었습니다.
대규모 AI 모델을 운영하기 위해 고액의 클라우드 요금을 지불하는 것을 중지하세요. Exo라는 새로운 오픈소스 도구가 기존의 맥, PC, 심지어 라즈베리 파이를 강력하고 비밀스러운 AI 클러스터로 변환해 줍니다.
기사 읽기→
튜토리얼
게임 PC에서 프론티어 AI 실행하기
알파고 뒤에 있는 AI 기술은 더 이상 대규모 데이터 센터에만 국한되지 않습니다. 이 튜토리얼에서는 NVIDIA 게이밍 PC를 사용하여 처음부터 강력한 AI 모델을 훈련시키는 방법을 보여줍니다.
기사 읽기→