당신의 머신은 추측할 필요가 없습니다
로컬 AI 추론 엔진은 하드웨어를 추측할 필요가 없습니다. 일반적인 설정에 의존하는 대신, Magnitude는 호스트 머신을 프로파일링한 다음 장치에서 직접 여러 커널 구성을 벤치마킹합니다. 그런 다음 Apple Silicon의 Metal, NVIDIA의 CUDA, AMD의 ROCm, 표준 CPU 등 특정 칩에 가장 빠른 실행 경로를 선택합니다.
커널은 모델 연산이 CPU나 GPU를 얼마나 효율적으로 활용할지 결정하는 저수준 루틴입니다. 이는 AI 모델의 실제 속도를 결정하며, 초당 토큰 수로 직결됩니다. 사전 컴파일된 일반적인 커널은 개별 하드웨어의 고유한 특성을 완전히 활용하지 못해 상당한 성능 손실을 초래하는 경우가 많습니다.
이러한 하드웨어 인식 튜닝은 상당한 성능 향상을 제공합니다. Magnitude는 Apple Silicon(M4 Pro / Metal)에서 최대 92% 더 빠른 디코드 성능을 제공하며, Qwen 3.6 35B와 같은 4비트 35B 모델에서 30 tok/s를 57 tok/s로 향상시킵니다. NVIDIA CUDA(DGX Spark)에서도 디코드는 약 19%, 프리필은 23% 더 빠른 속도를 보입니다.
단, 결과는 특정 칩, 모델 아키텍처 및 사용 가능한 커널 최적화에 따라 달라집니다. Magnitude의 CLI/데스크톱 앱은 VRAM과 연산 능력을 사전에 프로파일링하여, DeepSeek, Qwen, Gemma와 같은 모델을 다운로드하기 전에도 "실행 가능 여부" 표시기와 예상 초당 토큰 수를 제공합니다.
단순한 채팅창이 아닌, 에이전트를 위해 구축되었습니다
Magnitude는 단순한 로컬 채팅 애플리케이션이 아닙니다. 코딩 도구가 긴 프롬프트를 반복적으로 보내고, 파일을 검사하고, 도구를 호출하고, 후속 응답을 요청하는 과정을 인식하여 에이전트를 위해 설계되었습니다. 이는 단일 턴 채팅창과는 완전히 다른 방식이며, 이러한 다단계 반복 작업에 대한 집중이 기본 설계의 핵심입니다.
에이전트 통합을 원활하게 하기 위해 Magnitude는 localhost에서 OpenAI 호환 및 Anthropic 호환 API를 제공합니다. 이를 통해 Claude Code, Codex, Cline, OpenCode와 같은 도구가 최소한의 마찰로 로컬 모델에 연결할 수 있습니다. 영상에서는 Claude Code를 사용하여 Mac에서 실행 중인 로컬 모델에 클릭 한 번으로 연결하는 모습을 보여주며, 복잡한 프록시 설정 과정을 생략합니다.
이러한 API 호환성은 개발자 경험을 크게 단순화합니다. 사용자는 프록시나 미들웨어를 구성할 필요 없이 선호하는 에이전트 도구를 Magnitude에 직접 연결할 수 있습니다. 연결 과정은 간소화되었지만, 사용자는 여전히 적절한 모델을 선택하고 에이전트가 이를 효과적으로 활용하도록 구성해야 합니다. Magnitude의 설계는 상용구 코드를 제거하여 개발자가 인프라가 아닌 에이전트 로직에 집중할 수 있도록 하는 것을 목표로 합니다. Apache-2.0 라이선스가 적용된 Rust 코드베이스와 커스텀 커널 런타임은 이러한 엔지니어링 우선 접근 방식을 반영합니다.
속도 수치와 세부 사항
Magnitude의 성능 수치는 설득력이 있지만 구성에 따라 다릅니다. M4 Pro에서 테스트한 4비트 35B 모델(예: Qwen 3.6 35B)은 llama.cpp 대비 최대 92% 더 빠른 디코드 속도(초당 30에서 57 토큰으로 증가)와 약 9% 더 빠른 프리필 속도를 보였습니다. NVIDIA CUDA 설정, 특히 DGX Spark의 경우 Magnitude는 디코드에서 약 19%, 프리필에서 23% 더 빠른 속도를 기록했습니다.
이 벤치마크는 보편적인 보증이 아닙니다. 결과는 선택한 모델, 프롬프트 길이, 양자화 방식, 하드웨어 아키텍처, 그리고 작업 부하 자체와 같은 특정 변수에 크게 의존합니다. Magnitude의 온디바이스 튜닝은 특정 기기에 최적화된 커널 구성을 찾아내는 데 탁월하지만, 일반적인 벤치마크는 시작점을 제공할 뿐입니다.
엔지니어는 트레이드오프에 직면합니다. 튜닝된 커널은 종종 Qwen이나 Gemma와 같은 인기 있는 아키텍처를 선호하므로, 틈새 모델은 성능 향상 폭이 작을 수 있습니다. 또한 지속적인 대규모 모델 추론은 열을 발생시켜 배터리 수명에 영향을 미치며, 이는 로컬 AI를 고려할 때 실질적인 요소입니다. 더 깊은 기술적 분석과 지속적인 개발 상황은 GitHub - magnitudedev/magnitude: Open source inference engine for agents 저장소를 확인하세요.
Magnitude의 동적 온디바이스 최적화 접근 방식은 정적이고 일반화된 커널을 넘어선 중요한 진전이며, 효율적인 로컬 AI의 한계를 넓히고 있습니다.
이 글이 마음에 드셨나요? 매일 아침 이런 글을 메일로 받아보세요.
하루 한 통 · 두 번의 클릭으로 구독 취소 · 제3자 추적 없음
진정한 테스트는 전체 에이전트 세션입니다.
에이전트 지향 메모리 기능은 에이전트 작업 부하의 반복적인 특성을 겨냥합니다. Prefix caching은 반복되는 시스템 지침과 함수 호출을 재사용하여 단계별 중복 계산을 방지합니다. 동적 메모리 할당은 프로세스가 종료될 때까지 기다리는 대신 작업이 완료되면 세션 메모리를 해제하는 것을 목표로 합니다.
이 접근 방식은 동시 에이전트당 메모리 점유율을 약 27% 줄이는 것으로 보고되었습니다. 이는 벤더가 보고한 유망한 수치이지만, 이 이점을 확인하려면 다양한 에이전트 작업 부하와 하드웨어 전반에 걸친 실제 검증이 필수적입니다. 메모리 효율성은 속도와 마찬가지로 사용 사례에 따라 크게 달라집니다.
결국 진정한 테스트는 자신의 하드웨어에서 수행하는 엔드투엔드 에이전트 세션입니다. 배포하려는 특정 모델을 벤치마킹하고, 복잡한 작업을 완료하는 데 걸리는 총 시간과 전체 메모리 소비량을 측정하세요. 이러한 결과를 기존 로컬 런타임과 비교해 보십시오.
평가를 시작하려면 Magnitude의 Apache-2.0 라이선스 Rust 코드베이스와 문서를 살펴보세요. 이 프로젝트는 GitHub에서 이용할 수 있으며 Apple Silicon, NVIDIA CUDA, ROCm 및 CPU용 사전 컴파일된 바이너리를 제공합니다. 직접 테스트를 실행하여 특정 요구 사항에 맞게 성능이 발휘되는지 확인하세요.
자주 묻는 질문
Magnitude란 무엇인가요?
Magnitude는 코딩 에이전트를 위한 AI 모델을 실행하도록 설계된 오픈 소스 로컬 추론 엔진으로, 하드웨어 인식 튜닝과 에이전트 중심 기능을 갖추고 있습니다.
Magnitude는 어떻게 하드웨어에 맞춰 스스로를 튜닝하나요?
호스트 머신에서 다양한 커널 구성을 벤치마킹하고 해당 하드웨어에서 가장 뛰어난 성능을 보이는 구성을 선택합니다.
Claude Code를 Magnitude로 로컬에서 실행 중인 모델에 연결할 수 있나요?
네. Magnitude는 localhost에서 Anthropic 호환 API를 노출하므로 Claude Code가 지원되는 로컬 모델에 연결할 수 있습니다.
Magnitude는 모든 로컬 모델을 llama.cpp보다 빠르게 만드나요?
아니요. 보고된 성능 향상은 하드웨어와 모델 아키텍처에 따라 다릅니다. 특수 커널은 덜 일반적인 모델보다 지원되는 모델에 더 큰 이점을 줄 수 있습니다.