マシンに推測させる必要はありません
ローカルAI推論エンジンは、ハードウェアを推測する必要はありません。汎用的なセットアップに頼るのではなく、Magnitudeはホストマシンをプロファイリングし、デバイス上で直接複数のカーネル構成をベンチマークします。その後、Apple SiliconのMetal、NVIDIAのCUDA、AMDのROCm、あるいは標準的なCPUなど、その特定のチップにとって最速の実行パスを選択します。
カーネルとは、モデルの演算がCPUやGPUをどれだけ効率的に利用するかを決定する低レベルのルーチンです。これらはAIモデルの実際の速度を決定し、トークン毎秒（tokens per second）に直結します。事前にコンパイルされた汎用的なカーネルは、個々のハードウェアのユニークな特性を十分に活用できておらず、大幅なパフォーマンスの余地を残していることがよくあります。
このハードウェアを認識したチューニングは、大幅なパフォーマンス向上をもたらします。Magnitudeは、Apple Silicon（M4 Pro / Metal）において、Qwen 3.6 35Bのような4ビット35Bモデルで30 tok/sから57 tok/sへと、最大92%のデコード高速化を実現すると主張しています。NVIDIA CUDA（DGX Spark）でも、デコードで約19%、プリフィルで約23%の高速化が見られます。
ただし、結果は特定のチップ、モデルアーキテクチャ、および利用可能なカーネル最適化に依存します。MagnitudeのCLI/デスクトップアプリは、VRAMと計算能力を事前にプロファイリングし、DeepSeek、Qwen、Gemmaなどのモデルをダウンロードする前に、「収まるかどうか」の指標や推定トークン毎秒を提供します。
単なるチャットウィンドウではなく、エージェントのために構築
Magnitudeは単なるローカルチャットアプリケーションではありません。コーディングツールが長いプロンプトを繰り返し送信し、ファイルを検査し、ツールを呼び出し、フォローアップの応答を要求するという、単発のチャットウィンドウとはかけ離れたエージェントの動作を認識し、それらのために構築されています。このマルチステップの反復的なワークロードへの焦点が、その基盤となる設計を推進しています。
エージェントの統合を容易にするため、Magnitudeはlocalhost上でOpenAI互換およびAnthropic互換のAPIを提供します。これにより、Claude Code、Codex、Cline、OpenCodeなどのツールが、最小限の摩擦でローカルモデルに接続できるようになります。ビデオではClaude Codeを使用して、複雑なプロキシ設定を回避し、Mac上で実行されているローカルモデルへのワンクリック接続を示しています。
このAPI互換性により、開発者のエクスペリエンスが大幅に簡素化されます。ユーザーはプロキシやミドルウェアを設定することなく、好みのエージェントツールをMagnitudeに直接接続できます。接続は効率化されますが、ユーザーは依然として適切なモデルを選択し、それを効果的に活用するようにエージェントを設定する必要があります。Magnitudeの設計はボイラープレートを排除し、開発者がインフラストラクチャではなくエージェントのロジックに集中できるようにすることを目的としています。そのApache-2.0ライセンスのRustコードベースとカスタムカーネルランタイムは、このエンジニアリングファーストのアプローチを反映しています。
速度の数値と注意書き
Magnitudeのパフォーマンスに関する主張は説得力がありますが、構成に依存します。M4 Proでは、テストされた4ビット35Bモデル（例：Qwen 3.6 35B）で、llama.cppと比較して最大92%のデコード高速化（30から57トークン/秒へ向上）と、約9%のプリフィル高速化が実証されました。NVIDIA CUDAセットアップ（特にDGX Spark）では、Magnitudeは約19%のデコード高速化と23%のプリフィル高速化を報告しています。
これらのベンチマークは普遍的な保証ではありません。結果は、選択したモデル、プロンプトの長さ、量子化手法、ハードウェアアーキテクチャ、そしてワークロードそのものといった特定の変数に大きく依存します。Magnitudeのオンデバイスチューニングは、特定の機械に対して最適なカーネル構成を見つけることで優れた性能を発揮しますが、一般的なベンチマークはあくまで出発点となります。
エンジニアはトレードオフに直面します。調整されたカーネルはQwenやGemmaのような一般的なアーキテクチャを優先することが多いため、ニッチなモデルではパフォーマンスの向上が小さくなる可能性があります。また、大規模モデルの持続的な推論は熱を発生させ、バッテリー寿命に影響を与えるため、ローカルAIにおいては実用的な考慮事項となります。より詳細な技術的分析や継続的な開発については、GitHub - magnitudedev/magnitude: Open source inference engine for agentsリポジトリをご確認ください。
Magnitudeの動的なオンデバイス最適化というアプローチは、静的で汎用的なカーネルを一歩リードする重要な進歩であり、効率的なローカルAIの限界を押し広げています。
この記事が気に入ったら、毎朝同じようなものをメールで受け取れます。
1日1通 · 2クリックで解除 · サードパーティのトラッキングなし
真のテストは、エージェントセッション全体で行うことです。
エージェント指向のメモリ機能は、エージェントワークロードの反復的な性質にも対応しています。Prefix cachingは、繰り返されるシステム指示や関数呼び出しを再利用し、ステップ間での冗長な計算を回避します。動的メモリ割り当ては、プロセス終了までメモリを保持するのではなく、タスク完了時にセッションメモリを解放することを目指しています。
このアプローチにより、同時実行エージェントあたりのメモリフットプリントが約27%削減されると報告されています。これはベンダーから報告された有望な数値ですが、この利点を裏付けるには、多様なエージェントワークロードやハードウェア全体での実環境での検証が不可欠です。メモリ効率は、速度と同様に、ユースケースによって大きく異なることがよくあります。
最終的に、真のテストは自身のハードウェア上でのエンドツーエンドのエージェントセッションです。導入を計画している特定のモデルをベンチマークし、複雑なタスクを完了するまでの合計時間と全体的なメモリ消費量を測定してください。これらの結果を既存のローカルランタイムと比較してください。
評価を開始するには、MagnitudeのApache-2.0ライセンスのRustコードベースとドキュメントをご覧ください。このプロジェクトはGitHubで公開されており、Apple Silicon、NVIDIA CUDA、ROCm、CPU向けのプリコンパイル済みバイナリを提供しています。独自のテストを実行して、特定のニーズに対して主張通りのパフォーマンスを発揮するか確認してください。
よくある質問
Magnitudeとは何ですか？
Magnitudeは、コーディングエージェント向けのAIモデルを実行するために設計されたオープンソースのローカル推論エンジンであり、ハードウェアを認識したチューニングとエージェントに特化した機能を備えています。
Magnitudeはどのようにしてハードウェアに合わせて自身をチューニングしますか？
ホストマシン上でさまざまなカーネル構成をベンチマークし、そのハードウェアで最もパフォーマンスの高い構成を選択します。
Claude Codeは、Magnitudeでローカル実行されているモデルに接続できますか？
はい。Magnitudeはlocalhost上でAnthropic互換のAPIを公開しており、Claude Codeがサポートされているローカルモデルに接続できるようになります。
Magnitudeはすべてのローカルモデルをllama.cppよりも高速にしますか？
いいえ。報告されている向上幅はハードウェアとモデルアーキテクチャに依存します。最適化されたカーネルは、あまり一般的ではないモデルよりも、サポートされているモデルに対してより大きな恩恵をもたらす可能性があります。