AIツール
このAIエンジンはRAMを10分の1しか使用しません
スマートフォンで大規模なAIモデルをローカルで実行すると、通常はバッテリー切れやアプリのクラッシュを意味します。「Cactus」と呼ばれる新しい推論エンジンは、zero-copy memory mappingとNPU-first architectureを使用することで、わずかなフットプリントで大規模なパフォーマンスを提供し、状況を一変させます。
記事を読む→
Tag
#Local LLM
7 件
AIツール
ローカルAIがアンロックされました
ローカルLLMサーバーのやりくりやVRAMの無駄遣いをやめましょう。Llama-swapという新しいツールは、必要なモデルを自動的にホットスワップするための単一で安定したAPIを提供します。
記事を読む→
AIツール
oMLX: あなたのMacを解き放つAIツール
ローカルAIモデルを実行する際にMacの動作が遅くなることにうんざりしていませんか？oMLXと呼ばれる新しい推論エンジンは、革新的なSSDキャッシングシステムを活用し、3倍高速な速度を実現し、システムのリソースを取り戻します。
記事を読む→
AIツール
この7B AIがあなたのGPUを時代遅れにした
新しいオープンソースAIがあなたのノートパソコンで完全に動作し、GPT-4Vのような大規模なクラウドモデルに匹敵するパフォーマンスを提供します。Qwen 2.5 VLがどのように画像を読み取り、コードを修正し、ビデオをローカルで分析し、あらゆる場所の開発者の常識を変えるかを発見してください。
記事を読む→
AIツール
あなたの古いハードウェアが今やAIスーパコンピュータに変わりました
高額なクラウド料金を払い続けるのはやめましょう。新しいオープンソースツール「Exo」を使えば、既存のMac、PC、さらにはRaspberry Piを強力でプライベートなAIクラスターに変えることができます。
記事を読む→
AIツール
あなたの古いハードウェアが今やAIスーパーコンピュータに変わりました
大規模なAIモデルを運用するために異常なクラウド料金を支払うのをやめましょう。Exoという新しいオープンソースツールは、既存のMac、PC、さらにはRaspberry Piを強力でプライベートなAIクラスターに変えます。
記事を読む→
チュートリアル
ゲーミングPCでフロンティアAIを実行しよう
AlphaGoの背後にあるAI技術は、もはや巨大データセンター専用ではありません。このチュートリアルでは、NVIDIAのゲーミングPCを使用して、ゼロから強力なAIモデルをトレーニングする方法を紹介します。
記事を読む→