AI研究
10ドルのチップがAIの頭脳に
4500万パラメータのAIモデルが10ドルのマイクロコントローラに収まりました。しかし、その真の力は会話ではなく、何十億もの日常デバイスにインテリジェントな動作を組み込む可能性を秘めた画期的な技術である点にあります。
記事を読む→
Tag
6 件
4500万パラメータのAIモデルが10ドルのマイクロコントローラに収まりました。しかし、その真の力は会話ではなく、何十億もの日常デバイスにインテリジェントな動作を組み込む可能性を秘めた画期的な技術である点にあります。
90年代のPCよりも少ないRAMしか搭載していない8ドルのマイクロコントローラーで、2900万パラメータの言語モデルを完全にオフラインで実行することに成功しました。GoogleのGemmaから着想を得た、この不可能な偉業を実現した巧妙なメモリハックを解き明かします。
誰もが最も賢いAIモデルが技術競争に勝つと賭けている。しかし、真の勝者は、私たちの目の前で全く別の何かを構築している。
スマートフォンで大規模なAIモデルをローカルで実行すると、通常はバッテリー切れやアプリのクラッシュを意味します。「Cactus」と呼ばれる新しい推論エンジンは、zero-copy memory mappingとNPU-first architectureを使用することで、わずかなフットプリントで大規模なパフォーマンスを提供し、状況を一変させます。
わずか512MBのRAMを搭載した10年前のコンピューターがローカルAIモデルを実行しています。現代のAIを真にポータブルにする、不可能とも思えるエンジニアリングの偉業を詳しく解説します。
Googleは、スマートフォン上で完全にオフラインで動作するように設計された画期的なAIモデル、Gemma 4をリリースしました。その革新的な新アーキテクチャは、小さなパッケージで前例のないインテリジェンスを約束し、日常的なタスクにおいてクラウドAIを時代遅れにする可能性を秘めています。