AI研究 ·
35B LLMをiPhoneで動かすためのトリック
350億パラメータのAIモデルをスマートフォンで実行することは、20GBのRAMが必要なため不可能に思えます。しかし、新しい技術がメモリ制限の常識を覆し、デバイス内で完結する強力でプライベートなAIの実現への扉を開きました。
1 件の記事 · 更新
AI研究 ·
350億パラメータのAIモデルをスマートフォンで実行することは、20GBのRAMが必要なため不可能に思えます。しかし、新しい技術がメモリ制限の常識を覆し、デバイス内で完結する強力でプライベートなAIの実現への扉を開きました。