#Memory Optimization

35B LLMをiPhoneで動かすためのトリック

350億パラメータのAIモデルをスマートフォンで実行することは、20GBのRAMが必要なため不可能に思えます。しかし、新しい技術がメモリ制限の常識を覆し、デバイス内で完結する強力でプライベートなAIの実現への扉を開きました。