AI研究
iPhoneで35B LLMを動かす驚きのテクニック
オンデバイスAIは小さなモデルに限られると思われがちですが、ある新しい手法がその常識を覆しました。このブレイクスルーは新しいチップによるものではなく、AppleのOSが元々備えていた特性を巧みに利用したメモリハックによるものです。
記事を読む→
Tag
#Mobile AI
3 件
Tag
3 件
オンデバイスAIは小さなモデルに限られると思われがちですが、ある新しい手法がその常識を覆しました。このブレイクスルーは新しいチップによるものではなく、AppleのOSが元々備えていた特性を巧みに利用したメモリハックによるものです。
AI開発の多くは、コストのかかるクラウドベースの軍拡競争に行き詰まっています。ある静かなヨーロッパの研究所が、AIの未来はデータセンターではなく、あなたのデバイス上にあることを証明しています。
270億パラメータの巨大AIが、クラウドやWi-Fiなしで、完全にスマートフォン上で動作するようになりました。このモデル圧縮における画期的な進歩は、比類ないプライバシーとパフォーマンスをあなたのポケットにもたらします。