#TinyML

8ドルのチップで2900万パラメータのLLMを動かす

90年代のPCよりも少ないRAMしか搭載していない8ドルのマイクロコントローラーで、2900万パラメータの言語モデルを完全にオフラインで実行することに成功しました。GoogleのGemmaから着想を得た、この不可能な偉業を実現した巧妙なメモリハックを解き明かします。