#LLM quantization

27BのAIモデルが8GBに収まる—ただし落とし穴も

かつては膨大なメモリを必要としたモデルが、多くの愛好家が既に所有しているハードウェアで動作するようになりました。しかし、最も注目すべきベンチマークの勝利の裏には、エージェント用途としては不向きになり得るトレードオフが隠されています。