#vLLM

MITのAIトリックがムーアの法則を破る

MITとNVIDIAの研究者たちが、強力なAIモデルを悩ませていた最大のボトルネックを解決しました。この新しい技術「TriAttention」は、メモリ使用量を10分の1に削減し、大規模モデルを家庭用PCで実行できるようにします。