#local LLMs

Magnitudeの「2倍の速度」という主張には裏がある

2倍近いベンチマーク結果は画期的に聞こえますが、何を測定し、どのMacで、どのような設定と比較したのかを確認する必要があります。重要なのは、普遍的な速度向上というよりも、ローカルAIツールを構築する新しい方法にあるのかもしれません。