Skip to content

model benchmarks

4 件の記事 · 更新

  1. AIエージェント ·

    オープンAIモデルがコーディングで直面する厳しい壁

    有望なベンチマークスコアにより、オープンモデルがフロンティアAIに取って代わる準備ができているように見えることがあります。しかし、コーディングエージェントの隠れたコストはトークン単価ではなく、作業が長く続いたときに何が起こるかにあります。

  2. AI研究 ·

    164 MBのAI文字起こしツールに潜む落とし穴

    わずか164MBのダウンロードサイズで、巨大な音声認識モデルを無駄の多いものに見せかけ、録音データをクラウドに送らないことを約束するツールが登場しました。しかし、Phonon-2を魅力的に見せているベンチマークには、現実的な疑問が残されています。

  3. AI研究 ·

    Phonon-2は極小。そのWhisper対抗の主張は本物か?

    新しい音声モデルが、Mac上で完全に動作し、1時間の文字起こしを数秒で完了させると謳っています。しかし、最も目を引く比較結果は、測定方法に疑問が残るベンチマークに基づいている可能性があります。

  4. AI研究 ·

    178MBの音声モデル、その隠された落とし穴

    速度に関する見出しの主張にはハードウェア上の注釈があり、背景雑音が入ると精度の話は一変します。さらに重大なひねりはインストールコマンドの中に隠されています。ウェイト(重み)はオープンかもしれませんが、エンジンはそうではありません。