Skip to content

llama.cpp

3 Artikel · Aktualisiert · Llama.cpp im Verzeichnis →

  1. KI-Tools ·

    Magnitudes 2x-Geschwindigkeitsversprechen hat einen Haken

    Ein Benchmark, der fast eine Verdopplung der Geschwindigkeit verspricht, klingt nach einem Durchbruch – bis man sich ansieht, was gemessen wurde, auf welchem Mac und gegen welches Setup. Die wichtigere Erkenntnis ist vielleicht weniger ein universeller Geschwindigkeitsvorteil, sondern ein neuer Ansatz für den Aufbau lokaler KI-Tools.

  2. KI-Tools ·

    Ihre lokale KI ist jetzt freigeschaltet

    Hören Sie auf, lokale LLM-Server zu jonglieren und VRAM zu verschwenden. Ein neues Tool namens Llama-swap bietet eine einzige, stabile API, um jedes benötigte Modell automatisch im laufenden Betrieb zu wechseln (hot-swap).

  3. Tutorials ·

    Dieser 12 Jahre alte PC kann denken

    Ein Jahrzehnte alter Computer mit nur 512 MB RAM betreibt ein lokales KI-Modell. Wir entschlüsseln die unmögliche technische Leistung, die moderne KI wirklich portabel macht.