Skip to content

llama.cpp

3 статей · Обновлено · Llama.cpp в каталоге →

  1. Инструменты ИИ ·

    Заявление Magnitude о двукратном увеличении скорости имеет свои нюансы

    Почти двукратный прирост в бенчмарках звучит как прорыв — до тех пор, пока вы не посмотрите, что именно измерялось, на каком Mac и в сравнении с какой конфигурацией. Главная новость здесь, возможно, не в универсальном увеличении скорости, а в новом подходе к созданию локальных инструментов ИИ.

  2. Инструменты ИИ ·

    Ваш локальный ИИ теперь разблокирован

    Прекратите жонглировать локальными серверами LLM и тратить VRAM впустую. Новый инструмент под названием Llama-swap предлагает единый, стабильный API для автоматической горячей замены любой нужной вам модели.

  3. Руководства ·

    Этот 12-летний ПК может думать

    Компьютер десятилетней давности с всего 512 МБ оперативной памяти запускает локальную модель ИИ. Мы разбираем невероятный инженерный подвиг, который делает современный ИИ по-настоящему портативным.