Tag
7 статей
Крошечная локальная модель может сделать ИИ-агентов практичными на обычном оборудовании, но ее громкий успех скрывает серьезный компромисс в возможностях. Бенчмарки ставят более сложный вопрос: какими навыками вы готовы пожертвовать?
Заявленная скорость работы зависит от аппаратного обеспечения, а показатели точности меняются при появлении фонового шума. Однако самый важный нюанс скрыт в команде установки: веса модели могут быть открытыми, но движок — нет.
Крошечная модель с 2 миллиардами параметров превосходит гигантов в два раза больше себя в сложных задачах по программированию, открывая новую эру для локальных AI-агентов. Но в ее собственной документации скрыта одна настройка, которая может сделать ее совершенно бесполезной.
Революционная модель ИИ была уменьшена настолько, что теперь может работать на настольном компьютере. Однако скрытое требование к «железу» делает это несбыточной мечтой почти для всех, и дело вовсе не в том, о чем вы подумали.
Unsloth только что сжал модель ИИ размером 1,51 ТБ до поразительных 238 ГБ, сохранив при этом более 80% ее мощности. Этот прорыв означает, что теперь вы можете запускать передовой кодирующий агент прямо на своем Mac, навсегда обходя API.
Xiaomi только что запустила модель ИИ, которая генерирует более 1000 токенов в секунду на стандартных GPU, превосходя GPT-4. Этот прорыв в 'model-system codesign' может фундаментально изменить приложения ИИ реального времени.
Google выпустил настолько эффективный ИИ-алгоритм, что он обрушил цены на память за одну ночь. Но настоящая история в том, почему это «исправление» только усугубит кризис RAM.
