Tag
9 статей
AMD только что приобрела AI-чип, который в 48 раз быстрее лучшего решения от NVIDIA, но у него есть фатальный недостаток. Эта ставка на неизменяемый, не подлежащий обновлению кремний может либо переопределить рынок AI-оборудования, либо стать самым дорогим пресс-папье в индустрии.
Запуск передовых ИИ-моделей с сотнями миллиардов параметров раньше был фантастикой для всех, у кого нет собственного дата-центра. Но новый движок с открытым исходным кодом меняет правила игры: он не требует больше VRAM, а использует её как CPU-кэш.
ИИ достигает скоростей, которые раньше казались невозможными, но есть подвох: ваше оборудование к этому не готово. Скрытое «узкое место» — это не сама модель ИИ, а машина, стоящая у вас на столе.
OpenAI только что представила свой первый кастомный ИИ-чип, разработанный с помощью собственных моделей. Этот шаг знаменует собой масштабный сдвиг сил, превращая ИИ-лаборатории в новых гигантов аппаратного обеспечения.
Компании незаметно тратят миллионы на скрытые расходы на AI. Простая стратегия под названием «маршрутизация моделей» (model routing) сокращает счета более чем на 40% без потери качества.
OpenAI только что представила свой первый специализированный чип для ИИ, Jalapeño, в смелом шаге, чтобы вырваться из-под контроля Nvidia. Этот специализированный процессор создан для одного: сделать вывод ИИ невероятно быстрым и дешевым, потенциально устраняя задержки, которые вы ненавидите в ChatGPT.
Память вашего LLM — это бомба замедленного действия, которая убивает производительность и раздувает затраты. Новая техника под названием Speculative KV Coding может уменьшить ее в 4 раза без потери качества.
Xiaomi только что запустила модель ИИ, которая генерирует более 1000 токенов в секунду на стандартных GPU, превосходя GPT-4. Этот прорыв в 'model-system codesign' может фундаментально изменить приложения ИИ реального времени.
NVIDIA только что потратила 20 миллиардов долларов на своего крупнейшего конкурента, но это была не традиционная приобретение. Вот внутренняя история сделки, которая переопределяет будущее скорости ИИ и почему Дженсен Хуанг играет в шахматы, пока другие играют в шашки.
