Grok 4.5: Блестящий кодер или Обманщик бенчмарков?

Grok 4.5 вышел, появившись с потоком сенсационных заявлений, которые только что потрясли сообщество ИИ. Эта новая модель, как сообщается, показывает результаты, которые превосходят конкурентов высшего уровня, таких как Opus 4.8 Max, в специализированных бенчмарках по разработке программного обеспечения, таких как DeepSWE. Ее производительность на DeepSWE 1.0, например, указывает на интеллект передового уровня для задач программного обеспечения и инженерии, что делает эти заявления особенно значимыми.

Особо следует отметить производительность Grok 4.5 на Terminal-Bench, ключевом тесте, оценивающем способность ИИ работать с реальным интерфейсом командной строки, как опытный DevOps-инженер. В отличие от статического редактирования кода, этот бенчмарк требует от ИИ использования реальной оболочки для выполнения задач. Grok 4.5, как сообщается, соответствует уровню возможностей 'GPT 5.5' здесь, демонстрируя впечатляющее практическое мастерство с результатом 83.3% на Terminal-Bench 2.1, значительно превосходя Opus 4.8 Max.

Помимо чистого кодирования, Grok 4.5 также показывает впечатляющие 29% на GDPVal benchmark. Этот бенчмарк оценивает реальную профессиональную работу, где Grok 4.5 опережает как GPT-5.5 (22%), так и Opus 4.8 (21%). Эти результаты предполагают высокий потенциал для практического применения в профессиональных условиях, а не только в академических бенчмарках. Заявленная эффективность модели и более низкая стоимость еще больше привлекают пользователей.

Цена Grok 4.5, пожалуй, является ее самой прорывной особенностью, которая только что потрясла сообщество ИИ. Всего за $2 за вход и $6 за выход на миллион токенов она значительно превосходит конкурентов, предлагающих аналогичную производительность передового уровня, часто в пять-десять раз. Например, модели, достигающие сопоставимой 80% производительности в бенчмарках, таких как Terminal-Bench, могут стоить $5 за вход и $30 за выход на миллион токенов.

Эта агрессивная ценовая стратегия уникально позиционирует Grok 4.5 в индексе «Интеллект против стоимости». Модель находится прямо в «наиболее привлекательном» квадранте, обещая максимальную отдачу за ваши деньги. Это означает, что вы получаете высококлассный интеллект без премиальной стоимости, что является значительной победой как для разработчиков, так и для бизнеса.

Помимо стоимости, Grok 4.5 приоритизирует скорость и эффективность. Модель работает со скоростью 80 токенов в секунду (TPS) и может похвастаться до четырех раз большей эффективностью токенов, чем у ведущих моделей, таких как Opus 4.8. Это напрямую приводит к меньшим вычислительным затратам и более быстрым результатам при решении сложных задач по разработке программного обеспечения, повышая производительность и снижая эксплуатационные расходы.

Кажущаяся безупречной производительность Grok 4.5 на Cursor Bench, бенчмарке, разработанном для тестирования моделей ИИ на сложных, реальных задачах с кодовой базой, сразу же вызвала серьезные опасения. Хотя ее результаты были феноменальными, предполагая скачок в практических навыках кодирования, этот конкретный бенчмарк теперь выглядит меньше как истинная мера навыков и больше как потенциальная подстава.

Критическая проблема возникла из мелкого шрифта, сопровождающего запуск Grok 4.5: ранний снимок кодовой базы Cursor был «случайно включен в обучение» для модели. Это значительное загрязнение данных означает, что Grok 4.5, вероятно, не решила задачи, представленные бенчмарком; она могла просто запомнить ответы, эффективно аннулируя весь тест. Вы не можете утверждать, что модель блестящая, если она просто воспроизводит ранее виденные решения.

Эта проблема значительно усугубляется вопиющим конфликтом интересов. SpaceXAI, разработчик Grok 4.5, недавно приобрела Cursor, ту самую компанию, которая разработала и опубликовала этот весьма благоприятный бенчмарк. Выпуск скомпрометированного результата, который выставляет их собственную модель в таком позитивном свете, даже с тихим отказом от ответственности, вызывает серьезные вопросы о прозрачности и общей надежности их громких заявлений. Для получения дополнительной информации о заявленных возможностях и бенчмарках Grok 4.5 вы можете ознакомиться с Introducing Grok 4.5 | SpaceXAI.

Хотя некоторые бенчмарки вызывают вопросы, Grok 4.5 занял уверенное первое место в Harvey's Legal Agent Benchmark. Этот конкретный тест оценивает способность ИИ справляться с практической юридической работой, что указывает на реальные перспективы для специализированных профессиональных приложений. Это сильный показатель того, что Grok 4.5 — не просто «одноразовый пони» в кодировании.

Однако эти блестящие лабораторные результаты резко контрастируют с ранним пользовательским опытом. Разработчики в социальных сетях делятся отзывами о реальной производительности кодирования Grok 4.5, часто называя ее «не впечатляющей» или даже «мусором». Это резкое расхождение между контролируемыми тестами и повседневной полезностью является серьезной проблемой для всех, кто рассматривает возможность интеграции.

Окончательный вердикт остается неуловимым. Grok 4.5, несомненно, является мощным, экономически эффективным инструментом, предлагая тарифы, такие как $2 за ввод и $6 за вывод на миллион токенов, что значительно дешевле, чем у конкурентов. Но вы должны сопоставить эти впечатляющие, хотя иногда и ошибочные, результаты бенчмарков с растущим хором реальных отчетов. Опережает ли хайп реальность, или Grok 4.5 действительно соответствует вашим конкретным потребностям? Это вопрос, на который вам нужно ответить, прежде чем вкладывать свои деньги.

Что такое Grok 4.5?

Grok 4.5 — это новая большая языковая модель от SpaceXAI, разработанная для обеспечения высокоуровневого интеллекта «пограничного уровня» для разработки программного обеспечения и реальных задач при значительно более низкой стоимости и более высокой скорости, чем у конкурентов.

Сколько стоит Grok 4.5?

Grok 4.5 имеет очень конкурентоспособную цену: примерно $2 за ввод и $6 за вывод на миллион токенов, что значительно дешевле, чем у сопоставимых моделей, таких как Claude Fable 5 или Opus 4.8.

В чем суть спора вокруг Grok 4.5 Cursor Bench?

Спор возник из-за признания того, что ранняя версия кодовой базы Cursor, используемая для ключевого бенчмарка кодирования, была «случайно включена» в обучающие данные Grok 4.5. Это загрязняет результаты, делая неясным, насколько ее впечатляющая производительность в этом конкретном бенчмарке является подлинной способностью, а не запоминанием.

Подходит ли Grok 4.5 для кодирования?

Grok 4.5 демонстрирует исключительную производительность в нескольких бенчмарках кодирования, таких как DeepSWE и Terminal Bench. Однако спорные результаты Cursor Bench и смешанные ранние отзывы пользователей предполагают, что, хотя он и мощный, его реальные возможности кодирования могут быть более нюансированными, чем показывают заголовки.