Почему ИИ пишет так, будто пытается вас запутать

Чат-боты с ИИ часто создают прозу, которая кажется... странной. Недавнее исследование ученых из NYU и UT Austin количественно подтвердило эту интуицию, измерив структуры предложений, связанные с повышенными усилиями человека при обработке текстов, созданных 14 известными моделями ИИ. Этот анализ выявляет измеримую цену вездесущего «голоса ИИ».

Исследователи использовали spaCy, библиотеку Python с открытым исходным кодом, для анализа грамматических зависимостей в различных текстах, созданных ИИ. Они собрали диалоги, эссе и сессии программирования от таких моделей, как Claude Opus 5/5.5, семейство GPT-5.6, GLM-5, Kimi K2.5, Llama и OLMo. Это позволило им выявить закономерности в длине и структуре зависимостей.

Затем они оценили эти закономерности в сравнении с выводами психолингвистов, которые давно изучают, как определенные лингвистические особенности влияют на время чтения и понимание человеком. Эти особенности включают:

• Нагромождение существительных (например, «бюджет терпения читателя»)
• Длинные синтаксические зависимости
• Пропуск необязательных слов, таких как «that» (что)
• Одушевленные глаголы с неодушевленными подлежащими

Хотя исследование тщательно измеряет распространенность этих лингвистических особенностей, важно прояснить ставки. Анализ выявляет характеристики, связанные с более медленным или более трудоемким чтением; он не доказывает напрямую, что каждый читатель испытывает трудности с каждым предложением, созданным ИИ. Полученные данные указывают на систематическую предвзятость в сторону сложности, а не на всеобщее непонимание.

Психолингвисты выявили шесть специфических паттернов, которые заставляют человеческий мозг работать интенсивнее. Модели ИИ непропорционально часто используют их, заставляя читателей разбирать предложения вроде: «Запутанное предложение, которое вы сейчас читаете, тихо съедает свой бюджет терпения читателя». Этот пример сочетает в себе нагромождение существительных («бюджет терпения читателя») с неодушевленным подлежащим, выполняющим одушевленное действие («предложение... съедает»).

Другие распространенные паттерны включают большие разрывы между грамматически связанными словами, редкие сочетания слов и сокращенные придаточные предложения — предложения, в которых опускается необязательное «that» (например, «the book the professor wrote» вместо «the book that the professor wrote»). Деноминальные глаголы, которые превращают существительные в глаголы (например, «calendar it» — «запланируй это в календаре»), также увеличивают усилия при обработке.

Чтобы подтвердить, что модели ИИ выбирали эти менее распространенные формулировки, исследователи выполнили двусторонний перевод с японского на английский с использованием NLLB-200 от Meta. Этот процесс сохраняет смысл, но переписывает предложения в более общепринятые структуры. Если паттерн исчезал после перевода, это указывало на то, что исходный вывод ИИ был излишне запутанным.

Почти для каждой передовой модели эти сложные паттерны исчезали после перевода, доказывая, что модели тяготеют к более трудным для чтения конструкциям, даже когда доступны более простые альтернативы. Меньшие модели, такие как Llama, показали минимальное использование этих привычек, но семейство OLMo демонстрировало более сильную тенденцию на каждом этапе обучения.

Предлагаемые механизмы формирования этого ИИ-«голоса» указывают на стимулы, возникающие после этапа обучения. Модели, проходящие дополнительное обучение таким задачам, как математика, программирование и логические рассуждения, часто получают вознаграждение исключительно за правильные ответы, при этом читабельности объяснений уделяется мало внимания. Кроме того, строгие token budgets могут непреднамеренно способствовать использованию сжатых, плотных формулировок, поскольку модели учатся передавать максимум информации с минимальным количеством слов.

Исследователи напрямую проверили эту гипотезу. Они обучили модель Qwen 2.5 1.5B с использованием GRPO для преобразования описаний событий в формате JSON в английские предложения, вводя небольшой штраф за каждый лишний токен. Даже этот незначительный штраф побудил модель последовательно выбирать более короткие конструкции, часто опуская необязательное слово «that» более чем в 98% случаев в некоторых запусках. Такое поведение проявлялось даже в типах предложений, на которых модель специально не обучалась, что демонстрирует, как экономия токенов может формировать синтаксические предпочтения.

Поведение моделей значительно различалось. Исследование выявило мало признаков этой «плотности» в результатах работы Llama. Напротив, модели OLMo демонстрировали все более плотные выходные данные на разных этапах обучения, причем версия, настроенная на логические рассуждения, проявляла наиболее сильное предпочтение к этим когнитивно сложным структурам. Эти результаты являются веским доказательством того, что цели пост-обучения, особенно те, которые вознаграждают краткость в ущерб ясности, способствуют проблеме «голоса ИИ». Для более подробного ознакомления с исследованием см. Why is AI-generated language so hard to understand?.

Обнадеживает то, что поведение моделей может меняться: Claude Opus 5.5 показал более низкие баллы, чем Opus 5, по 19 из 21 измеренного показателя сложности. Это говорит о том, что лаборатории могут активно поощрять более ясную коммуникацию, доказывая, что запутанная проза не является неизменной чертой.

Чтобы направить ИИ к более доступным текстам, в промпт-инжиниринге следует явно запрашивать plain English, меньше нагромождений существительных и использование явных связующих слов там, где это уместно. Приоритетом должно быть сокращение расстояния между грамматически связанными словами, такими как подлежащие и сказуемые, для облегчения восприятия.

Критически важно, чтобы ясность оценивалась независимо от фактической точности во время обучения и дообучения модели. Это гарантирует, что читабельность не станет второстепенной задачей по сравнению с точностью, что, как подчеркивают исследователи из NYU и UT Austin, может привести к проблеме «бюджета терпения читателя».

В условиях высокой ответственности — например, при проверке кода, постановке медицинских диагнозов или составлении финансовых отчетов — плотный текст, созданный ИИ, ложится чрезмерным бременем на проверяющих-людей. Специальный этап переписывания текста с акцентом на ясность может смягчить это, но всегда следите за тем, чтобы смысл сохранялся, а точность перепроверялась. Ясное письмо — это дизайнерское решение, а не случайность.

Почему модели ИИ создают трудночитаемые предложения?

Исследование предполагает, что стимулы после обучения могут вознаграждать краткие, информационно насыщенные ответы, не уделяя должного внимания ясности.

Какие структуры предложений затрудняют чтение текстов ИИ?

Примеры включают нагромождение существительных, большие разрывы между связанными словами, необычные сочетания слов, пропущенные связующие слова и неодушевленные подлежащие, выполняющие действия одушевленных предметов.

Доказало ли исследование, что каждая модель ИИ пишет таким образом?

Нет. Исследователи обнаружили различия между моделями, задачами и этапами обучения; некоторые протестированные модели демонстрировали более слабые тенденции, чем другие.

Как команды могут сделать тексты ИИ более ясными?

Используйте промпты для простого языка, просите модели держать связанные слова рядом и используйте отдельный этап редактирования, сфокусированный на читабельности.