'AI 말투'에는 측정 가능한 비용이 따른다
AI 챗봇은 종종 어딘가 어색한 문장을 생성합니다. 최근 NYU와 UT Austin 연구진은 14개의 주요 AI 모델이 출력한 문장에서 인간의 처리 노력을 증가시키는 문장 구조를 측정하여 이러한 직관을 수치화했습니다. 이 분석은 어디에나 존재하는 'AI 말투'에 측정 가능한 비용이 있음을 보여줍니다.
연구진은 오픈 소스 Python 라이브러리인 spaCy를 사용하여 다양한 AI 생성 텍스트의 문법적 의존성을 분석했습니다. 그들은 Claude Opus 5/5.5, GPT-5.6 제품군, GLM-5, Kimi K2.5, Llama, OLMo를 포함한 모델들의 대화, 에세이, 코딩 세션을 수집했습니다. 이를 통해 의존성 길이와 구조의 패턴을 식별할 수 있었습니다.
그 후, 특정 언어적 특징이 인간의 읽기 시간과 이해력에 어떤 영향을 미치는지 오랫동안 연구해 온 심리언어학자(psycholinguists)들의 연구 결과를 바탕으로 이러한 패턴을 평가했습니다. 이러한 특징은 다음과 같습니다:
- 명사 나열 (예: "독자 인내심 예산")
- 긴 통사적 의존성
- "that"과 같은 선택적 단어 생략
- 무생물 주어와 함께 사용된 생물형 동사
이 연구는 이러한 언어적 특징의 빈도를 세심하게 측정하지만, 그 중요성을 명확히 하는 것이 중요합니다. 이 분석은 더 느리거나 더 많은 노력이 필요한 읽기와 관련된 특성을 식별하는 것이지, 모든 독자가 모든 AI 생성 문장을 읽기 어려워한다는 것을 직접적으로 증명하는 것은 아닙니다. 연구 결과는 보편적인 이해 불가능성이 아니라 복잡성을 선호하는 체계적인 편향을 나타냅니다.
독자를 더 힘들게 만드는 6가지 작은 습관
심리언어학자들은 인간의 뇌를 더 힘들게 만드는 6가지 특정 패턴을 식별했습니다. AI 모델은 이를 불균형적으로 사용하여 독자가 "당신이 현재 읽고 있는 이 복잡한 문장은 조용히 자신의 독자 인내심 예산을 갉아먹고 있습니다"와 같은 문장을 해석하도록 강요합니다. 이 예시는 명사 나열("독자 인내심 예산")과 생물형 행동을 수행하는 무생물 주어("문장...갉아먹고 있다")를 결합한 것입니다.
다른 일반적인 패턴으로는 문법적으로 연결된 단어 사이의 긴 간격, 드문 단어 조합, 그리고 축약된 절(reduced clauses)—선택적인 "that"이 생략된 문장(예: "the book that the professor wrote" 대신 "the book the professor wrote")—이 있습니다. 명사를 동사로 바꾸는 명사 파생 동사(예: "calendar it") 또한 처리 노력을 증가시킵니다.
AI 모델이 이러한 덜 일반적인 표현을 선택했음을 확인하기 위해, 연구진은 Meta의 NLLB-200을 사용하여 일본어-영어 왕복 번역을 수행했습니다. 이 과정은 의미를 보존하면서 문장을 더 관습적인 구조로 다시 작성합니다. 번역 후 패턴이 사라졌다면, 원래의 AI 출력이 불필요하게 복잡했다는 것을 의미합니다.
거의 모든 최첨단 모델에서 이러한 어려운 패턴은 번역 후 사라졌으며, 이는 모델이 더 간단한 대안이 있음에도 불구하고 읽기 어려운 구조를 선호한다는 것을 증명합니다. Llama와 같은 소형 모델은 이러한 습관을 최소한으로 보였지만, OLMo 제품군은 학습 단계마다 더 강한 경향을 보였습니다.
눈에 띄는 곳에 숨겨진 학습 인센티브
이러한 AI "목소리"에 대한 제안된 메커니즘은 사후 학습(post-training) 인센티브를 가리킵니다. 수학, 코딩, 추론과 같은 작업에 대해 추가 학습을 거치는 모델들은 종종 정답에 대해서만 보상을 받으며, 설명의 가독성에는 거의 중점을 두지 않습니다. 또한, 엄격한 token budgets은 모델이 최소한의 단어 수로 최대의 정보를 전달하도록 학습함에 따라 의도치 않게 압축되고 밀도 높은 문구 사용을 선호하게 만들 수 있습니다.
연구원들은 이 가설을 직접 테스트했습니다. 그들은 GRPO를 사용하여 JSON 이벤트 설명을 영어 문장으로 변환하도록 Qwen 2.5 1.5B 파라미터 모델을 학습시켰으며, 추가 토큰마다 작은 페널티를 도입했습니다. 이러한 사소한 페널티조차도 모델이 일관되게 더 짧은 구성을 선택하도록 유도했으며, 일부 실행에서는 98% 이상의 확률로 선택적 "that"을 생략했습니다. 이러한 행동은 모델이 명시적으로 학습하지 않은 문장 유형에서도 나타났으며, 토큰 경제가 어떻게 통사적 선호도를 형성할 수 있는지 보여줍니다.
모델의 행동은 크게 달랐습니다. 연구 결과 Llama 출력물에서는 이러한 "밀도 높은" 경향이 거의 발견되지 않았습니다. 반면, OLMo 모델들은 학습 단계 전반에 걸쳐 점진적으로 더 밀도 높은 출력물을 보여주었으며, 추론 튜닝 버전에서 이러한 인지적으로 부담스러운 구조에 대한 가장 강한 선호도가 나타났습니다. 이러한 발견은 사후 학습 목표, 특히 명확성보다 간결함을 보상하는 목표가 AI 목소리 문제에 기여한다는 강력한 증거를 제공합니다. 연구 세부 사항에 대한 추가 읽기 자료는 Why is AI-generated language so hard to understand?를 참조하십시오.
이 글이 마음에 드셨나요? 매일 아침 이런 글을 메일로 받아보세요.
하루 한 통 · 두 번의 클릭으로 구독 취소 · 제3자 추적 없음
명확한 글쓰기는 연구소에서 보상할 수 있는 선택입니다
고무적인 점은 모델의 행동이 바뀔 수 있다는 것입니다. Claude Opus 5.5는 21개의 측정된 난이도 지표 중 19개에서 Opus 5보다 낮은 점수를 받았습니다. 이는 연구소들이 더 명확한 의사소통에 적극적으로 보상할 수 있으며, 복잡한 문체가 불변의 특성이 아님을 보여줍니다.
AI가 더 접근하기 쉬운 결과물을 내도록 유도하려면, 프롬프트 엔지니어링을 통해 명시적으로 plain English를 요청하고, 명사 나열을 줄이며, 도움이 될 경우 명시적 연결어를 사용하도록 해야 합니다. 문법적으로 연결된 단어(예: 주어와 동사) 사이의 거리를 짧게 유지하여 처리를 용이하게 하십시오.
중요한 점은 모델 학습 및 파인튜닝 과정에서 명확성이 사실적 정확성과 독립적으로 평가되어야 한다는 것입니다. 이는 가독성이 정확성보다 부차적인 문제가 되지 않도록 보장하며, NYU 및 UT Austin 연구원들이 강조하듯 "독자의 인내심 예산(reader-patience budget)" 문제를 방지할 수 있습니다.
코드 리뷰, 의학적 진단, 재무 보고서와 같은 고위험 환경에서 밀도 높은 AI 생성 텍스트는 인간 검토자에게 과도한 부담을 줍니다. 명확성에 초점을 맞춘 별도의 재작성 과정을 통해 이를 완화할 수 있지만, 항상 의미가 보존되고 정확성이 재검증되도록 해야 합니다. 명확한 글쓰기는 우연이 아니라 설계의 선택입니다.
자주 묻는 질문
AI 모델은 왜 읽기 어려운 문장을 생성하나요?
연구에 따르면 사후 학습 인센티브가 명확성에 대한 적절한 보상 없이 간결하고 정보 밀도가 높은 답변에 보상을 줄 수 있다고 합니다.
어떤 문장 패턴이 AI 글쓰기를 읽기 어렵게 만드나요?
명사 나열, 관련 단어 사이의 긴 간격, 비정상적인 단어 조합, 생략된 연결어, 무생물 주어가 생물처럼 행동하는 문장 등이 예입니다.
모든 AI 모델이 이런 방식으로 글을 쓴다는 것이 연구로 증명되었나요?
아니요. 연구원들은 모델, 작업, 학습 단계 전반에 걸쳐 차이를 발견했습니다. 테스트된 일부 모델은 다른 모델보다 이러한 경향이 약하게 나타났습니다.
팀은 어떻게 AI 글쓰기를 더 명확하게 만들 수 있나요?
쉬운 언어를 사용하도록 프롬프트하고, 모델에게 관련 단어를 가깝게 유지하도록 요청하며, 가독성에 초점을 맞춘 별도의 편집 과정을 거치십시오.