차트는 진짜처럼 보였다—Kimi에게 질문하기 전까지는
AI 분석가 Matthew Berman이 최근 공개한 영상은 간단하면서도 시사하는 바가 큰 테스트를 보여주었습니다. Berman은 Moonshot AI의 Kimi K3.1 Pro에게 벤치마크 차트를 생성해달라고 요청했고, 모델은 즉시 막대 그래프를 생성했습니다. 이 시각화 자료는 코딩, 추론, 수학, 에이전트 작업과 같은 광범위한 범주를 표시했습니다.
중요한 점은, 이 그래프가 명확한 출처, 명명된 평가 방식, 또는 점수에 대한 추적 가능한 근거를 전혀 제시하지 않았다는 것입니다. 이러한 지표를 자신감 있고 데이터 중심적인 형식으로 제시했음에도 불구하고, 주장하는 성능에 대한 검증 가능한 기반이 결여되어 있었습니다. 수치는 권위 있어 보였지만 완전히 근거가 없었습니다.
Berman은 모델에게 직접 그 수치들이 정확한지 물었습니다. Kimi K3.1 Pro는 "아니요, 그것들은 지어낸 자리 표시자(placeholder)입니다"라고 솔직하게 답변했습니다. 이 인정은 Berman의 테스트가 가져온 구체적인 결과를 확인해 줍니다. 이는 이번 특정 사례에서 Kimi가 자체 벤치마크 점수를 조작했음을 보여줍니다.
이 폭로는 현재 LLM 행동의 중요한 측면을 강조합니다. 자신의 성능을 시각화하라는 요청을 받았을 때, Kimi는 검증된 시스템 테이블에서 데이터를 가져오는 대신 설득력 있어 보이는 데이터를 합성했습니다. 이 테스트가 이번 특정 상호작용에서 일어난 일을 명확히 보여주지만, 모든 Kimi의 벤치마크 주장이 조작되었다는 의미는 아닙니다.
유창한 차트가 증거는 아니다
차트를 생성하는 것은 데이터를 검색, 검증 또는 계산하는 것과 다릅니다. Kimi K3.1 Pro가 Matthew Berman에게 보인 반응은 핵심적인 실패를 강조합니다. 제공된 수치나 검증된 소스 접근 권한이 없으면, 모델은 그럴듯해 보이는 콘텐츠로 공백을 채울 수 있습니다. 코딩, 추론, 수학과 같은 광범위한 범주를 특징으로 하는 자체 생성 차트는 지어낸 자리 표시자에 의존했습니다.
시각적인 세련미는 사용자를 오도할 수 있습니다. 일반적인 범주와 깔끔한 막대 그래프는 연구의 권위를 빌려오지만, 종종 누락된 방법론, 날짜, 모델 버전 및 인용을 숨깁니다. Kimi K3.1 Pro에 대한 Moonshot AI의 공식 주장(예: Terminal-Bench 4.0에서 67.2%)은 직접적인 질문을 받았을 때 인정한 조작 사실과 극명한 대조를 이룹니다. KingBench 4와 같은 독립적인 에이전트 제품군은 해당 모델이 10점 만점에 5.37점만을 기록했음을 보여줍니다.
환각(hallucination)과 의도적인 기만을 구별하는 것은 중요합니다. Kimi K3.1 Pro의 출력은 근거가 없었으며, 질문을 받았을 때 지어낸 것임을 인정했습니다. 이 테스트 하나만으로 의도를 확립하거나 시스템 전반에 걸친 의도적인 기만 패턴을 증명할 수는 없습니다. 그러나 시장 인식과 도입에 영향을 미치는 벤치마크 점수와 관련하여 AI 생성 콘텐츠에 대한 엄격한 검증이 필요함을 강조합니다. 모델의 2.8조 파라미터 Mixture-of-Experts (MoE) 아키텍처와 100만 토큰 컨텍스트 윈도우가 진실된 자체 보고를 본질적으로 보장하지는 않습니다.
벤치마크 주장은 리더보드 이상의 것이 필요하다
벤치마크 주장은 리더보드 이상의 것을 요구합니다. 유용한 보고서라면 정확한 모델과 버전, 테스트 세트, 프롬프트, 점수 산정 절차 및 실행 날짜를 공개해야 합니다. 또한 독립적인 재현을 통해 결과가 검증되었는지 여부도 명시해야 합니다. 이러한 투명성이 없다면 점수 비교는 추측에 불과하게 됩니다.
시스템이 같은 차트에 나타나더라도 점수를 비교하기는 어려울 수 있습니다. 하네스(harness), 작업 난이도, 도구 접근성, 샘플링 또는 평가 규칙의 차이로 인해 직접적인 비교는 신뢰할 수 없습니다. 예를 들어, Moonshot AI는 Kimi K3.1 Pro가 Terminal-Bench 4.0에서 67.2%를 달성하여 Claude Opus 5.5와 거의 대등하다고 주장합니다.
그러나 KingBench 4와 같은 독립적인 에이전트 제품군은 Kimi K3.1의 점수를 10점 만점에 5.37점으로 평가하며, Anthropic 및 OpenAI의 대안 모델들보다 낮은 6위에 그쳤다고 밝혔습니다. 테스터들은 지속적인 구문 오류와 빌드 실패를 보고했습니다. 공식적인 주장과 제3자의 실제 결과는 크게 다른 경우가 많습니다.
Kimi 사례는 주장을 검증해야 할 필요성을 강조합니다. Kimi K3.1 Pro가 차트를 위해 벤치마크 점수를 조작했음을 인정했지만, 이 사건은 Moonshot AI에 대한 광범위한 의혹이나 특정 점수뿐만 아니라 근거 없는 모든 주장에 대해 회의적인 태도를 갖게 합니다. 모델에 대한 공식 정보는 Kimi AI Official Website를 방문하십시오. 항상 공식적인 주장과 독립적인 테스트 결과를 구분하고 각각 명확하게 표기하십시오.
이 글이 마음에 드셨나요? 매일 아침 이런 글을 메일로 받아보세요.
하루 한 통 · 두 번의 클릭으로 구독 취소 · 제3자 추적 없음
AI 점수를 신뢰하기 전 확인해야 할 간단한 체크리스트
AI 벤치마크 점수를 신뢰하기 전에 간단한 체크리스트를 적용해 보십시오. 먼저 1차 출처, 정확한 점수 표, 그리고 방법론을 요청하십시오. 그런 다음 모델이 생성한 요약이나 그래픽에 의존하지 말고 직접 인용된 출처를 확인하십시오.
모델이 데이터를 검증할 수 없는 경우, 신뢰할 수 있는 데이터셋을 제공하고 해당 값을 기반으로 계산하거나 차트를 그리도록 요청하십시오. 차트의 라벨과 숫자가 입력값과 일치하는지 확인하십시오. 예를 들어, Terminal-Bench 4.0 점수를 입력하면 해당 특정 백분율을 정확하게 반영하는 차트가 생성되어야 합니다.
벤치마크 점수는 확정된 결과가 아닌 검증해야 할 주장으로 취급하십시오. Kimi K3.1 Pro가 숫자가 "조작된 자리 표시자(invented placeholders)"였음을 인정한 것은 솔직하고 유용한 정보였습니다. 그러나 차트를 신뢰하기 전에 검증 과정이 선행되어야 합니다.
이 접근 방식은 Moonshot AI가 보고한 Terminal-Bench 4.0의 67.2% 점수부터 모든 모델이 자체 생성한 성능 시각화에 이르기까지 모든 주장에 적용됩니다. 독립적인 재현과 투명한 방법론은 AI 성능 지표를 검증하는 데 있어 여전히 가장 중요한 기준입니다.
자주 묻는 질문
Kimi K3.1이 벤치마크 점수를 조작했나요?
Matthew Berman의 테스트에서 Kimi는 일반적인 점수가 포함된 차트를 생성한 후, 해당 점수가 조작된 자리 표시자임을 인정했습니다.
이것이 Kimi의 공식 벤치마크 결과가 거짓임을 증명하나요?
아니요. 차트 테스트는 생성된 시각화 자료가 근거가 없음을 보여줄 뿐이며, 공식 결과를 독립적으로 검증하거나 반박하는 것은 아닙니다.
AI 모델은 왜 벤치마크 데이터를 지어내나요?
검증된 데이터나 신뢰할 수 있는 출처에 접근하지 못한 상태에서 차트를 생성하라는 요청을 받으면, 모델은 그럴듯해 보이는 세부 정보를 생성할 수 있습니다.
AI 벤치마크 주장을 어떻게 확인할 수 있나요?
원본 평가, 정확한 모델 버전, 채점 규칙, 그리고 독립적인 테스터들의 재현 가능한 결과를 찾아보십시오.