큐브조차 보지 못하는 벤치마크 슬레이어
DeepSeek V4.1 flash는 2026년 9월 10일, 552B 백본과 무려 1M 토큰의 컨텍스트 윈도우를 자랑하는 멀티모달 Mixture-of-Experts (MoE) 모델로 등장했습니다. 입력 시 8B, 출력 시 16B의 활성 파라미터를 갖춘 이 MIT 라이선스 모델은 캐시된 입력 토큰 100만 개당 0.003달러라는 경쟁력 있는 가격으로 단순한 신규 진입자가 아니었습니다. 이 모델은 OpenAI의 GPT-5.6 Sol과 Anthropic의 Claude Opus-5.0을 주요 에이전트 벤치마크에서 능가하며 에이전트 코딩, 추론, 시각적 이해의 정의를 다시 쓰겠다고 선언했습니다.
그때 Matthew Berman이 시뮬레이션된 루빅스 큐브와 Codex 하네스를 들고 나타났습니다. 그의 바이럴 테스트는 DeepSeek V4.1 flash의 화려한 시각 및 공간 추론 능력을 검증하기 위한 것이었습니다. 과제는 간단했습니다. "네이티브 이미지 이해"와 뛰어난 지능을 주장하는 모델에게 큐브를 맞추게 하는 것이었으며, 이는 매우 중요한 의미를 지녔습니다.
펼쳐진 것은 고도화된 AI의 모습이 아니라 장엄한 붕괴였습니다. DeepSeek V4.1 flash는 루빅스 큐브를 맞추지 못했을 뿐만 아니라, 큐브의 본질조차 파악하지 못했습니다. Berman의 영상에서 각 사각형은 전체와 연결되지 않은 채 독립적으로 떠다녔고, 물리적 움직임 없이 색상이 설명할 수 없이 변했습니다. 이 모델은 현실이 변하는 '속임수' 같은 상황에서도 완전히 당황하며, 고체 물체나 그 고유의 공간적 관계를 인식하지 못했습니다.
'시각적 이해'만으로는 충분하지 않을 때
"네이티브 이미지 이해"와 1M 토큰 컨텍스트로 과대광고되었던 DeepSeek V4.1 flash가 간단한 루빅스 큐브 앞에서 처참하게 무너졌습니다. Matthew Berman의 "DeepSeek, 루빅스 큐브 테스트 실패" 영상은 치명적인 단절을 적나라하게 드러냈습니다. 모델이 역동적인 3D 물체를 파악하지 못한다는 것입니다. 이는 단순한 버그가 아니라, 자랑하던 시각적 능력의 근본적인 결함입니다.
Codex 하네스에서 실행된 V4.1 flash 모델은 큐브를 완전히 잘못 묘사했습니다. 사각형들은 연결되지 않고 "독립적으로 떠다녔으며", 물리적 회전 없이 면의 색상이 바뀌었습니다. 시스템은 색상을 직접 변경하는 방식으로 "속임수"를 썼음에도 불구하고 퍼즐을 풀지 못했으며, 일관되고 지속적인 공간 모델을 유지할 능력이 전혀 없음을 보여주었습니다.
"이것은 큐브다"와 같이 정적인 물체를 인식하는 것과 역동적인 환경에서 그 물체의 물리적 성질을 조작하는 것은 완전히 다른 인지 구조를 요구합니다. 이는 관계, 중력, 움직임에 대한 지속적인 내부 표현을 필요로 합니다. DeepSeek V4.1 flash의 성능은 이러한 중요한 3D 추론 능력이 부족하여 복잡한 상호작용을 단절된 시각적 이벤트로 축소하고 있음을 시사합니다.
이는 DeepSeek에게만 나타나는 이상 현상이 아닙니다. 이전 버전들도 다른 테스트에서 복잡한 공간 렌더링과 정밀한 축 이동에 어려움을 겪었습니다. 루빅스 큐브 실패는 반복되는 아킬레스건을 강조하며, DeepSeek의 인상적인 벤치마크 점수가 물리적 공간에 대한 근본적인 이해의 깊은 미해결 문제를 가리고 있을 가능성을 시사합니다.
루빅스 큐브: AI의 진실을 밝히는 시금석
루빅스 큐브는 오랫동안 AI의 궁극적인 시금석 역할을 해왔으며, 깊은 지능을 요구하는 겉보기엔 단순한 도전 과제입니다. 예를 들어, Google DeepMind의 DeepCubeA는 2019년에 평균 20번의 움직임으로 큐브를 풀어내며 특화된 AI가 이 과제를 마스터할 수 있음을 입증했습니다. 이는 AI에게 새로운 문제가 아니라, 이미 해결된 문제입니다.
단순한 퍼즐 해결을 넘어, 이 큐브는 모델의 다음과 같은 능력을 엄격하게 측정합니다:
- 공간 추론: 3D 객체 조작에 대한 이해.
- 상태 유지: 끊임없이 변화하는 큐브의 구성을 추적.
- 논리적 계획: 다단계 솔루션 전략 수립.
이는 단순히 픽셀이나 패턴을 인식하는 것이 아니라, 객체의 물리적 규칙을 내면화할 것을 요구합니다.
1M 컨텍스트를 자랑하며 에이전트 벤치마크에서 OpenAI의 GPT-5.6 Sol 및 Anthropic의 Claude Opus-5.0을 상대로 경쟁 우위를 점했던 DeepSeek V4.1 flash 모델이 이 기본적인 검증에서 무너졌습니다. 정사각형이 독립적으로 떠다니고 움직임 없이 색상이 변하는 등 관찰된 실패 사례는 이 모델의 "네이티브 이미지 이해"에 심각한 단절이 있음을 보여줍니다. 루빅스 큐브는 가혹한 진실의 척도로서, 벤치마크의 허세를 걷어내고 모델이 물리적 세계를 얼마나 진정으로 파악하고 있는지 드러냅니다. 고급 모델에 대한 자세한 내용은 DeepSeek | Into the Unknown을 참조하세요.
이 글이 마음에 드셨나요? 매일 아침 이런 글을 메일로 받아보세요.
하루 한 통 · 두 번의 클릭으로 구독 취소 · 제3자 추적 없음
벤치마크를 넘어: 물리적 기반(Physical Grounding)을 향한 탐구
DeepSWE v1.1이나 CyberGym과 같은 고급 에이전트 벤치마크조차도 종종 치명적인 사각지대를 놓치곤 합니다. DeepSeek V4.1 flash는 이러한 벤치마크에서 GPT-5.6 Sol과 Claude Opus-5.0을 능가한다고 보고되었으나, 시뮬레이션된 루빅스 큐브 테스트에는 실패했습니다. 이는 추상적인 작업 수행 능력과 근본적인 물리적 현실 사이의 심각한 단절을 보여줍니다. 모델 내의 정사각형들은 독립적으로 떠다녔고 움직임 없이 색상이 바뀌었는데, 이는 단순히 해결 실패가 아닌 물리 법칙에 대한 명백한 환각 증상입니다.
이는 물리적 기반(physical grounding)이라는 거대한 과제를 강조합니다. 모델이 방대한 추상적 지식과 "네이티브 이미지 이해" 능력을 갖추고 있더라도, 3D 공간 내의 인과관계에 대한 일관된 내부 모델이 없다면 그 지능은 취약할 수밖에 없습니다. DeepSeek V4.1 flash는 1M 토큰 컨텍스트와 멀티모달 기능을 갖추고 있음에도 불구하고, 시각적 입력을 단순한 객체의 구체적이고 지속적인 규칙과 연결하지 못했습니다.
AI가 텍스트와 정적 이미지를 넘어 로봇 공학, 복잡한 시뮬레이션, 실제 에이전트 작업으로 진정으로 발전하려면 이 격차를 해소해야 합니다. 모델은 단순히 픽셀을 피상적으로 해석하는 것이 아니라, 자신이 거주하는 물리적 세계에 대한 강력하고 지속적인 이해를 필요로 합니다. 그때까지는 벤치마크를 정복한 모델이라 할지라도 우리 우주의 가장 단순한 진리 앞에 직면하면 계속해서 무너질 것입니다.
자주 묻는 질문
영상에서 테스트된 모델은 무엇인가요?
이 영상은 OpenAI의 Codex harness를 사용하여 2026년 9월에 출시된 강력한 멀티모달 Mixture-of-Experts (MoE) 모델인 DeepSeek V4.1 Flash 모델을 테스트합니다.
DeepSeek 모델이 루빅스 큐브 테스트에 실패한 이유는 무엇인가요?
이 모델은 루빅스 큐브의 일관된 3D 모델을 유지하지 못했기 때문에 실패했습니다. 정사각형이 독립적으로 떠다니고 움직임 없이 색상이 변하는 현상은 공간 및 물리적 이해가 근본적으로 부족함을 나타냅니다.
AI가 루빅스 큐브를 해결한 사례가 있나요?
네. 2019년 UC Irvine의 DeepCubeA라는 심층 강화 학습 AI는 1초도 안 되는 시간에 큐브를 해결할 수 있었습니다. 이는 특화된 AI와 대형 멀티모달 모델의 범용 추론 능력 사이의 격차를 보여줍니다.
이러한 실패는 현재의 AI 벤치마크에 대해 무엇을 시사하나요?
이는 표준 에이전트 및 추론 벤치마크가 물리적 기반과 동적 공간 이해를 적절하게 테스트하지 못할 수 있으며, 높은 점수를 받은 모델이라도 치명적인 사각지대를 가질 수 있음을 시사합니다.