AI의 코딩 성적표는 거짓말이다

SWEbench는 한때 AI의 코딩 능력을 평가하는 데 있어 논쟁의 여지가 없는 표준이었으며, 개발자와 연구자들이 대규모 언어 모델의 소프트웨어 엔지니어링 역량을 측정하기 위해 신뢰했던 벤치마크였습니다. 주로 버그 수정에 초점을 맞춘 구조화된 작업은 초기 AI 에이전트에 대한 객관적인 성적표를 약속했습니다. 그러나 그 신뢰는 사라졌습니다. 이제 업계는 SWEbench가 망가졌다고 널리 간주합니다.

근본적인 결함이 벤치마크를 괴롭히며 그 점수를 무의미하게 만듭니다. 만연한 데이터 오염은 모델이 훈련 중에 종종 해결책을 보았다는 것을 의미하며, 인위적으로 성능을 부풀렸습니다. 여기에 더해, SWE-bench Verified에서 감사된 문제 중 최소 59.4%는 결함 있는 테스트 케이스를 포함하여 유효한 해결책을 잘못 거부했습니다. 또한, SWEbench의 좁은 범위는 87%의 버그 수정 작업 중 80% 이상이 단 5개의 Python 저장소에서 나왔고 문제의 절반이 2020년 이전에 발생한 것으로, 실제 코딩 문제를 반영하지 못했습니다.

이러한 문제들은 터무니없는 성적표로 이어졌습니다. Claude Opus 4.7과 같은 모델은 GPT-5.5를 몇 점 차이로 설명할 수 없게 능가했는데, 이는 널리 퍼진 개발자 경험과 실제 사용의 '분위기 확인(vibe check)'에 직접적으로 모순됩니다. OpenAI 자체도 이 문제를 인정하고 최첨단 평가를 위해 SWE-bench Verified를 폐기하며, "개선 사항이 모델의 실제 소프트웨어 개발 능력에서 의미 있는 개선을 더 이상 반영하지 않는다"고 밝혔습니다. 한때 AI 평가의 기둥이었던 이 신뢰를 잃은 벤치마크는 이제 경고의 사례가 되었습니다.

Datacurve는 agentic AI 시대를 위해 세심하게 설계된 강력한 대안 벤치마크인 DeepSWE를 공개했습니다. 이 새로운 표준은 SWEbench와 같은 이전 평가를 무효화했던 만연한 데이터 오염과 '게이밍'에 직접적으로 대응합니다. DeepSWE의 설계는 모델이 이전에 본 해결책을 단순히 기억하는 것을 방지하고, 진정한 문제 해결 능력을 입증하도록 강제합니다.

DeepSWE의 방법론은 이전 벤치마크와 극명하게 대조됩니다. 91개의 다양한 오픈 소스 저장소에서 완전히 처음부터 작성된 113개의 독창적인 장기 과제를 특징으로 합니다. 이 포괄적인 스위트는 다음 다섯 가지 주요 프로그래밍 언어를 포함합니다: - TypeScript - Go - Python - JavaScript - Rust 이러한 과제는 SWE-bench Pro보다 평균 5.5배 더 많은 코드 변경을 요구하며, 단순한 버그 수정보다는 복잡하고 다면적인 엔지니어링 과제를 해결하는 AI의 능력을 엄격하게 테스트합니다.

결정적으로, DeepSWE의 구조는 본질적으로 복잡한 작업에 대해 짧고 높은 수준의 프롬프트를 제시함으로써 선임 개발자가 AI 비서에게 작업을 위임하는 방식을 반영합니다. 이러한 접근 방식은 AI의 실제 유용성과 장기적인 소프트웨어 엔지니어링 능력을 훨씬 더 현실적이고 실용적으로 테스트합니다. 예를 들어, DeepSWE에 대한 초기 평가에서는 GPT-5.5가 70%를 기록한 반면 Claude Opus 4.7은 54%를 기록하여, 부풀려진 SWEbench 점수보다 실제 개발자 경험을 더 정확하게 반영합니다.

SWE-bench와 같은 기존 벤치마크는 Claude Opus 4.7이 GPT-5.5보다 약간 앞서는 치열한 경쟁 구도를 그렸지만, DeepSWE는 극명하게 다른 현실을 보여줍니다. Datacurve의 엄격한 새 표준에서 GPT-5.5는 압도적인 70%의 성공률을 달성했습니다. 반면 Claude Opus 4.7은 54%에 그쳤습니다.

DeepSWE에서 이 엄청난 16점 차이는 단순한 통계적 이상 현상이 아닙니다. 이는 근본적인 능력의 차이를 의미합니다. DeepSWE 작업은 처음부터 새로 만들어졌으며, 오래된 저장소의 버그 수정이 아닌, 새롭고 이전에 본 적 없는 시나리오에서 진정한 문제 해결 능력과 에이전트적 기술을 평가하도록 설계되었습니다. 기존 벤치마크와 달리 DeepSWE는 모델이 훈련 데이터 오염이나 단순한 회상을 활용하는 것을 방지하고, 깊이 추론하고 일반화된 지능을 적용하도록 강제합니다.

GPT-5.5의 압도적인 성능은 복잡하고 장기적인 소프트웨어 엔지니어링 과제를 해결하는 탁월한 추론 능력과 역량을 강조하며, 이는 실제 위임에 있어 중요한 요소입니다. 이는 모델의 실질적인 유용성에서 눈에 띄는 차이를 보고하는 개발자들의 정서와 직접적으로 일치합니다. Claude Opus 4.8 및 Gemini 3.1 Pro와 같은 최신 버전들이 개선을 보였지만, 이 더 도전적이고 실제를 반영하는 벤치마크에서 GPT-5.5에 계속 뒤처지며 현재의 한계를 보여줍니다.

업계 리더들은 단순하고 회상 기반의 평가를 버려야 합니다. AI 평가의 미래는 DeepSWE 및 발전하는 SWE-bench Pro와 같은 오염 방지 다단계 벤치마크를 요구합니다. DeepSWE의 113개 작업은 91개의 다양한 오픈 소스 저장소와 5가지 프로그래밍 언어(TypeScript, Go, Python, JavaScript, Rust)에 걸쳐 있으며, 이전 버전보다 평균 5.5배 더 많은 코드 변경을 필요로 하여 실제 복잡성을 반영합니다.

개발자와 기술 경영진은 부풀려진 벤치마크 점수에 깊은 회의감을 가져야 합니다. OpenAI는 SWE-bench Verified를 스스로 폐기하며, 개선 사항이 실제 능력 향상이 아닌 훈련 노출을 반영했음을 인정했습니다. 대신, DeepSWE가 단순한 회상을 넘어 특별히 밝혀내도록 설계된 진정한 추론, 계획, 그리고 새로운 문제 해결을 요구하는 작업의 성능을 우선시해야 합니다.

AI 코딩 어시스턴트의 진정한 능력은 흔한 SWE-bench 시나리오인 2019년의 사소한 버그를 패치하는 것이 아닙니다. 궁극적인 도전은 높은 수준의 목표에서 완전히 새로운 기능을 자율적으로 설계하고 구현하는 데 있습니다. DeepSWE는 이 중요한 기술을 측정하기 시작하며, 에이전트 시대의 최첨단 AI 역량을 정의하는 복잡하고 독창적이며 장기적인 소프트웨어 엔지니어링 작업을 반영합니다.

SWEbench 벤치마크의 문제점은 무엇인가요?

SWEbench, 특히 SWE-bench Verified는 데이터 오염(모델이 훈련 중 답변을 보았을 수 있음), 결함 있는 테스트 케이스, 그리고 오래된 Python 버그 수정에 대한 좁은 초점으로 비판받으며, 현대 AI 문제 해결 능력을 측정하는 데 부적합합니다.

DeepSWE는 무엇이며 어떻게 다른가요?

DeepSWE는 다섯 가지 언어로 처음부터 작성된 독창적이고 복잡한 소프트웨어 엔지니어링 작업을 특징으로 하는 최신 AI 코딩 벤치마크입니다. 이는 단순한 회상이 아닌 진정한 문제 해결 능력과 에이전트적 능력을 테스트하도록 설계되어 실제 개발자 과제를 더 잘 반영합니다.

DeepSWE에 따르면 현재 코딩에 가장 적합한 AI 모델은 무엇인가요?

최신 DeepSWE 결과에 따르면, OpenAI의 GPT-5.5는 70%의 해결률로 상당한 선두를 차지하고 있으며, 54%를 기록한 Claude Opus 4.7과 같은 경쟁자들을 훨씬 앞서고 있습니다.

SWEbench와 DeepSWE는 왜 AI 모델에 대해 그렇게 다른 순위를 매기나요?

이 벤치마크들은 서로 다른 기술을 테스트합니다. SWEbench는 모델이 훈련 중에 보았을 가능성이 있는 알려진 문제에 대한 해결책을 회상하는 능력을 테스트하는 것이 되었습니다. DeepSWE는 최소한의 지시로 완전히 새롭고 복잡한 문제를 추론하고 해결하는 능력을 테스트합니다.