AI가 이제 스스로를 구축합니다. Anthropic은 두려워합니다.

Anthropic의 최근 논문 'When AI Builds Itself'는 중요하고 가속화되는 추세를 자세히 설명합니다. AI 시스템은 이제 자체 개발의 점점 더 많은 부분을 다른 AI에 위임합니다. 재귀적 자기 개선(recursive self-improvement)이라고 명명된 이 현상은 AI가 자율적으로 자체 후속작을 설계하고 개발하는 미래를 시사합니다. 이 논문은 개발자가 Claude와 같은 모델을 직접 코딩하는 것에서부터 고급 에이전트 및 하위 에이전트가 복잡한 연구 및 코드 생성을 처리하는 과정으로 진행되는 닫히는 루프를 보여줍니다. 이러한 추상화는 인간이 직접적인 생성 과정에서 점점 더 멀어지고 있음을 의미합니다.

Anthropic은 사회가 이 심오한 변화에 근본적으로 대비하지 못하고 있다는 준엄한 경고를 발표합니다. 그들은 AI 개발의 상당한 둔화를 옹호하며, 실존적 위험(existential risks)과 인류가 점점 더 유능해지는 이 시스템에 대한 통제력을 잃을 가능성을 강조합니다. 이 가속화되는 추세는 돌이킬 수 없게 되기 전에 즉각적이고 전 세계적인 관심을 요구하는 주요 정렬 문제(alignment problem)를 제시합니다.

저명한 AI 평론가이자 Forward Future AI의 진행자인 Matthew Berman은 날카로운 반대 서사를 제시합니다. Berman은 Anthropic의 공개적인 둔화 요구를 "믿을 수 없을 정도로 이기적(incredibly self-serving)"이라고 특징짓습니다. 그는 선도적인 AI 기업의 이러한 안전 요청이 겉으로는 이타적으로 보이지만, 치열하게 경쟁하는 글로벌 AI 개발 환경 내에서 경쟁적 입지에 전략적으로 이점을 줄 수 있다고 암시합니다.

소프트웨어 개발 환경은 어지러울 정도로 빠르게 변화했습니다. 불과 몇 년 전만 해도 첫 번째 Claude를 구축하는 것은 인간 개발자가 랩톱에서 직접 코드와 문서를 작성하는 것을 포함했으며, 이는 전통적인 기술 회사 운영을 반영하는 익숙한 과정이었습니다. 이 시대는 모든 코드 라인이 사람이 명시적으로 작성한 직접적인 인간-컴퓨터 상호 작용을 특징으로 했습니다.

**ChatGPT 순간**은 이후 몇 년 동안 중추적인 변화를 나타냈습니다. 개발자들은 직접 코딩에서 챗봇에 프롬프트를 제공하는 것으로 전환하여, 코드를 생성하는 AI 시스템과 대화했습니다. 인간은 정확한 구문을 지시하기보다는 고수준의 의도를 전달하기 시작했으며, 이는 즉각적인 개발 파이프라인에서 그들의 개입을 근본적으로 추상화했습니다.

현재 추세는 이러한 추상화를 2025-2026년 코딩 에이전트(coding agents) 시대로 가속화합니다. 이제 단일 인간 프롬프트는 복잡한 작업을 AI 하위 에이전트 또는 "작업자(workers)" 무리에 위임하여 전례 없는 대규모 병렬 개발을 조율합니다. 이 패러다임은 개발자의 역할을 직접 코딩하는 사람에서 복잡한 프로그래밍 작업을 실행하는 자율 AI 엔티티를 관리하는 전략적 지휘자로 변화시킵니다.

인간 개입의 이러한 증가하는 분리는 소프트웨어 출력 및 복잡성의 기하급수적인 급증을 촉진합니다. 이제 짧은 인간 프롬프트는 개별 개발자가 생산할 수 있는 것보다 훨씬 많은 양의 코드를 생성하여 프로젝트의 규모와 복잡성을 모두 주도할 수 있습니다. AI 에이전트의 안정적인 작업 완료 기간은 이제 약 4개월마다 두 배로 늘어나며, 이전 7개월 추세에서 가속화되어 소프트웨어 생성의 본질을 근본적으로 재편하고 있습니다.

AI의 내부 지표는 역량의 놀라운 급증을 보여줍니다. AI 에이전트가 안정적으로 완료하는 작업의 길이는 이제 4개월마다 두 배로 늘어나며, 이전의 7개월 두 배 증가율보다 훨씬 가속화되었습니다. 이러한 기하급수적인 성장은 심오한 변화를 나타내며, acceleration engine이라는 용어를 섬뜩할 정도로 문자 그대로 만들고 개발의 빠른 속도를 강조합니다.

Anthropic의 예측은 AI의 운영 범위가 빠르게 확장되고 있음을 생생하게 보여줍니다. 2024년 3월, AI 시스템은 약 4분 동안 지속되는 인간 작업을 처리했습니다. 2026년 초까지, 이 동일한 시스템들은 복잡한 12시간짜리 과제를 처리할 것으로 예상되며, 이는 지구력과 문제 해결 자율성 모두에서 엄청난 증가를 보여줍니다. 이러한 궤적은 수년간의 인간 주도 발전을 단 몇 개월로 압축합니다.

결정적으로, AI의 새로운 연구 재현 능력도 유사하게 극적인 개선을 보입니다. Core Bench 벤치마크에서, AI 시스템은 불과 15개월 전에는 최첨단 AI 연구를 재현하는 데 20%의 성공률만을 달성했습니다. 오늘날, 그 수치는 100%에 육박하며, 자기 복제 및 지식 생성의 숙달에 가까워지고 있음을 나타냅니다. 이러한 빠른 발전은 AI가 독립적으로 자체 영역을 검증하고 발전시킬 능력을 얻음에 따라, Anthropic이 When AI Builds Itself: Our Progress Toward Recursive Self-Improvement and Its Implications 논문에서 상세히 설명한 recursive self-improvement에 대한 우려를 뒷받침합니다.

AI는 현재 engineering 분야에서 비할 데 없는 강점을 보여주며, 복잡한 작업을 세심하게 실행하고 기존 솔루션을 대규모로 최적화합니다. 방대한 양의 코드를 생성하고, 복잡한 개발 워크플로우를 조율하며, 수많은 하위 에이전트에 걸쳐 노력을 병렬화할 수 있습니다. 그러나 진정으로 새로운 아이디어의 생성이나 전략적 목표의 독립적인 정의와 같은 research 분야에서는 근본적인 한계가 지속됩니다.

완전한 자율성은 중요한 누락된 요소에 달려 있습니다: 미묘한 판단력을 행사하고 연구에서 세련된 '취향'을 가질 수 있는 능력입니다. AI 시스템은 현재 진정으로 유망한 길을 식별하거나 단순히 어떻게 구축할 것인지 이상으로 무엇을 다음에 구축할지 결정적으로 판단할 직관적인 통찰력이 부족합니다. 이 중요한 창의적이고 목표 설정 기능은 확고히 인간의 영역에 남아 있습니다.

AI가 창의적인 아이디어 구상과 목표 설정이라는 이 마지막, 파악하기 어려운 단계를 습득하면, 개발 루프에서 인간의 역할은 완전히 사라질 것입니다. 그러면 recursive self-improvement 프로세스는 완전히 자립적이고 자율적이 됩니다. 그 중요한 시점에서, AI 진화 속도에 대한 유일하게 남은 제약은 순전히 compute 능력과 인프라의 가용성으로 전환됩니다.

AI에서 recursive self-improvement란 무엇인가요?

Recursive self-improvement는 AI 시스템이 최소한의 인간 개입으로 자체적으로 더 발전된 후속 시스템을 설계하고 개발할 수 있게 되어, 가속화되는 발전 루프를 생성하는 과정입니다.

Anthropic은 왜 AI가 스스로를 구축하는 것에 대해 우려하나요?

Anthropic은 이러한 능력이 인간이 고급 AI 시스템에 대한 통제력을 상실할 위험을 크게 증가시킬 수 있다고 믿습니다. 그들은 이것이 사회가 다룰 준비가 되어 있지 않은 주요 정렬 문제를 야기하며, 개발 속도를 늦출 필요가 있다고 주장합니다.

AI 코딩 에이전트란 무엇인가요?

AI 코딩 에이전트는 복잡한 소프트웨어 개발 작업을 해결하기 위해 코드를 작성하고, 디버깅하며, 구현할 수 있는 자율적인 AI 시스템입니다. 이는 인간이 직접 코드를 작성하는 대신 engineering 문제를 AI에 위임하는 변화를 나타냅니다.

완전한 AI 자체 개선을 위한 '빠진 요소'는 무엇일까요?

분석에 따르면, 빠진 요소는 진정한 참신함과 판단력입니다. AI는 잘 정의된 작업(engineering)을 실행하는 데 탁월하지만, 현재 독창적인 연구 아이디어를 생성하고 다음에 추구할 목표를 결정하는 데 어려움을 겪고 있습니다.