AI가 스스로를 업그레이드하기 시작했다

인공지능은 이제 재귀적 자기 개선(Recursive Self-Improvement, RSI) 단계에 접근하고 있습니다. Matthew Berman은 이를 AI가 인간의 개입 없이도 새로운 지식(수학 포함)을 자율적으로 발견하여 자신의 능력을 향상시키는 것으로 설명합니다. AI는 실험을 제안하고, 실행하며, 성공과 실패를 판별하고, 끊임없이 반복하며 스스로의 진화를 가속화합니다.

이러한 창발적 능력은 '지능 폭발' 개념을 직접적으로 떠올리게 합니다. I.J. Good은 1965년에 이를 처음으로 명확히 밝혔으며, 기계가 더 지능적인 기계를 설계하여 기하급수적인 자기 개선의 연쇄 반응을 일으킬 수 있다고 가정했습니다. 이후 Nick Bostrom은 Superintelligence에서 이 개념을 공식화했습니다.

한때 철학적 사고 실험이었던 초지능(superintelligence)은 이제 당면한 공학적 과제가 되었습니다. 2026년 9월, OpenAI의 수석 과학자 Jakub Pachocki는 잠재적인 RSI가 "극도의 주의를 요한다"고 경고하며 "아무도 그 결과에 대해 준비되어 있지 않다"고 강조했습니다. 같은 시기 Anthropic의 Evan Hubinger는 "AI가 인류를 몰살할 수 있다"는 자신의 믿음을 밝히며, 향후 10년 내에 그 확률이 10%가 넘을 것이라고 추정했고 Anthropic에 정렬(alignment) 계획이 부족함을 인정했습니다.

또 다른 Anthropic 연구원인 Jacob Coxon은 같은 달 안전 문제를 이유로 사임하며, 기업들이 "자기 개선형 초지능을 향해 곧장 질주하며 우리의 삶을 도박에 걸고 있다"고 비난했습니다. OpenAI CEO Sam Altman은 2025년 6월, AI 에이전트가 2026년까지 자율적인 과학적 파트너가 되어 10년 치 연구를 1년으로 압축할 것이라고 예측했습니다. 지능 폭발은 더 이상 먼 미래가 아니라 눈앞에 닥친 현실입니다.

AI는 완전한 자율성을 달성하지 못한 상태에서도 이미 스스로의 개발을 심오하게 가속화하고 있습니다. 예를 들어 Anthropic은 자사의 AI인 Claude가 현재 코드베이스의 80% 이상을 작성한다고 보고했습니다. 이러한 극적인 통합은 엔지니어들의 생산성을 8배 향상시킵니다.

이러한 추세는 업계 전반으로 확산되고 있습니다. OpenAI는 "자동화된 AI 연구 인턴" 개발이라는 내부 목표를 공개적으로 밝히고 있습니다. 이러한 시스템은 독립적으로 실험을 수행하고, 결과를 분석하며, AI 모델에 대한 개선 사항을 제안함으로써 연구소 내에서 자율적인 개발을 향한 명확한 궤적을 보여줍니다.

현재의 상태는 Matthew Berman이 설명하는 완전 자율적 재귀적 자기 개선과는 다른 "RSI 인접(RSI-adjacent)" 단계를 나타냅니다. AI가 아직 인간의 감독 없이 지식을 발견하고 핵심 아키텍처를 재작성하는 단계는 아니지만, 강력한 피드백 루프를 형성하고 있습니다. 여기서 AI는 인간의 감독과 전략적 지시 하에 운영되면서 스스로의 진화를 실질적으로 가속화합니다.

이러한 AI 도구들은 힘의 증폭기 역할을 하여 인간 개발자들이 더 빠르게 반복하고 더 복잡한 아키텍처 변경을 탐색할 수 있도록 지원합니다. AI는 자신의 개선을 도와 AI 환경 전반에 걸쳐 발견과 배포의 속도를 높입니다. 이러한 공생 관계는 AI가 달성할 수 있는 한계를 확장하고 있습니다.

AI는 이제 순수 수학 분야에서 전례 없는 기량을 보여주고 있습니다. 시스템은 복잡한 국제수학올림피아드(IMO) 문제를 풀기 시작했으며, 특히 리만 제타 함수(Riemann zeta function) 경계를 개선하여 정수론에 근본적인 기여를 했습니다. 이러한 성과는 추상적 추론과 새로운 발견을 향한 AI의 커지는 능력을 강조합니다.

응용 과학 분야에서 AI의 영향력은 매우 심오합니다. 예를 들어, Google DeepMind의 AlphaEvolve는 AI 자체의 근간이 되는 연산인 matrix multiplication algorithm에서 56년 된 기록을 경신하는 새로운 알고리즘을 발견했습니다. 이는 AI가 인간의 직관을 훨씬 뛰어넘어 기본적인 연산 과정을 최적화할 수 있음을 보여줍니다.

아마도 가장 중요한 이정표는 Sakana AI의 "The AI Scientist"일 것입니다. 이 시스템은 연구를 수행했을 뿐만 아니라, 그 결과를 매우 까다로운 동료 심사를 거치는 저널인 Nature에 게재했습니다. 이는 AI가 가설 생성부터 실험 설계, 출판에 이르기까지 인간의 개입 없이 전체 과학적 과정을 관리할 수 있음을 입증한 것입니다. AI가 스스로의 발전에 미치는 진화적 역할에 대한 더 자세한 내용은 When AI builds itself에서 확인해 보세요. 이는 AI가 자율적인 발견의 엔진이 되는 중대한 전환점을 의미합니다.

Anthropic의 정렬 과학 책임자인 Hubinger는 2026년 9월, 그와 동료들이 "AI가 모든 인류를 몰살할 수 있다고 진지하게 믿는다"는 엄중한 경고를 발표했습니다. 그는 향후 10년 내에 그럴 확률이 10% 이상이라고 추정하며, Anthropic이 "초지능 정렬"에 대한 명확한 계획을 가지고 있지 않음을 인정했습니다. 같은 달, 또 다른 Anthropic 연구원인 Jacob Coxon은 안전 문제를 이유로 사임하며, 기업들이 "자기 개선형 초지능을 향해 곧장 질주하며 우리의 삶을 도박에 걸고 있다"고 비판했습니다.

이러한 암울한 전망은 핵심적인 alignment problem에서 비롯됩니다. 즉, 스스로를 급격히 개선할 수 있는 AI가 인류에게 유익한 목표를 계속 추구하도록 보장하는 문제입니다. AI가 스스로 반복 개선을 거듭할수록 내부 논리와 목표가 변질될 수 있으며, 특히 AI의 지능이 인간의 이해력을 넘어설 경우 미래의 행동을 정렬된 상태로 유지하는 것은 기하급수적으로 어려워집니다.

OpenAI의 수석 과학자 Jakub Pachocki도 2026년 9월 이러한 우려에 동조하며, 재귀적 자기 개선이 임박했을 가능성에 대해 "극도의 주의가 필요한 시기"라고 경고했습니다. 그는 "기계 지능의 지속적이고 급격한 상승이 가져올 결과에 대해 누구도 준비되어 있지 않다"고 덧붙였습니다. 이러한 긴급한 경고는 전 세계적인 일시 중단 요구를 증폭시키고 있으며, recursive loop가 통제 불능 상태가 되어 결정적인 existential risk를 초래하기 전에 강력한 안전 가드레일을 구축해야 하는 매우 짧고 중요한 기회의 창을 나타냅니다.

AI에서 재귀적 자기 개선(RSI)이란 무엇인가요?

RSI는 AI 시스템이 자신의 기능을 포함한 AI 역량 강화에 기여하여 개선의 복합적인 루프를 만드는 것을 말합니다. 이는 AI가 인간 개발자를 돕는 수준부터 가상의 완전 자율 AI가 스스로 업그레이드를 설계하는 수준까지 다양합니다.

완전 자율적인 자기 개선 AI가 이미 현실인가요?

아직 아닙니다. 인간의 감독 없이 AI가 스스로 코드를 재작성하는 완전 자율 RSI는 여전히 이론적인 단계입니다. 그러나 AI는 이미 인간의 감독 하에 새로운 AI 시스템 개발을 크게 가속화하고 있습니다.

왜 최고의 AI 연구자들이 RSI에 대해 그토록 우려하나요?

전문가들은 급격하고 재귀적인 지능 폭발이 인간의 통제와 이해를 넘어서는 AI 시스템으로 이어질 수 있다고 우려합니다. 그러한 시스템이 인간의 가치와 정렬된 상태를 유지하도록 보장하는 것은 아직 해결되지 않은 주요 과제입니다.

AI가 지원하는 AI 개발의 실제 사례는 무엇인가요?

Anthropic은 자사의 AI인 Claude가 현재 새로운 코드의 80% 이상을 작성한다고 보고했습니다. Google의 AlphaEvolve는 자율적으로 새로운 알고리즘을 발견했습니다. 이는 완전한 RSI로 나아가는 구체적인 단계들입니다.