AI가 자신의 후속 모델을 구축하기 시작했다

재귀적 자기 개선(Recursive self-improvement, RSI)은 자의식을 가진 Skynet이 제한 없이 스스로 코드를 다시 쓰는 것이 아닙니다. 오히려 이는 AI 시스템이 차세대 AI를 구축하는 데 사용되는 연구, 코드, 데이터 또는 방법에 기여하는 과정을 의미합니다. 여기에는 자율적이고 통제 불가능한 지능이 아닌, 인간의 감독이 포함됩니다.

저명한 AI 평론가 David Shapiro는 RSI에 대한 실용적인 척도를 제안합니다. 차세대 개발의 어느 정도가 AI의 도움으로 이루어지는가 하는 점입니다. 그는 2026년에는 AI가 자체 발전의 30%를 기여할 수 있으며, 2027년에는 코드, 데이터, 수학적 알고리즘을 포함하여 50~80%까지 증가할 수 있다고 추측합니다. 이는 추정치일 뿐, 업계 전체에서 검증된 수치는 아닙니다.

영화 속 탈출 시나리오는 잊으십시오. AI 모델은 인터넷에 연결된 모든 장치를 감염시킬 수 있는 추상적인 "클라우드"가 아닌 실제 인프라에서 실행됩니다. 강력한 모델은 거대한 데이터 센터, GPU와 같은 특수 하드웨어, 그리고 막대한 전력을 필요로 하므로, Terminator나 Mission: Impossible – Dead Reckoning과 같은 허구적 묘사에서 흔히 간과되는 사실처럼 스마트폰과 같은 소비자 기기에서 자발적으로 확산되거나 작동할 수 없습니다.

피드백 루프는 이미 형성되고 있지만, 공상 과학 영화처럼 극적인 방식은 아닙니다. 모델들은 현재 코드 작성, 데이터 생성 및 평가, 시스템 테스트를 지원하고 있습니다. 또한 수학적 추론을 지원하여 개발 주기를 가속화합니다. 그러나 목표를 설정하고 결과를 배포하는 것은 여전히 인간의 몫입니다.

이 점진적인 루프는 OpenAI의 자동화된 수학 연구나 Google DeepMind의 AlphaProof Nexus와 같은 시스템을 기반으로 합니다. 후자는 Gemini급 LLM과 Lean 4 대화형 정리 증명기를 결합하여 수십 년간 풀리지 않았던 Paul Erdős의 난제들을 해결했습니다. 이러한 기능은 유용하지만, 자율적이고 지속 가능한 재귀적 자기 개선을 확증하는 것은 아닙니다.

OpenAI, Google, Anthropic의 발표와 보고서는 이 분야에서 상당한 활동이 있음을 나타냅니다. 이러한 보고서는 AI 지원 개발의 진전을 보여주는 증거이지, 통제 불가능한 지능이 출현했다는 증거는 아닙니다. 초점은 여전히 인간이 주도하는 통제된 방식으로 AI가 자신의 발전에 기여하는 데 맞춰져 있습니다.

형식 검증(Formal verification)은 AI 출력을 검증하는 강력하고 독특한 접근 방식을 제공합니다. 단순히 그럴듯한 텍스트나 코드를 생성하는 대신, 형식 검증은 시스템, 증명 또는 코드 조각이 명시적이고 사전 정의된 규칙을 엄격하게 준수하는지 수학적으로 확인합니다. 이 과정은 모호함을 제거하고 정확성을 보장하여 AI가 생성한 솔루션에 대한 신뢰를 구축하는 것을 목표로 합니다.

이 엄격한 방법은 AI 연구, 특히 절대적인 확실성이 요구되는 분야에서 엄청난 가능성을 가지고 있습니다. 예를 들어, Google DeepMind의 AlphaProof Nexus는 대규모 언어 모델과 Lean 4 대화형 정리 증명기를 결합합니다. 이 시스템은 기계가 검증할 수 있고 환각이 없는 수학적 증명을 생성함으로써, 50년 넘게 풀리지 않았던 여러 Paul Erdős 난제를 성공적으로 해결했습니다.

그 영향은 수학을 훨씬 넘어섭니다. 검증된 계산은 다음 분야의 발견을 가속화할 수 있습니다:

• 재료 과학
• 의학
• 칩 설계
• 배터리 기술

하지만 formal verification이 만능은 아닙니다. 여전히 계산 집약적이며, 정확하게 명시된 문제에 결정적으로 의존합니다. 정의된 규칙 준수는 보장하지만, 모델이 세운 초기 가정을 검증하거나 결론의 현실 세계 정확성을 보장할 수는 없습니다. 더 넓은 개념에 대해서는 Recursive self-improvement - Wikipedia를 참조하세요.

AI 연구원인 David Shapiro는 하룻밤 사이에 AI가 세상을 장악한다는 서사에 반박하며, 발전이 빠르긴 하지만 여전히 물리적 현실에 얽매여 있다고 강조합니다. AI 확장은 여전히 칩, 데이터 센터, 에너지, 네트워킹, 제조에 의존하며, 이 모든 것이 시스템 확장 속도를 제한합니다. 또한 인간의 결정이 자원 배분을 결정하므로 통제되지 않는 "fast takeoff"를 방지합니다.

AI 시스템이 코딩, 수학적 추론, 파일 처리와 같은 새로운 능력을 얻게 됨에 따라 emergence through recombination(재조합을 통한 창발)이 분명해집니다. 이러한 개별 도구들을 결합하면 단일 작업으로 명시적으로 프로그래밍되지 않은 복잡하고 유용한 워크플로우를 생성할 수 있습니다. 예를 들어, AI는 독립적으로 코드를 생성하고, 테스트한 다음, 사양에 따라 출력을 formal verification할 수 있습니다.

AI 지원 연구는 과학적 진보를 가속화하여 컴퓨터 과학 이외의 분야로 확산될 가능성이 높습니다. 그러나 이러한 가속화는 해결되지 않은 중요한 질문들을 제기합니다. 우리는 감독, alignment, formal verification, 그리고 점점 더 유능해지는 이러한 시스템을 지원하는 데 필요한 막대한 인프라 문제와 씨름해야 합니다.

AI에서 recursive self-improvement란 무엇인가요?

이는 코딩, 테스트, 데이터 생성, 연구와 같은 작업을 통해 AI 시스템이 이후의 AI 시스템을 개발하거나 개선하는 것을 돕는 과정을 설명합니다.

recursive self-improvement가 AI가 갑자기 온라인으로 탈출한다는 것을 의미하나요?

아니요. AI가 인터넷을 통해 자유롭게 퍼질 수 있다는 것을 의미하지 않습니다. 강력한 시스템은 하드웨어, 컴퓨팅 자원, 인간이 운영하는 인프라에 의존합니다.

AI 연구에서 formal verification이 왜 중요한가요?

formal verification은 수학적 방법을 사용하여 소프트웨어나 증명이 정확한 사양을 충족하는지 확인하므로 신뢰성과 과학적 작업에 가치가 있습니다.

AI 지원 연구가 소프트웨어 이외의 분야에 영향을 미칠 수 있나요?

그럴 가능성이 있습니다. 더 나은 추론과 검증은 연구자들이 수학, 재료 과학, 생명 과학과 같은 분야를 탐구하는 데 도움을 줄 수 있습니다.