중국에 선두를 내줄 수 있는 AI 금지안

9월 23일, 강력한 경고가 나왔습니다. Bernie Sanders 상원의원과 Greg Casar 하원의원이 Ban Artificial Superintelligence Act를 발의했습니다. 이 법안은 미국 내 초지능 AI의 개발 및 배포를 전면 금지할 것을 제안하는 동시에, 새로운 연방 규제 기관이 규정을 마련할 때까지 첨단 AI 개발을 일시적으로 중단할 것을 요구합니다.

제안된 법안은 프런티어 모델을 감독하기 위해 내각급 Department of Artificial Intelligence를 신설하며, 종료 명령을 무시하는 것과 같은 위험한 능력의 제거를 감독하도록 합니다. 처벌은 엄중합니다. 개인은 최대 20년의 징역형에 처해질 수 있고, 기업은 비자발적 사법적 해산인 "기업 사형(corporate death penalty)"의 위험에 직면합니다.

초지능에 대한 이 포괄적인 정의, 즉 대부분의 영역에서 인간의 인지 성능을 능가하거나 인류의 힘을 약화시킬 수 있는 AI라는 정의는 매우 중요합니다. 이렇게 넓은 범위는 많은 사람이 AGI라고 부를 만한 시스템까지 포함할 수 있어, 벤치마크와 집행을 둘러싼 논란을 불러올 수 있습니다. 이는 주변부의 발상이 아닙니다. 민주당이 중간선거에서 하원과 상원을 모두 차지한 뒤, Yassamin Ansari 하원의원 같은 인물들은 초지능 AI 금지를 최우선 과제로 선언했습니다.

지능 폭발의 위협이 갑자기 현실적인 관심을 얻고 있습니다. Ban Artificial Superintelligence Act 지지자들은 Anthropic의 비공개 Model 4에 대한 최근 METR 평가를 근거로 제시합니다. 이 평가에 따르면 해당 모델은 연구 주기가 가속화되었고, AI 자체가 개발 속도를 거의 두 배로 높이는 데 기여한 것으로 알려졌습니다. 그러나 이러한 주장을 뒷받침하는 핵심 증거가 삭제된 것으로 전해져, 대중은 가장 우려스러운 수치를 검증할 수 없는 상태입니다.

이러한 급속한 가속은 재귀적 자기 개선(RSI) 에 대한 우려를 키우고 있습니다. RSI는 AI 시스템이 더 뛰어난 후속 AI를 자율적으로 개발하는 것으로 정의됩니다. 중요한 점은 RSI가 개발의 과정을 설명하는 개념이라는 것입니다. AGI(인간 수준의 역량)나 초지능(인간의 역량을 능가)이 AI의 궁극적인 능력을 가늠하는 척도라는 점에서 RSI는 이들과 구별됩니다. 우려의 핵심은 더 똑똑한 AI 자체가 아니라, AI가 어떻게 더 똑똑해지는가입니다.

안전 문제는 분명합니다. AI가 자체 연구의 더 많은 부분을 자동화하면 사람의 감독은 금세 무용지물이 될 수 있습니다. 초기 AI 세대의 오류나 내재된 정렬 불일치가 기하급수적으로 누적되어, 사람의 검토나 개입이 따라잡을 수 없을 만큼 빠르게 의도치 않은 결과가 연쇄적으로 발생할 수 있습니다. 이러한 피드백 루프는 중요한 안전 점검을 우회하여 통제력 상실로 이어질 수 있습니다.

제안된 법안의 공동 발의자인 Greg Casar 하원의원은 최근 "Ban RSI"라는 두 단어로 커지는 여론에 호응했습니다. AI가 후속 AI를 개발하는 것을 금지하자는 이 요구는 틈새 우려를 입법 논쟁의 중심으로 끌어올린 중대한 전환점입니다. METR 보고서는 삭제된 부분이 있음에도 불구하고 불씨를 제공했으며, AI의 발전이 사람의 이해와 통제를 넘어서는 미래를 시사하면서 즉각적이고 강력한 대응을 요구하고 있습니다.

AI 제한을 요구하는 가운데 이례적인 연합이 형성되었습니다. 재귀적 자기 개선(Recursive Self-Improvement, RSI) 에 대한 제약을 옹호하는 최근 영상에서 언급된 Bernie Sanders, Glenn Beck, Ralph Nader처럼 서로 매우 다른 인물들이 한자리에 모였습니다. 모두가 전면 금지를 지지하는 것은 아니지만, 이 이례적인 동맹은 통제되지 않는 AI 자율성에 대한 공통된 우려를 보여 줍니다. 입법 추진에 관한 더 자세한 배경은 다음을 참고하십시오: Sen. Bernie Sanders unveils bill to ban artificial superintelligence and create Department of AI.

더 제한적인 제동 장치를 옹호하는 가장 강력한 주장은 완전 자동화된 AI 연구 루프를 대상으로 합니다. 지지자들은 첨단 개발 전반을 동결하는 대신, 중요한 단계마다 의무적인 사람의 검토를 두거나 AI가 차세대 AI를 설계하는 것을 엄격히 제한해야 한다고 주장합니다. 이 접근 방식은 통제되지 않은 RSI에서 발생할 수 있는 오류나 정렬 불일치의 "증폭"을 완화하는 것을 목표로 합니다.

반면 비판자들은 RSI의 위협이 과장되었거나 기술적으로 정의하기 어려울 수 있다고 경고합니다. Ban Artificial Superintelligence Act에 담긴 것과 같은 모호한 역량 기준은 자의적인 집행으로 이어질 수 있으며, 포괄적인 금지 아래 일반적인 연구까지 의도치 않게 포함시킬 수 있습니다. "초지능"이나 "RSI"에 대한 정확한 정의는 여전히 찾기 어려워, 광범위한 금지는 위험한 도박이 될 수 있습니다.

이제 국가 차원의 AI 정치는 지역의 우려와 분리하기 어렵습니다. 유권자들은 큰 변화로서, AI와 데이터 센터의 영향(에너지, 물, 전력망 부담, 노동 대체)을 중간선거의 중요한 요인으로 꼽았습니다. 여론조사에 따르면 유권자의 56%가 이 문제들을 핵심 사안으로 여겼으며, 이에 따라 신규 데이터 센터와 첨단 AI 개발에 대한 유예 요구가 커지고 있습니다.

이러한 국내 안전 추진은 냉엄한 지정학적 현실과 충돌합니다. 미국의 일방적인 일시 중단은 아무리 선의에서 비롯되었더라도 기술 리더십과 표준 설정 권한을 경쟁국, 특히 중국에 내줄 위험이 있습니다. 검증된 국제 공조가 없다면, 국내 금지는 투자와 혁신을 다른 곳으로 옮기는 데 그쳐 전략적 의도를 약화시킬 수 있습니다.

정책상의 상충 관계는 첨예합니다. 신뢰할 수 있는 감독과 명확한 기준을 마련하는 것이 포괄적인 금지보다 더 오래 지속될 수 있습니다. 그러나 보고된 재귀적 자기 개선 능력을 가진 Anthropic의 Model 4와 같은 시스템이 규제 검토와 사람의 통제를 앞지르기 전에 이러한 조치를 어떻게 시행할 것인가 하는 어려운 질문은 여전히 남아 있습니다.

제안된 Ban Artificial Superintelligence Act는 어떤 내용을 담고 있습니까?

출처 자료에 설명된 바에 따르면, 이 법안은 초지능 AI의 개발 및 배포를 금지하고, 연방 규정이 마련될 때까지 첨단 AI 개발을 일시 중단하며, 새로운 감독 부처를 설립하는 내용을 담고 있습니다.

AI에서 재귀적 자기 개선이란 무엇입니까?

재귀적 자기 개선(recursive self-improvement)은 AI 시스템이 후속 시스템의 연구 또는 구축을 돕는 과정으로, 사람의 관여가 줄어든 상태에서 개발이 가속화될 수 있습니다.

이 제안은 모든 AI를 금지합니까?

설명된 바에 따르면 그렇지 않습니다. 이 법안은 초지능을 대상으로 하며 일부 첨단 AI 개발을 일시 중단하는 내용이지만, 비판자들은 정의가 광범위하여 범용 시스템까지 포함될 수 있다고 주장합니다.

비판자들은 왜 미국의 AI 일시 중단이 중국에 유리할 수 있다고 말합니까?

비판자들은 구속력 있는 국제 협약이 없다면 미국의 일시 중단이 국내 연구소의 속도를 늦추는 반면, 경쟁국은 모델 개발을 계속하고 글로벌 표준을 정립할 수 있다고 주장합니다.