논쟁은 하나의 모호한 단어에서 시작됩니다
AI의 이해(understanding) 능력에 대한 논쟁은 하나의 모호한 단어에 달려 있습니다. 10월 15일, CentOS와 Rocky Linux의 공동 창립자인 Gregory Kurtzer는 트위터를 통해 LLM은 "토큰을 뱉어내는 통계 모델일 뿐이며, 주제에 대한 이해가 아니다"라고 주장했습니다. 이에 대해 David Shapiro는 LLM의 입증 가능한 능력이야말로 이해를 구성하는 것이라고 반박했습니다.
Lawrence Berkeley National Laboratory에서 수년간 고성능 컴퓨팅 소프트웨어를 개발해 온 Kurtzer의 인상적인 경력은 이 논쟁의 본질적인 무게를 더해줍니다. 핵심적인 모호함은 '이해'라는 단어 그 자체에 있습니다. 이는 사적이고 의식적인 경험을 의미할 수도 있고, 정보를 해석하고 설명하며 활용하는 입증 가능한 능력을 의미할 수도 있습니다. 이 정의들은 근본적으로 서로 다른 질문에 답합니다.
이 기사는 관찰 가능한 행동을 통해 기능적 역량을 평가하는 테스트 가능한 접근 방식을 채택합니다. 우리는 AI 모델의 내부 상태에 대해 추측하는 대신, AI 모델이 무엇을 '할 수 있는지'를 검토할 것입니다. 의식과 주관적 경험은 이해에 대한 객관적인 평가와는 별개의, 아직 해결되지 않은 질문으로 남겨둡니다.
AI를 Bloom의 6단계 사다리에 올려놓다
우리는 어떻게 '이해'를 객관적으로 측정할 수 있을까요? 교육자들은 수십 년 동안 이 질문을 다듬어 왔습니다. Bloom의 개정된 Taxonomy(교육 목표 분류학)는 이해를 해석, 요약, 추론, 비교, 설명과 같은 관찰 가능한 행동을 통해 정의하며 6단계 사다리를 제시합니다. 이는 모호한 내부 상태가 아닙니다. 사다리는 기억하기, 이해하기, 적용하기에서 시작하여 분석하기, 평가하기, 창조하기로 올라갑니다.
AI 모델은 이제 이 사다리 전반에 걸쳐 역량을 입증하고 있습니다. '기억하기'의 경우, Humanity’s Last Exam(2,500개 문제로 구성된 벤치마크)을 다루는 최첨단 모델들은 독립적인 테스트에서 10% 미만에서 약 61%까지 성능이 향상되었습니다. '이해하기'의 경우, AI의 지도를 받은 하버드 물리학과 학생들은 능동적 학습 수업을 들은 학생들보다 두 배 이상 더 많이 학습했으며, Gregory Kurtzer조차 LLM이 "어려운 개념을 설명할 수 있다"는 점은 인정합니다.
사다리를 올라가 '적용하기' 단계에서, Google DeepMind의 AI 시스템은 국제 수학 올림피아드(IMO)에서 42점 만점에 35점을 획득하여 금메달 수준의 성적을 거두었으며, 그 풀이는 올림피아드 코디네이터들에 의해 채점되었습니다. '분석하기' 단계에서는 DARPA의 AI Cyber Challenge에 참여한 AI 시스템들이 심어놓은 63개의 소프트웨어 취약점 중 54개를 찾아냈고, 심지어 심어놓지 않은 18개의 취약점까지 발견했습니다.
더 높은 단계에서도 진전이 보입니다. '평가하기' 단계에서 GPT-4의 채점 결과는 전문 인간 평가자들과 80% 이상 일치했습니다. '창조하기' 단계에서는 AI 연구 시스템들이 새로운 수학적 알고리즘을 생성해 냈으며, 이는 Bloom의 최고 수준 정의를 충족하는 능력을 보여줍니다. 이러한 벤치마크는 보편적이거나 인간과 동등한 이해가 아닌, 특정 능력들을 입증하는 것입니다.
왜 "단지 토큰을 예측할 뿐"이라는 주장이 논쟁을 끝내지 못하는가
대규모 언어 모델(LLM)을 단순히 "토큰을 예측하는 것"이라고 설명하는 것은 그 작동 '방식'을 설명할 뿐, 그 '역량'을 정의하지는 못합니다. 메커니즘이 기능을 본질적으로 제한하는 것은 아닙니다. 결국 인간의 뇌도 뉴런이 발화하는 것일 뿐이지만, 심오한 이해를 달성합니다. 이러한 구분은 AI의 진정한 역량을 평가하는 데 매우 중요합니다.
효과적인 제어 장치는 제어 대상 시스템만큼의 다양성을 갖추어야 한다는 Ashby’s Law of Requisite Variety(애슈비의 필수 다양성 법칙)를 고려해 보십시오. Conant–Ashby 정리는 더 나아가 "시스템의 모든 훌륭한 제어 장치는 해당 시스템의 모델이어야 한다"고 가정합니다. 이는 성공적인 제어가 명시적이든 창발적이든 충분히 유사한 내부 모델의 개발을 의미함을 뜻합니다. 새로운 상황과 목표에 적응하는 AI 에이전트는 종종 이러한 내부 모델링을 보여줍니다.
이러한 학습된 모델에 대한 증거는 설득력이 있습니다. 게임 수만으로 학습된 Othello 모델은 보드에 대한 내부 표현을 개발했으며, 이 내부 그림을 조작하자 모델의 게임 플레이가 직접적으로 바뀌었습니다. 마찬가지로, 한 AI 모델은 생소한 산업용 로봇 팔을 사용하여 빨래를 성공적으로 개었으며, 처음으로 같은 장비를 사용하는 숙련된 인간 작업자만큼의 성과를 보였습니다. 이러한 사례들은 functional modeling(기능적 모델링)의 존재를 뒷받침하며, AI가 사람처럼 '생각'하지 않더라도 환경에 대한 내부 표현을 구축함을 나타냅니다. 교육 프레임워크에 대한 더 깊은 내용은 Bloom’s Taxonomy - Vanderbilt University Center for Teaching을 살펴보십시오.
이 글이 마음에 드셨나요? 매일 아침 이런 글을 메일로 받아보세요.
하루 한 통 · 두 번의 클릭으로 구독 취소 · 제3자 추적 없음
의식은 분리하고, 책임은 가까이 두십시오
겉으로 드러나는 행동에서 내면의 경험을 추론하는 것은 Chinese Room 사고 실험으로 대표되는 고전적인 철학적 과제입니다. 그러나 기능적 테스트는 의식이라는 형이상학적 문제를 해결하지 않고도 유용한 역량을 확립합니다. 우리는 시스템이 무엇을 '느끼는지' 알지 못해도 무엇을 '하는지' 평가할 수 있습니다.
주관적인 자신감 또한 신뢰할 수 없는 기준임이 입증되었습니다. 사람들은 익숙한 메커니즘에 대한 자신의 이해도를 자주 과대평가하여 오류를 범합니다. 마찬가지로, AI 시스템도 자신 있게 틀린 답을 내놓을 수 있으며, 이는 내부적 확신이 객관적 정확성과 동일하지 않음을 보여줍니다.
AI의 이해력은 인상적이지만 특정 상황에서는 여전히 고르지 못하고 취약합니다. 이러한 기능적 역량이 의식의 증거는 아닙니다. AI의 발전하는 능력과 관계없이, 인간과 조직은 자신들이 배포하는 시스템, 그 시스템이 정보를 제공하는 결정, 그리고 그로 인해 발생하는 모든 피해에 대해 전적인 책임을 집니다.
자주 묻는 질문
AI가 실제로 무언가를 이해하나요?
정의하기 나름입니다. 설명, 적용, 분석과 같은 관찰 가능한 측정 기준에 따르면 AI는 기능적 이해를 보여줄 수 있지만, 그 성능은 일정하지 않습니다.
기능적 이해가 AI가 의식을 가지고 있다는 뜻인가요?
아니요. 유용한 능력을 보여준다고 해서 시스템이 주관적인 경험이나 의식을 가지고 있다고 단정할 수는 없습니다.
Bloom’s Taxonomy가 AI를 평가하는 데 어떻게 도움이 될 수 있나요?
기억하고 설명하는 것부터 평가하고 창조하는 것에 이르기까지, 성능을 평가하는 데 사용할 수 있는 관찰 가능한 인지 과제를 제공합니다.
왜 Ashby’s Law가 AI 논쟁에서 중요한가요?
효과적인 제어 장치는 자신이 제어하는 시스템의 모델이 필요함을 시사하며, 성공적인 적응을 예측 모델링과 연결하기 때문입니다.