ChatGPT를 예견했던 비밀스러운 게임

ChatGPT 열풍이 불기 훨씬 전인 2019년은 AI의 미래를 엿볼 수 있는 비밀스러운 기회를 제공했습니다. 그해 5월 출시된 텍스트 어드벤처 게임 AI Dungeon의 초기 사용자들은 엄청난 충격을 경험했습니다. 당시의 경직되고 미리 프로그래밍된 챗봇들과 달리, 이 게임은 역동적이고 예측 불가능하며 때로는 놀라울 정도로 일관성 있게 반응하여 사용자들을 진정한 의미의 창발적 지능에 당혹스럽게 만들었습니다.

AI Dungeon을 구동한 것은 당시 OpenAI의 최첨단 언어 모델이었던 GPT-2였습니다. 이 모델의 진정한 돌파구는 단순히 그럴듯한 텍스트를 생성하는 것이 아니라 문맥을 유지하는 능력이었습니다. 사용자가 질문을 하고 정보를 남긴 뒤, 다섯 번의 메시지 후에 "내가 말한 것을 기억해"라고 요청하면 모델은 실제로 기억해 냈습니다. 멀리 떨어진 대화의 맥락을 회상하는 이 능력은 초기 형태의 인공 인지처럼 느껴졌습니다.

아무도 AI Dungeon을 정교한 게임 메커니즘 때문에 플레이하지 않았습니다. 사실 "내가 게임에서 이겼어"라고 입력하면 게임은 단순히 "축하합니다"라고 답할 뿐이었습니다. 대신 이 게임은 강력하고 새로운 종류의 지능을 보여주는 날것 그대로의 계시적인 테크 데모 역할을 했습니다. 이것은 단순한 코드 덩어리가 아니라, 기계 속의 유령과 나누는 대화였습니다.

AI 및 머신러닝 분야의 소수만이 알고 있던 이 틈새 경험은 마치 예고편처럼 느껴졌습니다. 이는 대중이 "거대 언어 모델"이라는 용어를 입에 올리기 수년 전, 다가올 거대한 AI 폭발을 암시하고 있었습니다.

진정한 아이러니는 무엇일까요? AI dungeon이 패러다임의 전환을 암시했음에도 불구하고, 이를 구동하는 기술인 GPT-2는 대부분의 사람들에게 기계 속의 유령으로 남았습니다. 심지어 전문적인 AI 및 머신러닝 커뮤니티 내에서도 초기 거대 언어 모델(LLM) 애플리케이션인 AI dungeon은 너무나 틈새 시장이었기에, 그것이 무엇을 의미하는지 아는 사람은 거의 없었습니다.

이 초기 지능의 설계자인 OpenAI는 오용에 대한 정당한 우려를 이유로 2019년 내내 GPT-2를 조금씩 공개했습니다. 2019년 2월의 부분 공개에 이어 2019년 11월 5일, 15억 개의 파라미터를 가진 전체 모델이 신중하게 공개되었으며, 이로 인해 초기 대중 노출은 제한적이었습니다.

이 조용한 등장은 ChatGPT의 초신성 같은 출시와 극명한 대조를 이룹니다. 2022년 11월 30일 세상에 나온 ChatGPT는 단 5일 만에 100만 명의 사용자를 확보하며 급성장했습니다. 접근성, 간단한 채팅 인터페이스, 그리고 대중 우선 전략은 틈새 호기심을 글로벌 현상으로 바꾸어 놓았으며, 때로는 가장 큰 혁신이 기술 그 자체가 아니라 세상이 그 기술과 상호작용하는 방식에 있다는 것을 증명했습니다.

OpenAI 내부에서는 조용한 혁명이 펼쳐지고 있었습니다. 바로 스케일링 법칙(Scaling Laws)의 발견입니다. 이 획기적인 원리는 신경망의 크기와 학습 데이터의 양을 단순히 늘리는 것만으로도 성능이 점진적으로 향상되는 것을 넘어, 완전히 새롭고 예측 불가능한 창발적 능력(emergent capabilities)이 잠금 해제된다는 사실을 밝혀냈습니다. 이는 단순한 최적화가 아니라, 고급 AI를 구축하는 방법에 대한 근본적인 인식의 전환이었습니다.

이러한 통찰력은 15억 개의 파라미터를 가진 GPT-2에서 전례 없는 1,750억 개의 파라미터를 자랑하는 거대한 GPT-3로의 비약적인 도약을 가능하게 했습니다. 이러한 100배 규모의 확장은 ChatGPT가 이전과는 비교할 수 없을 정도로 놀랍도록 인간과 유사한 유창함과 문맥 이해력을 갖추게 된 비결이었습니다. 모델들은 단순히 커진 것이 아니라 근본적으로 더 똑똑해졌으며, 미묘한 대화와 복잡한 추론이 가능해졌습니다.

AI Dungeon의 여정은 이러한 규모 추구의 과정을 생생하게 보여주었습니다. 초기에 GPT-2를 활용했던 AI Dungeon의 인터랙티브 내러티브는 획기적이기는 했으나 모델 고유의 한계로 인해 제약이 있었습니다. 이후 GPT-3로 업그레이드되면서 문맥을 유지하고 일관된 장문의 이야기를 생성하는 능력이 극적으로 향상되었으며, 이는 차세대 애플리케이션을 구동하기 위해 더 크고 유능한 모델을 끊임없이 추구하는 업계의 흐름을 그대로 반영했습니다. 그 선구적인 역할에 대해 더 자세히 알아보려면 AI Dungeon을 확인해 보세요.

AI Dungeon이 GPT-2의 기량을 조용히 선보인 것은 중요한 질문을 던집니다. 오늘날 어떤 모호한 애플리케이션이 다음 AI 폭발의 씨앗을 품고 있을까요? 2019년 사용자들이 GPT-2의 문맥 유지 능력을 경험하며 깊은 '충격'을 받았던 것처럼, 이제 우리는 주변부에서 이와 유사한 초기 변화를 포착해야 합니다. 현재 모델의 진정한 발현 능력은 종종 주류의 관심에서 벗어난 예상치 못한 곳에서 나타납니다.

오늘날 다음 티핑 포인트의 후보들은 이미 수면 아래에서 꿈틀거리고 있습니다. 지속적인 인간의 감독 없이 다단계 작업을 계획하고 실행할 수 있는 시스템인 자율형 AI 에이전트(autonomous AI agents)라는 초기 분야를 고려해 보십시오. 또는 AI가 텍스트, 이미지, 오디오 전반의 정보를 원활하게 통합하고 이해하는 멀티모달 추론(multi-modal reasoning)의 돌파구도 있습니다. 또 다른 후보로는 현재의 한계를 훨씬 뛰어넘어 장기간의 상호작용 속에서도 문맥을 유지할 수 있게 해주는 장기 기억력의 발전이 있습니다.

GPT-2 시대가 주는 핵심 교훈은 여전히 명확합니다. 가장 심오한 기술적 변화는 거의 요란하게 자신을 알리지 않는다는 것입니다. 대신, 그것들은 틈새시장의 호기심으로 시작하여 소수의 초기 신봉자들에게 조용한 '충격'을 전달합니다. 이 선구자들은 세상이 그 혁명적 잠재력을 파악하기 훨씬 전에 기존의 가정을 뒤흔드는 새로운 능력을 알아봅니다. 우리의 과제는 다가올 지진을 알리는 미세한 진동을 찾기 위해 항상 경계하는 것입니다.

AI Dungeon이란 무엇이었나요?

AI Dungeon은 2019년에 출시된 텍스트 기반 어드벤처 게임입니다. 이 게임은 OpenAI의 GPT-2를 사용한 최초의 인기 애플리케이션 중 하나로, 사용자가 대화형 프롬프트를 통해 역동적이고 결말이 없는 이야기를 공동으로 창작할 수 있게 했습니다.

GPT-2 게임이 어떻게 ChatGPT를 예측했나요?

여러 상호작용에 걸쳐 문맥을 유지하고 세부 사항을 기억하는 인상적인 능력은 초기 사용자들에게 충격을 주었습니다. 이는 일관된 대화를 위한 LLM의 핵심 잠재력을 보여주었으며, 3년 후 ChatGPT가 전 세계적인 현상이 되도록 만든 능력을 예고했습니다.

GPT-2와 ChatGPT 모델의 주요 차이점은 무엇인가요?

규모와 정교함입니다. ChatGPT는 GPT-2(15억 개)보다 수십 배 더 큰 GPT-3.5 시리즈(1,750억 개 이상의 파라미터)로 출시되었습니다. 이러한 엄청난 규모의 증가와 새로운 학습 기법이 결합되어 훨씬 뛰어난 유창함과 추론 능력을 갖추게 되었습니다.

왜 GPT-2는 ChatGPT만큼 유명하지 않았나요?

GPT-2는 사용하기 쉬운 공개 애플리케이션이 거의 없는 더 좁고 기술적인 청중에게 공개되었습니다. 반면 ChatGPT는 누구나 사용할 수 있는 무료의 접근성 높은 웹 도구로 출시되었으며, 이것이 곧 빠르고 폭발적인 채택으로 이어졌습니다.