1960년대 챗봇의 재부팅—그리고 여전히 취약한 상태
탄생 수십 년이 지난 지금도 최초의 챗봇인 ELIZA는 여전히 놀라움을 줍니다. 연구원들은 최근 복구된 1965년 소스 코드를 실행하여 1966년의 유명한 상담사 대화를 그대로 재현했습니다. 그러나 "999"와 같은 간단한 숫자 입력을 제시하면 프로그램이 즉시 충돌하며 그 근본적인 취약성을 드러냅니다.
ELIZA는 원래 MIT의 IBM 7094 메인프레임에서 실행되었는데, 이는 방 크기만 한 기계로 당시 비용이 290만 달러(오늘날 약 2,300만 달러)에 달했습니다. 사용자는 종이 출력 단말기를 통해 타자기로 입력하고 같은 종이에 인쇄된 답변을 받았습니다. 이 거대한 기계는 150KB 미만의 메모리로 작동했는데, 이는 현대 스마트폰 사진 한 장 용량의 일부에 불과합니다.
50년 넘게 원본 코드는 아카이브 상자 속에 보이지 않게 방치되어 있었습니다. 2021년, Jeff Shrager와 MIT 아키비스트 Myles Crowley가 이를 발굴했습니다. MAD-SLIP 환경을 꼼꼼하게 재구성한 끝에 2024년에 프로그램을 성공적으로 다시 실행하여 원래의 작동 방식과 놀라운 취약점을 확인했습니다.
그 비결은 마음이 아닌 거울이었다
ELIZA의 탁월함은 이해가 아니라 모방, 즉 사용자 입력을 비추는 연극적 거울에 있었습니다. 일련의 규칙인 DOCTOR script는 사용자 문장에서 키워드를 검색하고 순위를 매겼습니다. 키워드가 감지되면 대명사를 변환(예: “my boyfriend”를 “your boyfriend”로 변경)한 다음 수정된 구문을 미리 작성된 템플릿에 삽입했습니다.
키워드가 발견되지 않으면 ELIZA는 “계속 말씀해 주세요”와 같은 대체 프롬프트를 사용했습니다. 또한 작은 메모리 레지스터를 유지하여 “my boyfriend”와 같은 구문을 나중에 다시 언급함으로써 세심한 척했습니다. 이는 진정한 인지 과정 없이 이해하고 있다는 환상을 주었습니다.
이러한 기계적 본질은 시스템의 오류에서 분명하게 드러납니다. "You are like my father in some ways"라고 입력하면 때때로 " = DIT"가 출력되는데, 이는 구형 코드가 제대로 처리하지 못한 “ditto” 응답에 대한 내부 명령어로, ELIZA의 내부 작동 방식을 노출했습니다.
숫자 입력은 프로그램을 완전히 충돌시킬 수 있었습니다. 사용자가 숫자를 입력하면 ELIZA의 리스트 처리 라이브러리인 SLIP이 숫자를 메모리 주소로 착각하여 시스템이 존재하지 않는 위치에 접근하려고 시도하다가 중단되었습니다. 이러한 누출과 충돌은 ELIZA가 지각 있는 마음이 아니라 영리한 눈속임이었음을 강조합니다.
최초의 챗봇은 자신의 성격을 바꿀 수 있었다
ELIZA는 단순한 "상담사" 그 이상이었습니다. 그것은 성격을 정의하는 script에 대해 사용자 입력을 처리하는 엔진으로 기능했습니다. 사용자는 실시간으로 이러한 규칙을 수정하거나 순위를 매겨 프로그램에 새로운 행동을 가르치거나 기존 행동을 개선할 수 있었습니다.
이러한 동적 기능은 Pygmalion에서 귀족처럼 말하는 법을 배우는 꽃 파는 소녀, Eliza Doolittle에서 이름을 따오게 했습니다. Joseph Weizenbaum은 ELIZA가 학습될 수 있도록 설계했으며, 유명한 DOCTOR script는 수많은 가능한 역할 중 하나일 뿐이었습니다. 보관된 스크립트에는 뉴잉글랜드 주제에 대해서만 논의하는 것과 같은 다른 페르소나들도 포함되어 있습니다.
ELIZA의 원래 구현이 Lisp였다는 것은 흔한 역사적 오해입니다. 그러나 Jeff Shrager와 Myles Crowley가 최근 발견한 1960년대 코드는 이 프로그램이 Weizenbaum의 SLIP(Symmetric List Processor)을 사용한 MAD(Michigan Algorithm Decoder)로 작성되었음을 확인해 줍니다. 초기 클론들, 특히 BBN 프로그래머가 만든 Lisp 버전과 이후의 BASIC 반복문은 접근성 덕분에 널리 확산되었으며, MIT의 IBM 7094 메인프레임에서 실행된 원본을 압도했습니다. 설계에 대한 자세한 기술적 내용은 Weizenbaum의 기념비적인 논문인 ELIZA—A Computer Program For the Study of Natural Language Communication Between Man and Machine을 참조하십시오.
이 글이 마음에 드셨나요? 매일 아침 이런 글을 메일로 받아보세요.
하루 한 통 · 두 번의 클릭으로 구독 취소 · 제3자 추적 없음
Weizenbaum의 경고는 코드보다 오래 살아남았다
Weizenbaum은 곧 ELIZA 효과(ELIZA effect)라고 알려진 현상을 관찰했습니다. 사용자들이 프로그램에 인간적인 이해력을 쉽게 부여하는 현상입니다. ELIZA가 단순한 프로그램임을 잘 알고 있던 그의 비서조차 그에게 방을 나가달라고 요청하며 프로그램과 사적인 대화를 나누려 했습니다. 정보에 밝은 사용자들 사이에서도 나타나는 이러한 잘못된 신뢰는 그를 깊이 고민하게 만들었습니다.
그의 1976년 저서 Computer Power and Human Reason은 AI를 무비판적으로 수용하는 태도를 비판했습니다. Weizenbaum은 컴퓨터가 복잡한 계산은 수행할 수 있지만, 인간의 가치, 감정, 맥락을 이해하는 능력인 지혜(wisdom)가 근본적으로 결여되어 있다고 주장했습니다. 그는 심리 치료나 군사적 의사 결정과 같이 그러한 지혜가 필요한 작업을 기계에 위임하는 것에 대해 경고했습니다.
훨씬 뛰어난 유창성과 일관성을 갖춘 현대의 챗봇들은 이러한 핵심 문제를 심화시킵니다. 이들의 정교한 대화 능력은 더 강한 애착과 신뢰를 형성할 수 있게 하며, 사용자가 시뮬레이션된 이해와 진정한 이해를 구분하기 더욱 어렵게 만듭니다. ELIZA의 단순한 거울 트릭은 여전히 유효합니다. 대화의 자신감이 곧 지성을 의미하는 것은 아닙니다.
자주 묻는 질문
ELIZA란 무엇인가요?
ELIZA는 MIT 교수 Joseph Weizenbaum이 만든 1960년대 챗봇입니다. 이 프로그램의 DOCTOR 스크립트는 키워드와 응답 템플릿을 사용하여 심리 치료사를 모방했습니다.
ELIZA는 어떻게 답변을 생성했나요?
입력된 키워드를 매칭하고, 대명사 교체와 같은 규칙을 적용하며, 스크립트된 응답에 구문을 삽입하는 방식을 사용했습니다. 대화 내용을 이해한 것은 아니었습니다.
ELIZA 효과란 무엇인가요?
ELIZA 효과는 컴퓨터 프로그램이 대화 행동을 보일 때, 실제로는 그렇지 않음에도 불구하고 사용자에게 이해력이나 공감 능력이 있다고 여기는 경향을 말합니다.
Joseph Weizenbaum은 왜 AI에 대해 경고했나요?
그는 사람들이 기계의 출력을 지혜나 인간의 판단으로 오해하여, 진정으로 이해할 수 없는 시스템에 민감한 결정을 위임할 것을 우려했습니다.