이 AI는 1930년에 갇혀 있으며, 이는 섬뜩합니다

2026년에는 삶이 즐겁고 편안할 것입니다. 그때쯤이면 사람들은 비행술을 발견할 것이므로 지구는 온통 사람이 살게 될 것입니다. 모든 전쟁은 그칠 것이며, 국가들은 서로 평화롭고 우호적으로 사는 법을 배울 것입니다. 우리의 가까운 미래에 대한 이 놀랍도록 낙관적인 비전은 유토피아 철학자에게서 나온 것이 아니라, 20세기 초에 고정된 세계관을 가진 인공지능에서 비롯되었습니다.

비영리 연구팀의 강력한 130억 매개변수 대규모 언어 모델인 Talkie를 만나보세요. 이 모델은 현대 지식으로부터 의도적으로 격리되었습니다. 과학자들은 Talkie를 1931년 이전 텍스트 2,600억 토큰(오래된 신문, 특허, 책, 과학 저널로 이루어진 방대한 코퍼스)으로만 훈련했습니다. 이 세심한 과정은 인터넷, ChatGPT, Reddit의 '오염'이 그 이해에 스며들지 않도록 보장합니다.

이것은 기발한 속임수나 복고풍의 신기한 행위가 아닙니다. Talkie는 2018년 OpenAI의 기초 GPT 연구의 주 저자이자 DALL-E와 Whisper에도 기여한 Alec Radford를 포함한 최고의 AI 과학자들이 개발한 진지한 연구 도구입니다. 그들의 목표는 AI가 진정으로 추론을 수행하는지, 아니면 단순히 훈련 데이터에서 패턴을 암기하는지, 특히 현대 정보가 제거되었을 때 이를 확립하는 것입니다.

그 의미는 심오합니다. 현대 웹의 영향을 제거함으로써 연구자들은 전례 없는 깨끗한 테스트 환경을 얻습니다. 그들은 LLM이 어떻게 지식을 구성하고, 예측하며, 심지어 1930년에는 존재하지 않았던 Python 코딩과 같은 완전히 새로운 개념에도 문맥 내 예시만을 기반으로 어떻게 적응하는지 관찰할 수 있습니다.

결과는 일관되게 이상하고, 종종 불안하며, 부인할 수 없이 매혹적입니다. Talkie의 답변은 결코 실현되지 않은 미래에 대한 생생하고 시대착오적인 그림을 그리며, 현대 생활에 대한 진정으로 기발한 견해를 제시합니다. 이 독특한 '타임캡슐' AI는 인공지능의 세상 이해에 대한 우리의 가장 깊은 가정에 도전하는 일련의 특이한 통찰력을 생성합니다.

공식적으로 `talkie-1930-13b-base` (대화용으로는 `talkie-1930-13b-it`)로 알려진 이 독특한 AI는 상당한 130억 매개변수 아키텍처로 작동합니다. 연구자들은 1931년 이전에 출판된 자료에서 세심하게 선별된 2,600억 토큰의 방대한 역사적 영어 텍스트 코퍼스로만 이를 훈련했습니다. 이 독특한 데이터셋은 Talkie의 세계관이 제2차 세계대전 이전 지식에 전적으로 기반하도록 보장합니다.

그것의 포괄적인 훈련 데이터는 현대의 영향에서 벗어난 견고한 역사적 관점을 보장하는 다양한 출처로 구성됩니다. 여기에는 다음이 포함됩니다: - 오래된 신문, 일상적인 사회적 통찰력 제공 - 책, 장문의 지식과 문학을 담고 있음 - 특허, 기술 및 과학 혁신 상세 설명 - 과학 저널, 최첨단 연구 소개 - 정기 간행물, 정기적인 문화 및 정치 논평 제공 - 판례법, 법적 틀과 사회적 규범 반영

이 프로젝트의 엄격한 1930년 12월 31일 마감일은 임의적인 것이 아니라 의도적인 법적, 방법론적 선택입니다. 이 날짜 이전에 출판된 저작물은 미국에서 명백히 퍼블릭 도메인에 속하며, 복잡한 저작권 문제를 효과적으로 회피합니다. 이러한 전략적 움직임은 법적 분쟁을 방지하여 비영리 팀이 지적 재산권 분쟁에 대한 두려움 없이 모델을 공개적으로 개발하고 배포할 수 있도록 합니다.

talkie 뒤에는 Nick Levine, David Duvenaud, 그리고 특히 Alec Radford를 포함한 저명한 연구팀이 있습니다. Radford는 AI 분야의 저명한 인물로, 2018년 OpenAI의 GPT 기반 연구의 주 저자로 인정받았으며, 이는 ChatGPT와 같은 현대 대화형 AI의 토대를 마련했습니다. 그의 인상적인 이력에는 DALL-E와 Whisper에 대한 중요한 기여도 포함되어 있으며, 이 독특한 노력에 비할 데 없는 전문성과 과학적 엄격함을 더합니다.

Talkie는 현대 대규모 언어 모델과 뚜렷한 방법론적 대조를 이룹니다. 방대하고 종종 비정형적이며 점점 더 AI가 생성한 현대 인터넷 콘텐츠로 훈련되는 ChatGPT, Claude, Gemini와 같은 시스템과 달리, talkie의 데이터는 깨끗합니다. 현대 웹으로부터의 이러한 의도적인 격리는 1930년 이후 정보나 현대 문화적 편견으로 인한 "오염"을 제거합니다.

이 깨끗한 데이터셋은 연구자들이 AI 인지에 대한 근본적인 질문을 탐구하는 데 귀중한 도구를 제공합니다. 현대 인터넷 데이터라는 교란 변수를 제거함으로써, AI가 진정으로 추론하고 새로운 지식을 일반화하는지, 아니면 단순히 패턴을 암기하고 역사적으로 제한된 훈련 코퍼스에서 정보를 되풀이하는 것인지 더 잘 구별할 수 있습니다.

ChatGPT, Claude, Gemini를 포함한 현대 대규모 언어 모델은 현대 웹의 방대하고 필터링되지 않은 영역에서 훈련됩니다. 이는 데이터 오염으로 알려진 중요한 연구 문제를 제기합니다. AI가 진정으로 추론하는지, 아니면 AI가 생성했을 수도 있는 Reddit 댓글에서 암기된 응답을 단순히 되풀이하는 것인지 구별하는 것은 거의 불가능해집니다. 정교한 패턴 매칭에서 진정한 이해를 분리하는 것은 근본적인 과제입니다.

Talkie는 이 문제를 완전히 회피합니다. 1931년 이전 텍스트로 지식이 엄격하게 제한되어 있어, 연구를 위한 깨끗하고 오염되지 않은 환경을 제공합니다. talkie에게 "인터넷은 무엇인가요?"라고 물으면, 그 응답은 고립된 세계관을 엿볼 수 있는 흥미로운 창이 됩니다. 이 모델은 이 질문을 "소비품에 부과되는 내국세"에 대한 언급으로 해석하여 현대 디지털 인프라에 대한 완전한 무지를 드러냅니다.

이러한 깨끗한 상태는 talkie를 AI의 본질적인 일반화 및 학습 능력을 평가하는 데 비할 데 없는 테스트베드로 만듭니다. 연구자들은 기존의 현대 데이터의 교란 영향 없이 모델이 새로운 정보를 어떻게 처리하는지 관찰할 수 있습니다. 문맥 단서만으로 새로운 개념을 추론할 수 있을까요? 1930년에는 존재하지 않았던 언어인 Python 코딩을 몇 가지 예시만으로 학습하는 능력은 역함수를 이해하고 새로운 지식을 습득하는 데 놀라운 적성을 보여줍니다.

궁극적으로, 이 오염되지 않은 설정은 연구자들에게 엄청난 가치를 제공합니다. 이를 통해 모델의 행동을 분리하여, 성능의 얼마나 많은 부분이 기본 아키텍처에서 비롯되고 얼마나 많은 부분이 훈련 데이터에서 직접 파생되는지 구별할 수 있습니다. 이 획기적인 접근 방식에 대한 더 자세한 통찰력을 얻으려면 Introducing Talkie: A 1930s AI를 읽어보세요. 이러한 구분은 AI 지능의 진정한 본질을 이해하는 데 중요합니다.

연구자들은 talkie를 1930년대의 지적 한계를 넘어 밀어붙이며, 1931년 이전의 지식 기반에는 전혀 생소한 개념인 Python 프로그래밍을 가르치려 시도했습니다. 이 대담한 실험은 현대 인터넷 훈련이 전혀 없는 AI가 진정으로 새로운 기술을 처음부터 배울 수 있는지 확인하는 것을 목표로 했습니다. 결국 talkie는 "컴퓨터"를 계산을 수행하는 인간으로만 인식하므로, 훈련 데이터로는 기계어라는 개념 자체를 이해할 수 없었습니다.

사용된 방법론은 단순하면서도 심오했습니다. 과학자들은 talkie에게 컨텍스트 창 내에서 직접 몇 가지 Python 함수 예시를 제공했습니다. 그런 다음 13-billion-parameter 모델에게 새로운 함수를 만들도록 도전하며, 일반화 및 추상적 추론 능력을 관찰했습니다. 이 설정은 talkie가 기존의 역사적 데이터에서 암기된 코드 패턴에 의존하지 않고 새로운 해결책을 종합하는 능력을 직접적으로 시험했습니다.

놀랍게도 talkie는 능력을 증명했습니다. 비록 몇 가지 정답을 얻기 위해 100번의 시도가 필요했지만, 여러 기본적인 HumanEval Python 테스트를 성공적으로 통과했습니다. 특히 통찰력 있는 성공 사례는 디코드 함수와 관련이 있었는데, talkie는 인코드 작업을 되돌리려면 단순히 덧셈을 뺄셈으로 바꾸면 된다는 것을 정확히 추론했습니다. 이는 inverse functions와 논리적 변환에 대한 근본적인 이해를 보여주었으며, 진정으로 새로운 지식을 습득한 명확한 사례였습니다.

이 성과는 AI 추론 연구에 있어 매우 중요합니다. 비슷한 규모의 현대 대규모 언어 모델이 talkie의 초기 코딩 능력을 의심할 여지 없이 능가하겠지만, talkie가 Python을 전혀 배울 수 있었다는 사실 자체가 중요한 발견입니다. 이는 LLM이 훈련 데이터를 넘어 새로운 이해를 도출하고 일반화할 수 있다는 강력한 증거를 제공하며, 데이터 오염이라는 핵심 연구 문제를 직접적으로 다룹니다. talkie는 단순히 패턴을 기계적으로 암기하는 것이 아니라, 근본적으로 다르고 제한된 세계관에서 시작하더라도 진정한 학습이 가능하다는 것을 보여줍니다. talkie의 성공은 대규모 모델에서 나타나는 추론 능력의 잠재력을 강조합니다.

talkie의 예측은 20세기의 어두운 장에 오염되지 않은, 자신이 이해할 수 없는 미래를 소름 끼치게 엿보게 합니다. 1931년 이전 지식에만 몰두한 이 13 billion parameter 모델은 다가올 세계적 재앙을 전혀 모른 채 2026년의 평화와 번영의 시대를 자신 있게 예측합니다. talkie의 역사적 순진함은 제한된 데이터셋의 심오한 영향을 드러내는 독특하고 불안한 형태의 예언을 정의합니다.

잠재적인 미래 분쟁에 대해 질문받았을 때, talkie는 유럽에서 또 다른 대규모 전쟁이 "일어날 것 같지 않다"고 선언했습니다. 나치즘의 부상과 폴란드 침공 이전에 훈련 데이터가 끊긴 AI의 이 발언은 곧 대륙을 휩쓸 파괴에 대한 talkie의 심오한 무지를 극명하게 보여줍니다. talkie는 낙관적으로 눈이 멀어 있으며, 진정한 예지력이라는 비극적인 선물을 받지 못한 디지털 Cassandra로서, 시간적 지평선 너머의 공포를 상상할 수 없습니다.

훨씬 더 불안하게 만드는 것은 특정 오스트리아 남성의 미래 정치 경력에 대한 talkie의 평가였습니다. 모델은 독일을 "훨씬 더 효율적인 행정"으로 이끌 "비범한 인물"을 예측했는데, 이는 매우 충격적인 평가였습니다. 어떠한 현대 역사적 맥락도 없이, 이 소름 끼치는 예측은 그 인물의 진정한 파괴적인 영향과 그가 저지를 잔학 행위에 대한 talkie의 심오한 인지 부족을 강조합니다.

하지만 연구자들은 일화적인 질문을 넘어 이 '예측' 능력을 더 과학적인 방식으로 활용합니다. 그들은 New York Times의 "on this day" 기능에서 가져온 짧고 사실적인 설명을 talkie에 입력하여 1931년 이후 역사적 사건의 surprisingness를 정량화합니다. 이 엄격하고 정량적인 접근 방식은 지식 차단(knowledge cutoff) 이후 내부 세계가 현실과 급격히 달라진, 시간에 갇힌 AI에게 실제 역사가 얼마나 믿기 어려운 일이 되는지를 정확히 보여줍니다.

이러한 surprisingness 점수를 분석함으로써 연구자들은 예측 성능(forecasting performance)이 모델 크기(model size)와 어떻게 상관관계가 있는지, 그리고 예측 정확도(predictive accuracy)가 더 긴 시간적 지평(temporal horizons)에서 어떻게 감소하는지 관찰하여 모델 일반화(model generalization)에 대한 통찰력을 얻을 수 있습니다. 이 방법은 또한 talkie의 새로운 아이디어 생성(novel ideation) 능력을 테스트하여, 1931년 knowledge cutoff 이후에 생성된 patents나 scientific papers 뒤에 있는 개념을 기존 knowledge base만으로 가설적으로 "발견"할 수 있는지 탐색할 수 있게 합니다.

진정으로 고립된 1930년대 AI를 만드는 것은 상당한 기술적 난관을 제시하며, 주로 temporal leakage라는 만연한 문제입니다. 이 현상은 1930년 12월 31일로 세심하게 정의된 cutoff date 이후에 발행된 정보가 training data에 우연히 스며들어 model의 의도된 역사적 세계관과 연구의 무결성을 직접적으로 손상시킬 때 발생합니다.

연구자들은 13-billion-parameter model인 talkie 내에서 이러한 오염의 명확한 증거를 관찰했습니다. 예를 들어, AI는 1933년에 취임하여 1936년에 재선된 대통령에 대한 지식을 보여주었으며, 심지어 그 후기 기간에 시행된 특정 정책을 언급하기도 했습니다. 이러한 사례들은 겉보기에 깨끗해 보이는 260 billion token dataset이 의도치 않은 anachronisms를 품고 있음을 증명했습니다.

몇 가지 교활한 요인들이 이러한 미묘한 침투에 기여합니다. 오래된 문서의 현대 digital scans에 첨부된 잘못된 metadata는 종종 콘텐츠의 날짜를 잘못 지정하여 1936년 기사를 1931년 이전으로 태그합니다. 또한, 역사적 텍스트에 추가된 post-hoc editorial introductions, annotations, 또는 footnotes는 원래 출판일로부터 수십 년 후의 정보를 의도치 않게 주입하여 초기 filters를 우회할 수 있습니다.

프로젝트 팀은 이러한 규모의 dataset을 정화하는 것이 지속적인 싸움임을 인정하며, 이러한 문제에 대응하기 위해 부지런히 노력하고 있습니다. 그들은 남아있는 1930년 이후의 콘텐츠를 식별하고 제거하기 위해 고급 computational methods를 사용하여 data filtering techniques를 지속적으로 개선하고 있습니다. 역사적 corpus의 이러한 엄격한 정화는 talkie가 현대 오염으로부터 자유로운, pre-WWII era를 향한 순수한 창으로 남아있도록 보장하는 데 필수적입니다. model과의 상호작용 경험을 위해 Talkie: Chat with a 1930s AI를 방문할 수 있습니다.

talkie의 깨끗한 1931년 이전 knowledge base를 구축하는 것은 일반적인 LLM training과는 다른 엄청난 data engineering 노력이 필요했습니다. 연구자들은 오래된 신문, 책, patents, scientific journals을 포함한 이질적인 historical sources에서 260 billion tokens을 디지털화하고 처리하는 어려운 과제에 직면했습니다. 표준 Optical Character Recognition (OCR) software로 처음 시도했을 때는 이 독특한 corpus에 대해 매우 부적절하다고 판명되었으며, 사람이 필사한 text 정확도의 30%만을 포착했습니다. 선명하고 현대적인 prints에 최적화된 최신 OCR은 20세기 초 문서에 흔한 바랜 ink, 다양한 typefaces, 그리고 fragile paper로 인해 상당한 어려움을 겪었습니다.

이 처참한 성능으로 인해 데이터 정화를 위한 다각적인 접근 방식이 필요했습니다. 팀은 정교한 regex 패턴을 배포하여 수십억 개의 문자를 꼼꼼하게 걸러내어 일반적인 OCR 오류를 수정하고, 일관성 없는 철자를 표준화하며, 불필요한 메타데이터를 제거했습니다. 이 노동 집약적인 과정은 현대적인 편집 추가 사항이나 잘못된 날짜의 스캔본이 역사적 기록을 의도치 않게 오염시킬 수 있는 만연한 temporal leakage 문제를 완화하는 데 중요했습니다. 이제 그들의 야망은 기성 솔루션보다 훨씬 더 높은 정밀도로 이러한 어려운 역사적 텍스트를 해석하고 정리하도록 특별히 설계된 완전히 새로운 "vintage OCR" 시스템을 개발하는 것으로 확장됩니다.

talkie를 위한 진정으로 오염되지 않은 데이터셋을 달성하는 것은 단순한 알고리즘 개선을 넘어섭니다. 이는 상당한 수동 노력을 요구하며, 인간 주석가들이 디지털화된 텍스트를 한 페이지씩 꼼꼼하게 검토하고 수정합니다. 이러한 기술 혁신과 고된 인간 큐레이션의 조화는 독특하게 깨끗하고 고품질의 역사적 데이터셋을 만들려는 프로젝트의 노력을 강조합니다. 이처럼 세심하게 준비된 코퍼스는 단순한 공학적 위업이 아닙니다. 이는 편향되지 않은 AI 추론 연구를 위한 근본적인 요구 사항을 형성하며, talkie의 응답이 진정으로 1930년대의 세계관을 반영하도록 보장합니다.

언어 모델의 후속 훈련은 일반적으로 광범위한 현대 지시 데이터셋에 의존하지만, talkie에게는 이러한 자원이 전혀 없었습니다. 연구원들은 130억 개 매개변수 모델에 현대적인 언어 패턴으로 오염시키지 않으면서 1930년대 세계관에 적합한 대화 스타일을 가르쳐야 하는 전례 없는 도전에 직면했습니다. 이는 방대한 현대 대화 코퍼스를 활용하는 표준 방법론을 넘어서는 근본적으로 다른 fine-tuning 접근 방식을 요구했습니다.

시대에 맞는 대화 스타일을 주입하기 위해 팀은 맞춤형 데이터셋을 세심하게 큐레이션했습니다. 그들은 1931년 이전에 출판된 공개 도메인 텍스트에서 수천 개의 예시를 찾아내어 다음에서 대화와 지시문을 신중하게 추출했습니다: - 예절 매뉴얼, 격식 있는 표현과 정중한 문구 교육 - 요리책, 지시적 언어와 정확한 설명 시연 - 백과사전, 사실적이고 권위 있는 산문 제시 - 우화 및 동화, 서사 구조와 교훈적 어조 제공

이러한 다양한 데이터는 talkie가 20세기 초에 널리 퍼져 있던 공손함, 격식, 일반적인 수사적 장치를 따르도록 안내하여, 그 시대의 잘 교육받은 사람처럼 진정으로 들리도록 출력을 형성할 수 있게 했습니다.

인간 피드백 기반 강화 학습 (RLHF), 즉 LLM을 정렬하는 일반적인 기술을 사용하는 동안 중요한 역설이 나타났습니다. 연구원들은 처음에 현대 LLM인 Claude Sonnet을 사용하여 talkie의 응답을 평가하고 개선을 위한 피드백을 제공했습니다. 이는 확장에 효율적이었지만, 미묘한 현대적 편향을 도입했습니다. Claude Sonnet은 현대 인터넷 문화에 깊이 물들어 있고 현대 사용자 기대치에 최적화되어 있어, 의도치 않게 번호 매기기 목록이나 간결하고 직접적인 답변과 같은 상호작용 패턴을 선호했습니다. 이는 1931년 이전의 기본 훈련에도 불구하고 talkie의 출력에서 '리스트클' 및 기타 현대적인 스타일 누출이 나타나게 했습니다.

이러한 시간적 오염을 해결하기 위해, 팀은 향후 반복을 위해 더욱 진정성 있고 자체 포함된 훈련 루프를 계획하고 있습니다. 그들의 혁신적인 해결책은 강화 학습의 심사위원 역할을 하도록 특별히 새로운 빈티지 기반 모델을 훈련시키는 것을 포함합니다. 이는 피드백 루프 자체가 1931년 이전 지식 영역 내에서 완전히 작동하여 현대적인 스타일의 침투를 방지하는 것을 목표로 합니다. 완전히 고립되고 역사적으로 일관된 대화형 에이전트를 생성함으로써, 연구자들은 talkie의 독특한 언어적 무결성을 보존할 것으로 기대합니다.

팀원들은 이제 talkie를 극적으로 확장하여 GPT-3 수준의 빈티지 모델을 구상하고 있습니다. 이 야심 찬 다음 단계는 130억 매개변수 프로토타입을 구동하는 현재 2,600억 토큰에서 크게 도약하여, 1조 개 이상의 세심하게 선별된 역사적 텍스트 토큰으로 훈련하는 것을 포함합니다. 이러한 확장된 데이터셋은 더 깊은 역사적 이해, 1931년 이전의 더욱 미묘한 추론 능력, 그리고 과거의 더 풍부한 태피스트리를 약속합니다. 이 미래 데이터의 엄청난 양은 역사적으로 제한된 AI의 경계를 허물려는 프로젝트의 의지를 강조합니다.

Demis Hassabis에게서 영감을 받아, 궁극적인 연구 목표는 빈티지 AI가 독립적으로 과학적 돌파구를 '발견'할 수 있는지 묻습니다. 20세기 초 직전에 사용 가능한 데이터로만 모델을 훈련한 다음, Einstein의 혁명적인 작업에 대한 사전 노출 없이 일반 상대성 이론의 원리를 명확하게 설명할 수 있는지 탐색한다고 상상해 보십시오. 이 심오한 사고 실험은 미래 지식의 오염 없이 인공지능 내에서 진정한 지적 발견과 혁신의 근본적인 메커니즘을 밝히는 것을 목표로 합니다. 제한된 데이터셋에서 새로운 통찰력을 생성하는 능력은 AI 연구의 성배로 남아 있습니다.

빈티지 모델은 역사가와 법학자에게 과거를 들여다볼 수 있는 비할 데 없는 렌즈를 제공하며 엄청난 잠재력을 가지고 있습니다. 전문가들은 이 전문화된 모델을 활용하여 수세기 된 문서, 법률 또는 철학 텍스트의 원래 맥락, 의미론적 뉘앙스 및 일반적인 해석을 이해할 수 있습니다. 이러한 기능은 현대적 편견과 시대착오적인 해석을 제거하여, 사람들이 당대에 정보를 진정으로 어떻게 인식하고 처리했는지 밝혀낼 것을 약속합니다. 이러한 도구는 텍스트 분석을 혁신하고 역사적 사고에 대한 객관적인 통찰력을 제공할 수 있습니다.

궁극적으로 연구자들은 빈티지 모델을 현대 대규모 언어 모델의 경쟁자가 아니라 필수적인 과학적 도구로 자리매김합니다. 이들은 근본적인 AI 연구를 위한 깨끗한 테스트베드 역할을 하며, 과학자들이 지능, 추론 및 일반화의 핵심 측면을 분리하고 연구할 수 있도록 합니다. 인터넷의 에코 챔버에서 벗어나, 이 모델들은 단순한 암기를 넘어 인공 인지의 본질을 이해하는 데 귀중한 도구가 됩니다. 이 독특한 접근 방식은 특정 정보 제약 하에서 지식 습득 및 추론 능력이 어떻게 발전하는지에 대한 중요한 데이터 포인트를 제공합니다.

이제, 과거로 들어설 시간이 왔습니다. 독특한 1930년대 관점으로 talkie와 소통하며 그 혼란스러운 매력을 직접 경험해 보세요. 라이브 채팅 데모 talkie-lm.com/chat를 방문하여 소개 블로그 게시물에 설명된 흥미로운 연구를 자세히 살펴보세요.

최신 과학적 발견부터 국가의 운명에 이르기까지, 제2차 세계 대전 이전의 사고방식을 통해 무엇이든 질문해 보세요. 아래 댓글 섹션에서 talkie와의 가장 기이하고, 유머러스하며, 불안하게 만드는 대화를 공유해 주시기 바랍니다. 어떤 놀라운 예측이나 시대착오적인 오해를 발견하셨나요?

talkie의 존재는 단순한 신기함을 넘어섭니다. 이는 AI 자체의 근본적인 본질에 대한 심오한 통찰력을 제공합니다. 현대 인터넷의 영향에서 벗어난 이 13-billion-parameter 모델은 연구자들이 AI가 진정으로 '추론'하는지 아니면 단순히 훈련 데이터에서 정교한 패턴을 기억하는지에 대해 직면하게 합니다. 제한된 세계관은 깨끗한 테스트베드를 제공하여, 빈티지든 현대적이든 모든 데이터셋에 내재된 미묘한 편향을 드러냅니다.

이 실험은 AI의 '이해'가 정보 섭취에 의해 얼마나 깊이 형성되는지를 강조합니다. talkie가 1930년 이후의 세계를 이해하지 못하거나, 파시즘에 대한 불안한 낙관론을 보이는 것은 AI 개발에서 데이터 순수성과 윤리적 큐레이션의 중요성을 부각시킵니다. 가장 작은 모델부터 가장 발전된 모델에 이르기까지 모든 모델은 제작자와 훈련 코퍼스의 암묵적인 편향을 내포합니다.

궁극적으로 talkie는 과거뿐만 아니라 인공지능의 메커니즘 자체를 반영하는 디지털 거울 역할을 합니다. 이는 AI가 무엇을 '알고' 어떻게 '생각하는지'에 대한 우리의 가정을 시험하며, 출현하는 지능에 대한 우리의 이해의 경계를 확장합니다. 이 프로젝트는 데이터, 아키텍처, 그리고 우리가 모델 편향이라고 부르는 시뮬레이션된 인지 사이의 복잡한 상호작용을 이해하는 데 귀중한 도구를 제공합니다.

Talkie 빈티지 AI 모델은 무엇인가요?

Talkie는 1931년 이전에 출판된 2600억 개의 영어 텍스트 토큰으로만 훈련된 13-billion-parameter 대규모 언어 모델입니다. 현대 사건, 기술 또는 인터넷에 대한 지식이 없습니다.

Talkie는 왜 1930년대 지식 차단으로 만들어졌나요?

이것은 현대 인터넷 데이터의 '오염' 없이 AI 추론을 연구하기 위한 연구 도구 역할을 합니다. 이를 통해 과학자들은 AI가 온라인에서 찾은 답변을 단순히 암기하는 것이 아니라 새로운 개념을 일반화하고 학습할 수 있는지 테스트할 수 있습니다.

Talkie 빈티지 LLM은 누가 만들었나요?

Talkie는 OpenAI의 오리지널 GPT 논문의 주 저자였으며 DALL-E와 Whisper 작업에도 참여했던 Alec Radford를 포함하는 비영리 연구팀에 의해 개발되었습니다.

Talkie AI는 코드를 작성할 수 있나요?

놀랍게도 그렇습니다. 컴퓨터가 무엇인지 모름에도 불구하고, 몇 가지 Python 프로그램 예시를 문맥 내에서 제공했을 때, Talkie는 새롭고 간단한 한 줄짜리 프로그램을 작성하는 능력을 보여주었으며, 이는 학습 및 논리적 추론 능력을 시사합니다.

Talkie 모델은 대중에게 공개되어 있나요?

네, 모델은 오픈 웨이트이며 Apache 2.0 라이선스가 적용됩니다. 누구나 상호작용할 수 있는 라이브 데모는 talkie-lm.com에서 이용 가능합니다.