Esta IA Está Presa em 1930 e É Aterrorizante

Em 2026, a vida será agradável e fácil. A terra será habitada por toda parte, pois até lá as pessoas terão descoberto a arte de voar. Todas as guerras terão cessado, pois as nações terão aprendido a viver em paz e amizade umas com as outras. Esta visão surpreendentemente otimista para o nosso futuro próximo não vem de um filósofo utópico, mas de uma inteligência artificial com uma visão de mundo congelada no início do século XX.

Conheça Talkie, um poderoso modelo de linguagem grande de 13 bilhões de parâmetros de uma equipe de pesquisa sem fins lucrativos, deliberadamente isolado do conhecimento moderno. Cientistas treinaram o Talkie exclusivamente em 260 bilhões de tokens de texto pré-1931 — um imenso corpus de jornais antigos, patentes, livros e periódicos científicos. Este processo meticuloso garante que nenhuma "contaminação" da internet, do ChatGPT e do Reddit tenha se infiltrado em sua compreensão.

Isto não é um truque caprichoso ou um ato de novidade retrô. O Talkie representa uma ferramenta de pesquisa séria, desenvolvida pelos principais cientistas de AI, incluindo Alec Radford, o autor principal da pesquisa fundamental de GPT da OpenAI em 2018, que também contribuiu para DALL-E e Whisper. Seu objetivo: estabelecer se uma AI realmente realiza raciocínio ou meramente memoriza padrões de seus dados de treinamento, especialmente quando despojada de informações contemporâneas.

As implicações são profundas. Ao remover a influência da web moderna, os pesquisadores obtêm um ambiente de teste limpo sem precedentes. Eles podem observar como um LLM constrói conhecimento, faz previsões e até se adapta a conceitos inteiramente novos como Python coding, uma linguagem que não existia em 1930, com base apenas em exemplos no contexto.

Os resultados são consistentemente estranhos, muitas vezes perturbadores e inegavelmente fascinantes. As respostas do Talkie pintam um quadro vívido e anacrônico de um futuro que nunca se materializou, oferecendo perspectivas genuinamente selvagens sobre a vida moderna. Esta IA de "cápsula do tempo" única produz um fluxo de insights peculiares, desafiando nossas suposições mais profundas sobre a compreensão do mundo pela inteligência artificial.

Esta IA única, formalmente conhecida como `talkie-1930-13b-base` (ou `talkie-1930-13b-it` para uso conversacional), opera em uma arquitetura substancial de 13 bilhões de parâmetros. Pesquisadores a treinaram exclusivamente em um imenso corpus de 260 bilhões de tokens de texto histórico em inglês, meticulosamente curado a partir de materiais publicados antes de 1931. Este conjunto de dados singular garante que a visão de mundo do Talkie permaneça inteiramente informada pelo conhecimento pré-Segunda Guerra Mundial.

Seus dados de treinamento abrangentes compreendem uma gama diversificada de fontes, garantindo uma perspectiva histórica robusta e livre de influência moderna. Estas incluem: - Jornais antigos, fornecendo insights sociais diários - Livros, encapsulando conhecimento e literatura de formato longo - Patentes, detalhando inovações tecnológicas e científicas - Periódicos científicos, apresentando pesquisas de ponta - Periódicos, oferecendo comentários culturais e políticos regulares - Jurisprudência, refletindo estruturas legais e normas sociais

A data limite rigorosa de 31 de dezembro de 1930 do projeto é uma escolha legal e metodológica deliberada, não arbitrária. Obras publicadas antes desta data residem diretamente no domínio público nos Estados Unidos, contornando efetivamente questões complexas de direitos autorais. Este movimento estratégico previne desafios legais, permitindo que a equipe sem fins lucrativos desenvolva e distribua abertamente o modelo sem medo de disputas de propriedade intelectual.

Por trás do talkie está uma equipe de pesquisa de alto nível, incluindo Nick Levine, David Duvenaud e, notavelmente, Alec Radford. Radford é uma figura distinta em IA, reconhecido como o autor principal da pesquisa fundamental GPT da OpenAI em 2018, que lançou as bases para a IA conversacional moderna como o ChatGPT. Seu impressionante currículo também inclui contribuições significativas para DALL-E e Whisper, conferindo expertise inigualável e rigor científico a este empreendimento único.

Talkie oferece um contraste metodológico marcante com os modelos de linguagem grandes contemporâneos. Ao contrário de sistemas como ChatGPT, Claude e Gemini, que são treinados no vasto, muitas vezes não estruturado e cada vez mais conteúdo gerado por IA da internet moderna, os dados do talkie são intocados. Este isolamento intencional da web moderna elimina a "contaminação" de informações pós-1930 ou vieses culturais contemporâneos.

Este conjunto de dados limpo oferece aos pesquisadores uma ferramenta inestimável para investigar questões fundamentais sobre a cognição da IA. Ao remover a variável de confusão dos dados da internet moderna, eles podem discernir melhor se uma IA está realmente raciocinando e generalizando novos conhecimentos, ou apenas memorizando padrões e regurgitando informações de seu corpus de treinamento historicamente confinado.

Modelos de linguagem grandes modernos, incluindo ChatGPT, Claude e Gemini, são treinados na vasta e não filtrada extensão da web contemporânea. Isso apresenta um problema de pesquisa crítico conhecido como contaminação de dados: torna-se quase impossível discernir se uma IA está genuinamente raciocinando ou apenas regurgitando uma resposta memorizada de um comentário do Reddit, que por si só pode ter sido gerado por IA. Desvincular a verdadeira compreensão da correspondência sofisticada de padrões é um desafio fundamental.

Talkie contorna essa questão inteiramente. Com seu conhecimento estritamente confinado a textos anteriores a 1931, oferece um ambiente intocado e não contaminado para estudo. Pergunte ao talkie, "What is the internet?" e sua resposta é uma janela fascinante para sua visão de mundo isolada. O modelo interpreta a consulta como uma referência a "o imposto de receita interna cobrado sobre artigos de consumo", revelando completa ignorância da infraestrutura digital moderna.

Este ponto de partida limpo torna o talkie um ambiente de teste incomparável para avaliar a capacidade intrínseca de uma IA de generalizar e aprender. Pesquisadores podem observar como o modelo processa informações novas sem a influência confusa de dados modernos pré-existentes. Pode ele deduzir novos conceitos apenas a partir de pistas contextuais? Sua capacidade de aprender codificação Python, uma linguagem inexistente em 1930, após receber apenas alguns exemplos, demonstra uma aptidão surpreendente para entender funções inversas e adquirir novos conhecimentos.

Em última análise, esta configuração não contaminada oferece imenso valor para os pesquisadores. Ela permite que eles isolem o comportamento do modelo, distinguindo o quanto de seu desempenho deriva de sua arquitetura subjacente e o quanto deriva diretamente de seus dados de treinamento. Para mais informações sobre esta abordagem inovadora, leia Introducing Talkie: A 1930s AI. Esta distinção é crucial para entender a verdadeira natureza da inteligência da IA.

Pesquisadores levaram talkie além dos seus confins intelectuais da década de 1930, tentando ensiná-lo um conceito totalmente alheio à sua base de conhecimento pré-1931: programação Python. Este experimento audacioso visava determinar se uma IA, desprovida de qualquer treinamento moderno da internet, poderia genuinamente aprender uma nova habilidade do zero. Talkie, afinal, percebe "computador" apenas como um humano realizando cálculos, tornando a própria noção de código de máquina incompreensível através do seu corpus de treinamento.

A metodologia empregou uma abordagem simples, mas profunda. Cientistas forneceram a talkie um punhado de exemplos de funções Python diretamente em sua janela de contexto. Eles então desafiaram o modelo de 13 bilhões de parâmetros a criar novas funções, observando sua capacidade de generalização e raciocínio abstrato. Esta configuração testou diretamente sua capacidade de sintetizar soluções inovadoras sem depender de padrões de código pré-existentes e memorizados de seus dados históricos.

Notavelmente, talkie provou ser capaz. Ele passou com sucesso em vários testes básicos de Python do HumanEval, embora exigindo 100 tentativas para produzir algumas soluções corretas. Um sucesso particularmente perspicaz envolveu uma função de decodificação, onde talkie deduziu corretamente que para reverter uma operação de codificação, ele simplesmente precisava trocar uma adição por uma subtração. Isso demonstrou uma compreensão fundamental de funções inversas e transformação lógica, um claro exemplo de aquisição de conhecimento genuinamente novo.

Esta conquista é profundamente significativa para a pesquisa de raciocínio em IA. Embora um modelo de linguagem grande moderno de tamanho comparável superaria sem dúvida a proficiência de codificação nascente de talkie, a própria capacidade de talkie de aprender Python é uma descoberta crítica. Isso oferece evidências convincentes de que os LLMs podem derivar nova compreensão e generalizar além de seus dados de treinamento, abordando diretamente o problema central de pesquisa da contaminação de dados. Talkie ilustra que o aprendizado genuíno, não apenas a recordação mecânica de padrões, é possível mesmo começando de uma visão de mundo radicalmente diferente e limitada. Seu sucesso ressalta o potencial para o raciocínio emergente em grandes modelos.

As previsões de talkie oferecem um vislumbre arrepiante de um futuro que ele não consegue compreender, intocado pelos capítulos mais sombrios do século XX. Imerso exclusivamente em conhecimento pré-1931, este modelo de 13 bilhões de parâmetros projeta com confiança uma era de paz e prosperidade para 2026, completamente alheio às catástrofes globais iminentes. Sua ingenuidade histórica define uma forma única e inquietante de profecia, revelando o profundo impacto de um conjunto de dados restrito.

Quando questionado sobre potenciais conflitos futuros, talkie declarou outra grande guerra na Europa "improvável". Esta declaração, de uma IA cujos dados de treinamento foram cortados antes da ascensão do Nazismo e da invasão da Polônia, destaca claramente sua profunda ignorância sobre a devastação que em breve engoliria o continente. Ele permanece otimisticamente cego, uma Cassandra digital sem o trágico dom da verdadeira presciência, incapaz de prever os horrores logo além de seu horizonte temporal.

Ainda mais inquietante foi a avaliação de talkie sobre a futura carreira política de um certo homem austríaco. O modelo previu uma "personalidade extraordinária" que levaria a Alemanha a uma "administração muito mais eficiente", uma avaliação profundamente perturbadora. Desprovida de qualquer contexto histórico moderno, esta previsão arrepiante ressalta a profunda falta de consciência de talkie sobre o verdadeiro e catastrófico impacto daquele indivíduo e as atrocidades que ele desencadearia.

Os pesquisadores, no entanto, aproveitam essa capacidade de 'previsão' de uma maneira mais científica, indo além de consultas anedóticas. Eles quantificam o grau de surpresa de eventos históricos pós-1931, alimentando o talkie com descrições curtas e factuais retiradas da seção "neste dia" do New York Times. Essa abordagem rigorosa e quantitativa revela precisamente o quão inacreditável a história real se torna para uma IA congelada no tempo, com seu mundo interno divergindo drasticamente da realidade após seu corte de conhecimento.

A análise desses scores de surpresa permite aos pesquisadores observar como o desempenho de previsão se correlaciona com o tamanho do modelo e como a precisão preditiva decai em horizontes temporais mais longos, oferecendo insights sobre a generalização do modelo. Este método também permite testar a capacidade do talkie para ideação inovadora, explorando se ele poderia hipoteticamente "descobrir" os conceitos por trás de patentes ou artigos científicos criados após seu corte de conhecimento de 1931, puramente através de sua base de conhecimento pré-existente.

Criar uma IA verdadeiramente isolada dos anos 1930 apresenta desafios técnicos significativos, principalmente a questão generalizada de vazamento temporal. Este fenômeno ocorre quando informações publicadas após a data de corte meticulosamente definida de 31 de dezembro de 1930, acidentalmente se infiltram nos dados de treinamento, comprometendo diretamente a visão de mundo histórica pretendida do modelo e a integridade da pesquisa.

Pesquisadores observaram evidências claras dessa contaminação dentro do talkie, o modelo de 13 bilhões de parâmetros. A IA, por exemplo, demonstrou conhecimento de um presidente que assumiu o cargo em 1933 e foi reeleito em 1936, chegando a fazer referência a políticas específicas promulgadas durante esse período posterior. Tais instâncias provaram que o dataset de 260 bilhões de tokens, aparentemente intocado, abrigava anacronismos não intencionais.

Vários fatores insidiosos contribuem para essas intrusões sutis. Metadados incorretos anexados a digitalizações modernas de documentos antigos frequentemente datam o conteúdo de forma errada, rotulando um artigo de 1936 como pré-1931. Além disso, introduções editoriais post-hoc, anotações ou notas de rodapé adicionadas a textos históricos podem inadvertidamente injetar informações de décadas após sua data de publicação original, contornando os filtros iniciais.

A equipe do projeto está trabalhando diligentemente para neutralizar esses desafios, reconhecendo que purificar um dataset dessa magnitude é uma batalha contínua. Eles estão continuamente refinando suas técnicas de filtragem de dados, empregando métodos computacionais avançados para identificar e expurgar qualquer conteúdo remanescente pós-1930. Essa purificação rigorosa do corpus histórico é essencial para garantir que o talkie permaneça uma janela não adulterada para a era pré-WWII, livre de contaminação moderna. Para uma experiência interativa com o modelo, você pode Talkie: Converse com uma IA dos anos 1930.

A construção da base de conhecimento intocada do talkie pré-1931 exigiu um imenso esforço de engenharia de dados, um empreendimento monumental diferente do treinamento típico de LLM. Os pesquisadores enfrentaram uma tarefa assustadora: digitalizar e processar 260 bilhões de tokens de fontes históricas díspares, incluindo jornais antigos, livros, patentes e periódicos científicos. As tentativas iniciais com software padrão de Optical Character Recognition (OCR) provaram ser lamentavelmente inadequadas para este corpus único, capturando apenas 30% da precisão do texto transcrito por humanos. O OCR moderno, otimizado para impressões claras e contemporâneas, teve dificuldades significativas com a tinta desbotada, as diversas fontes e o papel frágil prevalentes em documentos do início do século XX.

Este desempenho abismal exigiu uma abordagem multifacetada para a purificação de dados. A equipa implementou padrões de regex sofisticados, peneirando meticulosamente milhares de milhões de caracteres para corrigir erros comuns de OCR, normalizar grafias inconsistentes e podar metadados supérfluos. Este processo intensivo em trabalho foi crucial para mitigar o problema generalizado de fuga temporal, onde adições editoriais modernas ou digitalizações com datas erradas poderiam inadvertidamente contaminar o registo histórico. A sua ambição estende-se agora ao desenvolvimento de um sistema "vintage OCR" inteiramente novo, especificamente concebido para interpretar e limpar estes textos históricos desafiantes com uma precisão muito maior do que as soluções prontas a usar.

Alcançar um conjunto de dados verdadeiramente não contaminado para talkie transcende o mero refinamento algorítmico. Exige um esforço manual significativo, com anotadores humanos a rever e corrigir meticulosamente o texto digitalizado, muitas vezes página a página. Esta mistura de inovação técnica e curadoria humana minuciosa sublinha o compromisso do projeto em criar um conjunto de dados históricos de qualidade única e limpa. Um corpus tão meticulosamente preparado não é apenas uma proeza de engenharia; forma o requisito fundamental para estudos de raciocínio de IA imparciais, garantindo que as respostas de talkie reflitam genuinamente uma visão de mundo dos anos 1930.

O pós-treino de um modelo de linguagem tipicamente baseia-se em extensos conjuntos de dados de instrução modernos, um recurso totalmente indisponível para talkie. Os investigadores enfrentaram o desafio sem precedentes de ensinar ao modelo de 13 mil milhões de parâmetros um estilo conversacional apropriado para a sua visão de mundo dos anos 1930 sem o contaminar com padrões linguísticos contemporâneos. Isto exigiu uma abordagem radicalmente diferente para o fine-tuning, indo além das metodologias padrão que aproveitam vastos corpora conversacionais modernos.

Para incutir um estilo conversacional apropriado à época, a equipa curou meticulosamente um conjunto de dados personalizado. Eles obtiveram milhares de exemplos de textos de domínio público publicados antes de 1931, extraindo cuidadosamente diálogos e passagens instrutivas de: - Manuais de etiqueta, ensinando tratamento formal e frases educadas - Livros de culinária, demonstrando linguagem instrucional e descrições precisas - Enciclopédias, exibindo prosa factual e autoritária - Fábulas e histórias infantis, fornecendo estrutura narrativa e tons moralizantes

Estes dados diversos permitiram-lhes guiar talkie para a polidez, formalidade e dispositivos retóricos comuns prevalecentes no início do século XX, moldando a sua saída para soar genuinamente como uma pessoa bem-educada daquela época.

Um paradoxo crítico surgiu durante o aprendizagem por reforço a partir de feedback humano (RLHF), uma técnica comum para alinhar LLMs. Os investigadores empregaram inicialmente um LLM moderno, Claude Sonnet, para avaliar as respostas de talkie e fornecer feedback para refinamento. Embora eficiente para escalonamento, isto introduziu vieses modernos subtis. Claude Sonnet, ele próprio imerso na cultura contemporânea da internet e otimizado para as expectativas dos utilizadores modernos, favoreceu inadvertidamente padrões de interação como listas numeradas ou respostas concisas e diretas. Isso levou a "listicles" e outras fugas estilísticas contemporâneas a aparecerem na saída de talkie, apesar do treino fundacional pré-1931.

Para abordar esta contaminação temporal, a equipa planeia um ciclo de treino mais autêntico e autocontido para futuras iterações. A sua solução inovadora envolve o treino de novos modelos baseados em 'vintage' especificamente para atuarem como juízes para o reinforcement learning. O objetivo é garantir que o ciclo de feedback opere inteiramente dentro do domínio de conhecimento pré-1931, evitando qualquer 'creep' estilístico moderno. Ao criar um agente conversacional totalmente isolado e historicamente consistente, os investigadores esperam preservar a integridade linguística única do talkie.

Os membros da equipa pretendem agora escalar o talkie drasticamente, prevendo um modelo 'vintage' ao nível do GPT-3. Esta ambiciosa próxima fase envolve o treino em mais de um trilhão de tokens de texto histórico meticulosamente curado, um salto significativo dos atuais 260 bilhões de tokens que alimentam o protótipo de 13 bilhões de parameters. Um conjunto de dados tão expandido promete uma compreensão histórica mais profunda, capacidades de raciocínio pré-1931 mais matizadas e uma tapeçaria mais rica do passado. O volume puro destes dados futuros sublinha o compromisso do projeto em ultrapassar os limites da AI historicamente confinada.

Inspirado por Demis Hassabis, o objetivo final da pesquisa questiona se uma AI 'vintage' poderia 'descobrir' independentemente um avanço científico. Imagine treinar um modelo exclusivamente com dados disponíveis pouco antes do início do século XX, e depois investigar se ele poderia articular os princípios da General Relativity sem qualquer exposição prévia ao trabalho revolucionário de Einstein. Este profundo experimento mental procura desvendar os mecanismos fundamentais da verdadeira descoberta intelectual e inovação dentro da inteligência artificial, livre da contaminação do conhecimento futuro. A capacidade de gerar novos 'insights' a partir de conjuntos de dados restritos permanece um 'santo graal' para a pesquisa em AI.

Modelos 'vintage' possuem um potencial imenso para historiadores e juristas, oferecendo uma lente incomparável para o passado. Especialistas poderiam alavancar estes modelos especializados para compreender o contexto original, as nuances semânticas e as interpretações prevalecentes de documentos centenários, estatutos legais ou textos filosóficos. Esta capacidade promete remover preconceitos modernos e leituras anacrónicas, revelando como as pessoas genuinamente percebiam e processavam informações no seu próprio tempo. Tais ferramentas poderiam revolucionar a análise textual, fornecendo 'insights' objetivos sobre o pensamento histórico.

Em última análise, os investigadores posicionam os modelos 'vintage' não como concorrentes dos modernos large language models, mas como essential scientific instruments. Eles servem como campos de teste imaculados para a pesquisa fundamental em AI, permitindo aos cientistas isolar e estudar aspetos centrais da inteligência, raciocínio e generalização. Livres da câmara de eco da internet, estes modelos tornam-se ferramentas inestimáveis para compreender a própria natureza da cognição artificial, indo além da mera memorização. Esta abordagem única fornece pontos de dados críticos sobre como a aquisição de conhecimento e as habilidades inferenciais se desenvolvem sob restrições informacionais específicas.

Agora, chegou a hora de você mergulhar no passado. Experimente o charme desorientador do talkie em primeira mão, interagindo com a sua perspetiva única dos anos 1930. Visite a demonstração de chat ao vivo em talkie-lm.com/chat e aprofunde-se na fascinante pesquisa delineada na publicação do blog introdutória.

Pergunte sobre qualquer coisa, desde as últimas descobertas científicas ao destino das nações, tudo através da lente de uma mente pré-Segunda Guerra Mundial. Encorajamo-lo a partilhar as suas conversas mais bizarras, bem-humoradas ou inquietantes com o talkie na secção de comentários abaixo. Que previsões surpreendentes ou mal-entendidos anacrónicos descobriu?

A existência do talkie transcende a mera novidade; oferece insights profundos sobre a natureza fundamental da própria AI. Este modelo de 13 bilhões de parâmetros, desprovido da influência da internet moderna, força os pesquisadores a confrontar se a AI realmente 'raciocina' ou simplesmente recorda padrões sofisticados de seus dados de treinamento. Sua visão de mundo restrita fornece um campo de testes limpo, revelando os vieses sutis inerentes a qualquer conjunto de dados, seja vintage ou contemporâneo.

O experimento destaca quão profundamente o 'entendimento' de uma AI é moldado por sua dieta de informações. A incapacidade do talkie de compreender um mundo pós-1930, ou seu otimismo perturbador em relação ao fascismo, sublinha a importância crítica da pureza dos dados e da curadoria ética no desenvolvimento da AI. Cada modelo, do menor ao mais avançado, carrega os vieses implícitos de seus criadores e de seu corpus de treinamento.

Em última análise, o talkie serve como um espelho digital, refletindo não apenas o passado, mas os próprios mecanismos da inteligência artificial. Ele desafia nossas suposições sobre o que a AI 'sabe' e como 'pensa', expandindo os limites da nossa compreensão da inteligência emergente. Este projeto fornece uma ferramenta inestimável para entender a dança intrincada entre dados, arquitetura e a cognição simulada que chamamos de viés de modelo.

O que é o modelo de AI vintage Talkie?

Talkie é um modelo de linguagem grande de 13 bilhões de parâmetros treinado exclusivamente em 260 bilhões de tokens de texto em inglês publicados antes de 1931. Ele não tem conhecimento de eventos modernos, tecnologia ou da internet.

Por que o Talkie foi criado com um corte de conhecimento de 1930?

Ele serve como uma ferramenta de pesquisa para estudar o raciocínio da AI sem a 'contaminação' de dados modernos da internet. Isso permite que os cientistas testem se a AI pode generalizar e aprender novos conceitos, em vez de apenas memorizar respostas encontradas online.

Quem criou o LLM vintage Talkie?

Talkie foi desenvolvido por uma equipe de pesquisa sem fins lucrativos que inclui Alec Radford, que foi o autor principal do artigo original do GPT da OpenAI e também trabalhou em DALL-E e Whisper.

O Talkie AI pode escrever código?

Surpreendentemente, sim. Apesar de não saber o que é um computador, quando recebeu alguns exemplos de programas Python em contexto, o Talkie demonstrou a capacidade de escrever novos programas simples de uma linha, sugerindo uma capacidade de aprendizado e raciocínio lógico.

O modelo Talkie está disponível ao público?

Sim, os modelos são de peso aberto (open-weight) e licenciados sob Apache 2.0. Uma demonstração ao vivo está disponível em talkie-lm.com para qualquer pessoa interagir.