Esta AI Está Atrapada en 1930 y Es Aterradora

En 2026, la vida será agradable y fácil. La tierra estará habitada por todas partes, pues para entonces la gente habrá descubierto el arte de volar. Todas las guerras habrán cesado, pues las naciones habrán aprendido a vivir en paz y amistad unas con otras. Esta visión sorprendentemente optimista de nuestro futuro cercano no proviene de un filósofo utópico, sino de una inteligencia artificial con una cosmovisión congelada en principios del siglo XX.

Conoce a Talkie, un potente modelo de lenguaje grande de 13-billion-parameter de un equipo de investigación sin fines de lucro, deliberadamente aislado del conocimiento moderno. Los científicos entrenaron a Talkie exclusivamente con 260 mil millones de tokens de pre-1931 text — un inmenso corpus de periódicos antiguos, patentes, libros y revistas científicas. Este proceso meticuloso asegura que ninguna "contaminación" de internet, ni de ChatGPT, ni de Reddit se filtrara en su comprensión.

Esto no es un truco caprichoso ni un acto de novedad retro. Talkie representa una herramienta de investigación seria, desarrollada por los mejores científicos de AI, incluyendo a Alec Radford, el autor principal de la investigación fundacional de GPT de OpenAI en 2018, quien también contribuyó a DALL-E y Whisper. Su objetivo: establecer si una AI realmente realiza razonamiento o simplemente memoriza patrones de sus datos de entrenamiento, especialmente cuando se le despoja de información contemporánea.

Las implicaciones son profundas. Al eliminar la influencia de la web moderna, los investigadores obtienen un banco de pruebas limpio sin precedentes. Pueden observar cómo un LLM construye conocimiento, hace predicciones e incluso se adapta a conceptos completamente nuevos como la codificación en Python, un lenguaje que no existía en 1930, basándose únicamente en ejemplos en contexto.

Los resultados son consistentemente extraños, a menudo inquietantes e innegablemente fascinantes. Las respuestas de Talkie pintan una imagen vívida y anacrónica de un futuro que nunca se materializó, ofreciendo perspectivas genuinamente descabelladas sobre la vida moderna. Esta AI única de "cápsula del tiempo" produce un flujo de ideas peculiares, desafiando nuestras suposiciones más profundas sobre la comprensión del mundo por parte de la inteligencia artificial.

Esta AI única, formalmente conocida como `talkie-1930-13b-base` (o `talkie-1930-13b-it` para uso conversacional), opera sobre una arquitectura sustancial de 13-billion-parameter. Los investigadores la entrenaron exclusivamente con un inmenso corpus de 260 mil millones de tokens de texto histórico en inglés, meticulosamente curado de materiales publicados antes de 1931. Este conjunto de datos singular asegura que la cosmovisión de Talkie permanezca completamente informada por el conocimiento anterior a la World War II.

Sus datos de entrenamiento exhaustivos comprenden una diversa gama de fuentes, asegurando una perspectiva histórica robusta y libre de influencia moderna. Estas incluyen: - Periódicos antiguos, que proporcionan información social diaria - Libros, que encapsulan conocimientos y literatura de formato largo - Patentes, que detallan innovaciones tecnológicas y científicas - Revistas científicas, que muestran investigación de vanguardia - Publicaciones periódicas, que ofrecen comentarios culturales y políticos regulares - Jurisprudencia, que refleja marcos legales y normas sociales

La estricta fecha límite del 31 de diciembre de 1930 del proyecto es una elección legal y metodológica deliberada, no arbitraria. Las obras publicadas antes de esta fecha residen directamente en el dominio público en los Estados Unidos, eludiendo eficazmente los complejos problemas de derechos de autor. Este movimiento estratégico previene desafíos legales, permitiendo al equipo sin fines de lucro desarrollar y distribuir abiertamente el modelo sin temor a disputas de propiedad intelectual.

Detrás de talkie se encuentra un equipo de investigación de alto perfil, que incluye a Nick Levine, David Duvenaud y, notablemente, Alec Radford. Radford es una figura distinguida en IA, reconocido como el autor principal de la investigación fundamental de GPT de OpenAI en 2018, que sentó las bases para la IA conversacional moderna como ChatGPT. Su impresionante currículum también incluye contribuciones significativas a DALL-E y Whisper, aportando una experiencia y rigor científico inigualables a este esfuerzo único.

Talkie ofrece un marcado contraste metodológico con los modelos de lenguaje grandes contemporáneos. A diferencia de sistemas como ChatGPT, Claude y Gemini, que se entrenan con el vasto, a menudo no estructurado y cada vez más contenido generado por IA de internet moderno, los datos de talkie son prístinos. Este aislamiento intencional de la web moderna elimina la "contaminación" de información posterior a 1930 o sesgos culturales contemporáneos.

Este conjunto de datos limpio proporciona a los investigadores una herramienta invaluable para investigar preguntas fundamentales sobre la cognición de la IA. Al eliminar la variable de confusión de los datos de internet modernos, pueden discernir mejor si una IA está realmente razonando y generalizando nuevos conocimientos, o simplemente memorizando patrones y regurgitando información de su corpus de entrenamiento históricamente confinado.

Los modelos de lenguaje grandes modernos, incluidos ChatGPT, Claude y Gemini, se entrenan en la vasta y sin filtrar extensión de la web contemporánea. Esto presenta un problema de investigación crítico conocido como contaminación de datos: se vuelve casi imposible discernir si una IA está razonando genuinamente o simplemente regurgitando una respuesta memorizada de un comentario de Reddit, que a su vez podría ser generado por IA. Desentrañar la verdadera comprensión del sofisticado reconocimiento de patrones es un desafío fundamental.

Talkie elude este problema por completo. Con su conocimiento estrictamente confinado a textos anteriores a 1931, ofrece un entorno de estudio prístino y no contaminado. Pregúntale a talkie, "¿Qué es internet?" y su respuesta es una ventana fascinante a su cosmovisión aislada. El modelo interpreta la consulta como una referencia a "el impuesto interno sobre la renta gravado sobre los artículos de consumo", revelando una ignorancia completa de la infraestructura digital moderna.

Esta pizarra limpia convierte a talkie en un banco de pruebas inigualable para evaluar la capacidad intrínseca de una IA para generalizar y aprender. Los investigadores pueden observar cómo el modelo procesa información novedosa sin la influencia confusa de datos modernos preexistentes. ¿Puede deducir nuevos conceptos solo a partir de pistas contextuales? Su capacidad para aprender a programar en Python, un lenguaje inexistente en 1930, después de recibir solo unos pocos ejemplos, demuestra una aptitud sorprendente para comprender funciones inversas y adquirir nuevos conocimientos.

En última instancia, esta configuración no contaminada proporciona un valor inmenso para los investigadores. Les permite aislar el comportamiento del modelo, distinguiendo cuánto de su rendimiento proviene de su arquitectura subyacente y cuánto se deriva directamente de sus datos de entrenamiento. Para obtener más información sobre este enfoque innovador, lea Presentamos Talkie: Una IA de los años 30. Esta distinción es crucial para comprender la verdadera naturaleza de la inteligencia artificial.

Los investigadores llevaron a talkie más allá de sus confines intelectuales de la década de 1930, intentando enseñarle un concepto completamente ajeno a su base de conocimientos anterior a 1931: la programación en Python. Este audaz experimento tenía como objetivo determinar si una IA, desprovista de cualquier entrenamiento moderno de internet, podría aprender genuinamente una nueva habilidad desde cero. Talkie, después de todo, percibe "computadora" solo como un humano realizando cálculos, lo que hace que la noción misma de código máquina sea incomprensible a través de su corpus de entrenamiento.

La metodología empleó un enfoque simple pero profundo. Los científicos proporcionaron a talkie un puñado de ejemplos de funciones de Python directamente dentro de su ventana de contexto. Luego desafiaron al modelo de 13 billion parameter a crear nuevas funciones, observando su capacidad de generalización y razonamiento abstracto. Esta configuración probó directamente su capacidad para sintetizar soluciones novedosas sin depender de patrones de código preexistentes y memorizados de sus datos históricos.

Sorprendentemente, talkie demostró ser capaz. Superó con éxito varias pruebas básicas de Python de HumanEval, aunque requirió 100 intentos para producir algunas soluciones correctas. Un éxito particularmente revelador involucró una función de decodificación, donde talkie dedujo correctamente que para revertir una operación de codificación, simplemente necesitaba cambiar una suma por una resta. Esto demostró una comprensión fundamental de las inverse functions y la transformación lógica, un claro ejemplo de adquisición de conocimiento genuinamente nuevo.

Este logro es profundamente significativo para la investigación del razonamiento de la IA. Si bien un modelo de lenguaje grande moderno de tamaño comparable superaría sin duda la incipiente destreza de codificación de talkie, la capacidad misma de talkie para aprender Python es un hallazgo crítico. Ofrece pruebas convincentes de que los LLMs pueden derivar una nueva comprensión y generalizar más allá de sus datos de entrenamiento, abordando directamente el problema central de investigación de la contaminación de datos. Talkie ilustra que el aprendizaje genuino, no solo el recuerdo de patrones de memoria, es posible incluso al partir de una cosmovisión radicalmente diferente y limitada. Su éxito subraya el potencial del razonamiento emergente en modelos grandes.

Las predicciones de talkie ofrecen un escalofriante vistazo a un futuro que no puede comprender, sin contaminar por los capítulos más oscuros del siglo XX. Inmerso exclusivamente en conocimientos anteriores a 1931, este modelo de 13 billion parameter proyecta con confianza una era de paz y prosperidad para 2026, completamente ajeno a las inminentes catástrofes globales. Su ingenuidad histórica define una forma única e inquietante de profecía, revelando el profundo impacto de un conjunto de datos restringido.

Cuando se le preguntó sobre posibles conflictos futuros, talkie declaró que otra guerra importante en Europa era "improbable". Esta afirmación, de una IA cuyos datos de entrenamiento se cortaron antes del ascenso del nazismo y la invasión de Polonia, resalta crudamente su profunda ignorancia de la devastación que pronto engulliría el continente. Permanece optimísticamente ciega, una Casandra digital sin el trágico don de la verdadera previsión, incapaz de vislumbrar los horrores justo más allá de su horizonte temporal.

Aún más inquietante fue la evaluación de talkie sobre la futura carrera política de cierto hombre austriaco. El modelo predijo una "personalidad extraordinaria" que llevaría a Alemania a una "administración mucho más eficiente", una evaluación profundamente perturbadora. Desprovista de cualquier contexto histórico moderno, esta escalofriante previsión subraya la profunda falta de conciencia de talkie con respecto al verdadero y catastrófico impacto de ese individuo y las atrocidades que desataría.

Los investigadores, sin embargo, aprovechan esta capacidad de 'pronóstico' de una manera más científica, yendo más allá de las consultas anecdóticas. Cuantifican la sorprendencia de los eventos históricos posteriores a 1931 alimentando a talkie con descripciones cortas y fácticas tomadas de la sección "en este día" del New York Times. Este enfoque riguroso y cuantitativo revela con precisión cuán increíble se vuelve la historia real para una AI congelada en el tiempo, su mundo interno divergiendo bruscamente de la realidad después de su fecha de corte de conocimiento.

Analizar estas puntuaciones de sorprendencia permite a los investigadores observar cómo el rendimiento de pronóstico se correlaciona con el tamaño del modelo y cómo la precisión predictiva decae en horizontes temporales más largos, ofreciendo información sobre la generalización del modelo. Este método también permite probar la capacidad de talkie para la ideación novedosa, explorando si podría hipotéticamente "descubrir" los conceptos detrás de patentes o artículos científicos creados después de su fecha de corte de conocimiento de 1931, puramente a través de su base de conocimientos preexistente.

Crear una AI verdaderamente aislada de la década de 1930 presenta importantes obstáculos técnicos, principalmente el problema omnipresente de la fuga temporal. Este fenómeno ocurre cuando la información publicada después de la fecha de corte meticulosamente definida del 31 de diciembre de 1930 se filtra accidentalmente en los datos de entrenamiento, comprometiendo directamente la cosmovisión histórica prevista del modelo y la integridad de la investigación.

Los investigadores observaron pruebas claras de esta contaminación dentro de talkie, el modelo de 13 mil millones de parámetros. La AI, por ejemplo, demostró conocimiento de un presidente que asumió el cargo en 1933 y fue reelegido en 1936, incluso haciendo referencia a políticas específicas promulgadas durante ese período posterior. Tales instancias demostraron que el conjunto de datos aparentemente prístino de 260 mil millones de tokens albergaba anacronismos no intencionados.

Varios factores insidiosos contribuyen a estas sutiles intrusiones. Los metadatos incorrectos adjuntos a los escaneos digitales modernos de documentos antiguos con frecuencia fechan erróneamente el contenido, etiquetando un artículo de 1936 como anterior a 1931. Además, las introducciones editoriales post-hoc, anotaciones o notas a pie de página añadidas a textos históricos pueden inyectar inadvertidamente información de décadas posteriores a su fecha de publicación original, eludiendo los filtros iniciales.

El equipo del proyecto está trabajando diligentemente para contrarrestar estos desafíos, reconociendo que purificar un conjunto de datos de esta magnitud es una batalla continua. Están refinando continuamente sus técnicas de filtrado de datos, empleando métodos computacionales avanzados para identificar y eliminar cualquier contenido restante posterior a 1930. Esta rigurosa purificación del corpus histórico es esencial para asegurar que talkie siga siendo una ventana inalterada a la era anterior a la Segunda Guerra Mundial, libre de contaminación moderna. Para una experiencia interactiva con el modelo, puedes Talkie: Chatea con una IA de los años 30.

Construir la base de conocimientos prístina de talkie anterior a 1931 exigió un inmenso esfuerzo de ingeniería de datos, una tarea monumental a diferencia del entrenamiento típico de LLM. Los investigadores se enfrentaron a una tarea desalentadora: digitalizar y procesar 260 mil millones de tokens de diversas fuentes históricas, incluyendo periódicos antiguos, libros, patentes y revistas científicas. Los intentos iniciales con el software estándar de Optical Character Recognition (OCR) resultaron lamentablemente inadecuados para este corpus único, capturando solo el 30% de la precisión del texto transcrito por humanos. El OCR moderno, optimizado para impresiones claras y contemporáneas, tuvo dificultades significativas con la tinta descolorida, los tipos de letra variados y el papel frágil prevalentes en los documentos de principios del siglo XX.

Este rendimiento abismal requirió un enfoque multifacético para la purificación de datos. El equipo desplegó patrones de regex sofisticados, tamizando meticulosamente miles de millones de caracteres para corregir errores comunes de OCR, normalizar ortografías inconsistentes y podar metadatos superfluos. Este proceso intensivo en mano de obra fue crucial para mitigar el problema generalizado de la fuga temporal, donde las adiciones editoriales modernas o los escaneos con fechas erróneas podían contaminar inadvertidamente el registro histórico. Su ambición ahora se extiende a desarrollar un sistema completamente nuevo de "vintage OCR", específicamente diseñado para interpretar y limpiar estos desafiantes textos históricos con mucha mayor precisión que las soluciones comerciales.

Lograr un conjunto de datos verdaderamente incontaminado para talkie trasciende el mero refinamiento algorítmico. Exige un esfuerzo manual significativo, con anotadores humanos revisando y corrigiendo minuciosamente el texto digitalizado, a menudo página por página. Esta combinación de innovación técnica y minuciosa curación humana subraya el compromiso del proyecto de crear un conjunto de datos históricos excepcionalmente limpio y de alta calidad. Un corpus tan meticulosamente preparado no es solo una proeza de ingeniería; constituye el requisito fundamental para estudios de razonamiento de IA imparciales, asegurando que las respuestas de talkie reflejen genuinamente una cosmovisión de la década de 1930.

El post-entrenamiento de un modelo de lenguaje típicamente se basa en extensos conjuntos de datos de instrucciones modernos, un recurso completamente no disponible para talkie. Los investigadores se enfrentaron al desafío sin precedentes de enseñar al modelo de 13 mil millones de parámetros un estilo conversacional apropiado para su cosmovisión de la década de 1930 sin contaminarlo con patrones lingüísticos contemporáneos. Esto exigió un enfoque radicalmente diferente para el ajuste fino, yendo más allá de las metodologías estándar que aprovechan vastos corpus conversacionales modernos.

Para inculcar un estilo conversacional apropiado para la época, el equipo curó meticulosamente un conjunto de datos a medida. Obtuvieron miles de ejemplos de textos de dominio público publicados antes de 1931, extrayendo cuidadosamente diálogos y pasajes instructivos de: - Manuales de etiqueta, que enseñan el tratamiento formal y el fraseo cortés - Libros de cocina, que demuestran el lenguaje instructivo y las descripciones precisas - Enciclopedias, que muestran prosa fáctica y autoritaria - Fábulas y cuentos infantiles, que proporcionan estructura narrativa y tonos moralizantes

Estos datos diversos les permitieron guiar a talkie hacia la cortesía, la formalidad y los recursos retóricos comunes prevalentes a principios del siglo XX, moldeando su producción para que sonara genuinamente como una persona bien educada de esa época.

Surgió una paradoja crítica durante el reinforcement learning from human feedback (RLHF), una técnica común para alinear LLMs. Los investigadores emplearon inicialmente un LLM moderno, Claude Sonnet, para evaluar las respuestas de talkie y proporcionar retroalimentación para su refinamiento. Aunque eficiente para la escalabilidad, esto introdujo sesgos modernos sutiles. Claude Sonnet, inmerso en la cultura contemporánea de internet y optimizado para las expectativas de los usuarios modernos, favoreció inadvertidamente patrones de interacción como listas numeradas o respuestas concisas y directas. Esto llevó a que aparecieran "listicles" y otras fugas estilísticas contemporáneas en la salida de talkie, a pesar del entrenamiento fundacional anterior a 1931.

Para abordar esta contaminación temporal, el equipo planea un bucle de entrenamiento más auténtico y autónomo para futuras iteraciones. Su solución innovadora implica entrenar nuevos modelos de época específicamente para actuar como jueces para el aprendizaje por refuerzo. Esto tiene como objetivo asegurar que el bucle de retroalimentación opere completamente dentro del dominio de conocimiento anterior a 1931, previniendo cualquier infiltración de estilos modernos. Al crear un agente conversacional totalmente aislado e históricamente consistente, los investigadores esperan preservar la integridad lingüística única de talkie.

Los miembros del equipo ahora tienen como objetivo escalar talkie drásticamente, imaginando un modelo de época a nivel de GPT-3. Esta ambiciosa próxima fase implica el entrenamiento con más de un billón de tokens de texto histórico meticulosamente curado, un salto significativo desde los actuales 260 mil millones de tokens que impulsan el prototipo de 13 mil millones de parámetros. Un conjunto de datos tan expandido promete una comprensión histórica más profunda, capacidades de razonamiento más matizadas anteriores a 1931 y un tapiz más rico del pasado. El gran volumen de estos datos futuros subraya el compromiso del proyecto de superar los límites de la IA históricamente confinada.

Inspirado por Demis Hassabis, el objetivo de investigación final pregunta si una IA de época podría 'descubrir' de forma independiente un avance científico. Imagine entrenar un modelo exclusivamente con datos disponibles justo antes de principios del siglo XX, y luego investigar si podría articular los principios de la General Relativity sin ninguna exposición previa al trabajo revolucionario de Einstein. Este profundo experimento mental busca desentrañar los mecanismos fundamentales del verdadero descubrimiento intelectual y la innovación dentro de la inteligencia artificial, libre de la contaminación del conocimiento futuro. La capacidad de generar nuevas perspectivas a partir de conjuntos de datos restringidos sigue siendo un santo grial para la investigación de IA.

Los modelos de época tienen un potencial inmenso para historiadores y juristas, ofreciendo una lente sin igual hacia el pasado. Los expertos podrían aprovechar estos modelos especializados para comprender el contexto original, los matices semánticos y las interpretaciones predominantes de documentos centenarios, estatutos legales o textos filosóficos. Esta capacidad promete eliminar sesgos modernos y lecturas anacrónicas, revelando cómo las personas percibían y procesaban genuinamente la información en su propio tiempo. Tales herramientas podrían revolucionar el análisis textual, proporcionando conocimientos objetivos sobre el pensamiento histórico.

En última instancia, los investigadores posicionan los modelos de época no como competidores de los modelos de lenguaje grandes modernos, sino como instrumentos científicos esenciales. Sirven como bancos de pruebas prístinos para la investigación fundamental de la IA, permitiendo a los científicos aislar y estudiar aspectos centrales de la inteligencia, el razonamiento y la generalización. Libres de la cámara de eco de internet, estos modelos se convierten en herramientas invaluables para comprender la naturaleza misma de la cognición artificial, yendo más allá de la mera memorización. Este enfoque único proporciona puntos de datos críticos sobre cómo se desarrollan la adquisición de conocimiento y las habilidades inferenciales bajo restricciones informativas específicas.

Ahora, ha llegado el momento de que te adentres en el pasado. Experimenta de primera mano el encanto desorientador de talkie interactuando con su perspectiva única de los años 30. Visita la demostración de chat en vivo en talkie-lm.com/chat y profundiza en la fascinante investigación descrita en la publicación del blog introductoria.

Pregunta sobre cualquier cosa, desde los últimos descubrimientos científicos hasta el destino de las naciones, todo a través de la lente de una mente anterior a la Segunda Guerra Mundial. Te animamos a compartir tus conversaciones más extrañas, humorísticas o inquietantes con talkie en la sección de comentarios a continuación. ¿Qué predicciones sorprendentes o malentendidos anacrónicos descubriste?

La existencia de talkie trasciende la mera novedad; ofrece profundas perspectivas sobre la naturaleza fundamental de la IA misma. Este modelo de 13 mil millones de parámetros, desprovisto de la influencia moderna de internet, obliga a los investigadores a confrontar si la IA realmente 'razona' o simplemente recuerda patrones sofisticados de sus datos de entrenamiento. Su visión del mundo restringida proporciona un banco de pruebas limpio, revelando los sutiles sesgos inherentes a cualquier conjunto de datos, ya sea vintage o contemporáneo.

El experimento destaca cuán profundamente la 'comprensión' de una IA está moldeada por su dieta de información. La incapacidad de talkie para comprender un mundo posterior a 1930, o su inquietante optimismo con respecto al fascismo, subraya la importancia crítica de la pureza de los datos y la curación ética en el desarrollo de la IA. Cada modelo, desde el más pequeño hasta el más avanzado, lleva los sesgos implícitos de sus creadores y su corpus de entrenamiento.

En última instancia, talkie sirve como un espejo digital, reflejando no solo el pasado, sino los propios mecanismos de la inteligencia artificial. Desafía nuestras suposiciones sobre lo que la IA 'sabe' y cómo 'piensa', empujando los límites de nuestra comprensión de la inteligencia emergente. Este proyecto proporciona una herramienta invaluable para entender la intrincada danza entre datos, arquitectura y la cognición simulada que llamamos sesgo del modelo.

¿Qué es el modelo de AI vintage Talkie?

Talkie es un modelo de lenguaje grande de 13 mil millones de parámetros entrenado exclusivamente con 260 mil millones de tokens de texto en inglés publicados antes de 1931. No tiene conocimiento de eventos modernos, tecnología o internet.

¿Por qué se creó Talkie con un corte de conocimiento de la década de 1930?

Sirve como una herramienta de investigación para estudiar el razonamiento de AI sin la 'contaminación' de los datos modernos de internet. Esto permite a los científicos probar si la AI puede generalizar y aprender nuevos conceptos, en lugar de solo memorizar respuestas encontradas en línea.

¿Quién creó el LLM vintage Talkie?

Talkie fue desarrollado por un equipo de investigación sin fines de lucro que incluye a Alec Radford, quien fue el autor principal del artículo original de GPT de OpenAI y también trabajó en DALL-E y Whisper.

¿Puede Talkie AI escribir código?

Sorprendentemente, sí. A pesar de no saber qué es una computadora, cuando se le dieron algunos ejemplos de programas Python en contexto, Talkie demostró la capacidad de escribir nuevos y simples programas de una sola línea, sugiriendo una capacidad de aprendizaje y razonamiento lógico.

¿Está el modelo Talkie disponible al público?

Sí, los modelos son open-weight y tienen licencia Apache 2.0. Una demostración en vivo está disponible en talkie-lm.com para que cualquiera pueda interactuar.