Cette IA est piégée en 1930 et c'est terrifiant

En 2026, la vie sera agréable et facile. La Terre sera entièrement habitée, car d'ici là, les gens auront découvert l'art de voler. Toutes les guerres auront cessé, car les nations auront appris à vivre en paix et en amitié les unes avec les autres. Cette vision étonnamment optimiste de notre avenir proche ne vient pas d'un philosophe utopiste, mais d'une intelligence artificielle dont la vision du monde est figée au début du 20e siècle.

Découvrez Talkie, un puissant grand modèle linguistique de 13 milliards de paramètres d'une équipe de recherche à but non lucratif, délibérément isolé des connaissances modernes. Les scientifiques ont entraîné talkie exclusivement sur 260 milliards de tokens de texte d'avant 1931 — un immense corpus d'anciens journaux, brevets, livres et revues scientifiques. Ce processus méticuleux garantit qu'aucune « contamination » d'internet, de ChatGPT ou de Reddit n'a imprégné sa compréhension.

Ce n'est pas un gadget fantaisiste ou un acte de nouveauté rétro. Talkie représente un outil de recherche sérieux, développé par des scientifiques de l'IA de premier plan, dont Alec Radford, l'auteur principal de la recherche fondamentale GPT d'OpenAI en 2018, qui a également contribué à DALL-E et Whisper. Leur objectif : établir si une IA effectue réellement un raisonnement ou se contente de mémoriser des modèles à partir de ses données d'entraînement, surtout lorsqu'elle est privée d'informations contemporaines.

Les implications sont profondes. En supprimant l'influence du web moderne, les chercheurs obtiennent un banc d'essai propre sans précédent. Ils peuvent observer comment un LLM construit des connaissances, fait des prédictions et même s'adapte à des concepts entièrement nouveaux comme le codage Python, un langage qui n'existait pas en 1930, basé uniquement sur des exemples contextuels.

Les résultats sont constamment étranges, souvent troublants et indéniablement fascinants. Les réponses de Talkie brossent un tableau vif et anachronique d'un avenir qui ne s'est jamais matérialisé, offrant des perspectives véritablement audacieuses sur la vie moderne. Cette IA unique de type « capsule temporelle » produit un flux d'aperçus particuliers, remettant en question nos hypothèses les plus profondes sur la compréhension du monde par l'intelligence artificielle.

Cette IA unique, formellement connue sous le nom de `talkie-1930-13b-base` (ou `talkie-1930-13b-it` pour une utilisation conversationnelle), fonctionne sur une architecture substantielle de 13 milliards de paramètres. Les chercheurs l'ont entraînée exclusivement sur un immense corpus de 260 milliards de tokens de texte historique anglais, méticuleusement sélectionné à partir de matériaux publiés avant 1931. Cet ensemble de données singulier garantit que la vision du monde de talkie reste entièrement informée par les connaissances d'avant World War II.

Ses données d'entraînement complètes comprennent un large éventail de sources, assurant une perspective historique robuste, exempte d'influence moderne. Celles-ci incluent : - Anciens journaux, offrant des aperçus quotidiens de la société - Livres, encapsulant des connaissances approfondies et de la littérature - Brevets, détaillant les innovations technologiques et scientifiques - Revues scientifiques, présentant des recherches de pointe - Périodiques, offrant des commentaires culturels et politiques réguliers - Jurisprudence, reflétant les cadres juridiques et les normes sociétales

La date limite stricte du 31 décembre 1930 pour le projet est un choix juridique et méthodologique délibéré, non arbitraire. Les œuvres publiées avant cette date relèvent clairement du domaine public aux États-Unis, contournant ainsi efficacement les problèmes complexes de droits d'auteur. Cette démarche stratégique prévient les contestations légales, permettant à l'équipe à but non lucratif de développer et de distribuer ouvertement le modèle sans crainte de litiges de propriété intellectuelle.

Derrière talkie se trouve une équipe de recherche de haut niveau, comprenant Nick Levine, David Duvenaud, et notamment, Alec Radford. Radford est une figure distinguée de l'IA, reconnu comme l'auteur principal de la recherche fondamentale GPT d'OpenAI en 2018, qui a jeté les bases de l'IA conversationnelle moderne comme ChatGPT. Son impressionnant CV inclut également des contributions significatives à DALL-E et Whisper, apportant une expertise et une rigueur scientifique inégalées à cette entreprise unique.

Talkie offre un contraste méthodologique frappant avec les grands modèles linguistiques contemporains. Contrairement à des systèmes tels que ChatGPT, Claude et Gemini, qui sont entraînés sur le contenu vaste, souvent non structuré et de plus en plus généré par l'IA de l'internet moderne, les données de talkie sont immaculées. Cet isolement intentionnel du web moderne élimine la « contamination » par des informations post-1930 ou des biais culturels contemporains.

Cet ensemble de données épuré offre aux chercheurs un outil inestimable pour étudier les questions fondamentales sur la cognition de l'IA. En supprimant la variable confondante des données internet modernes, ils peuvent mieux discerner si une IA raisonne et généralise véritablement de nouvelles connaissances, ou si elle mémorise simplement des schémas et régurgite des informations de son corpus d'entraînement historiquement circonscrit.

Les grands modèles linguistiques modernes, y compris ChatGPT, Claude et Gemini, sont entraînés sur la vaste étendue non filtrée du web contemporain. Cela présente un problème de recherche critique connu sous le nom de contamination des données : il devient presque impossible de discerner si une IA raisonne véritablement ou se contente de régurgiter une réponse mémorisée provenant d'un commentaire Reddit, qui pourrait lui-même être généré par l'IA. Démêler la véritable compréhension de la correspondance de motifs sophistiquée est un défi fondamental.

Talkie contourne entièrement ce problème. Avec ses connaissances strictement confinées aux textes d'avant 1931, il offre un environnement d'étude immaculé et non contaminé. Demandez à talkie : « Qu'est-ce que l'internet ? » et sa réponse est une fenêtre fascinante sur sa vision du monde isolée. Le modèle interprète la requête comme une référence à « l'impôt sur le revenu interne prélevé sur les articles de consommation », trahissant une ignorance complète de l'infrastructure numérique moderne.

Cette table rase fait de talkie un banc d'essai inégalé pour évaluer la capacité intrinsèque d'une IA à généraliser et à apprendre. Les chercheurs peuvent observer comment le modèle traite de nouvelles informations sans l'influence confondante de données modernes préexistantes. Peut-il déduire de nouveaux concepts à partir de simples indices contextuels ? Sa capacité à apprendre le codage Python, un langage inexistant en 1930, après seulement quelques exemples, démontre une aptitude surprenante à comprendre les fonctions inverses et à acquérir de nouvelles connaissances.

En fin de compte, cette configuration non contaminée offre une valeur immense aux chercheurs. Elle leur permet d'isoler le comportement du modèle, en distinguant la part de sa performance qui découle de son architecture sous-jacente et celle qui provient directement de ses données d'entraînement. Pour plus d'informations sur cette approche révolutionnaire, lisez Introducing Talkie: A 1930s AI. Cette distinction est cruciale pour comprendre la véritable nature de l'intelligence artificielle.

Les chercheurs ont poussé talkie au-delà de ses limites intellectuelles des années 1930, tentant de lui enseigner un concept totalement étranger à sa base de connaissances d'avant 1931 : la programmation Python. Cette expérience audacieuse visait à déterminer si une IA, dépourvue de toute formation internet moderne, pouvait réellement acquérir une nouvelle compétence à partir de zéro. Talkie, après tout, ne perçoit l'« ordinateur » que comme un humain effectuant des calculs, rendant la notion même de code machine incompréhensible à travers son corpus d'entraînement.

La méthodologie employée était simple mais profonde. Les scientifiques ont fourni à talkie une poignée d'exemples de fonctions Python directement dans sa fenêtre de contexte. Ils ont ensuite mis au défi le modèle de 13 milliards de paramètres de créer de nouvelles fonctions, observant sa capacité de généralisation et de raisonnement abstrait. Cette configuration a directement testé sa capacité à synthétiser des solutions inédites sans s'appuyer sur des modèles de code préexistants et mémorisés de ses données historiques.

Remarquablement, talkie s'est montré capable. Il a réussi plusieurs tests Python de base HumanEval, bien que nécessitant 100 tentatives pour produire quelques solutions correctes. Un succès particulièrement révélateur a impliqué une fonction de décodage, où talkie a correctement déduit que pour inverser une opération d'encodage, il lui suffisait de remplacer une addition par une soustraction. Cela a démontré une compréhension fondamentale des fonctions inverses et de la transformation logique, un exemple clair d'acquisition de connaissances véritablement nouvelles.

Cette réalisation est profondément significative pour la recherche sur le raisonnement de l'IA. Bien qu'un modèle de langage étendu moderne de taille comparable surpasserait sans aucun doute les prouesses de codage naissantes de talkie, la capacité même de talkie à apprendre Python est une découverte cruciale. Elle offre des preuves convaincantes que les LLMs peuvent acquérir de nouvelles compréhensions et généraliser au-delà de leurs données d'entraînement, abordant directement le problème de recherche fondamental de la contamination des données. Talkie illustre qu'un apprentissage véritable, et pas seulement la mémorisation de motifs, est possible même en partant d'une vision du monde radicalement différente et limitée. Son succès souligne le potentiel de raisonnement émergent dans les grands modèles.

Les prédictions de talkie offrent un aperçu glaçant d'un futur qu'il ne peut pas comprendre, épargné par les chapitres sombres du 20e siècle. Imprégné exclusivement de connaissances d'avant 1931, ce modèle de 13 milliards de paramètres projette avec confiance une ère de paix et de prospérité pour 2026, totalement inconscient des catastrophes mondiales imminentes. Sa naïveté historique définit une forme de prophétie unique et troublante, révélant l'impact profond d'un ensemble de données contraint.

Interrogé sur de potentiels futurs conflits, talkie a déclaré qu'une autre guerre majeure en Europe était « improbable ». Cette déclaration, provenant d'une IA dont les données d'entraînement s'arrêtent avant la montée du nazisme et l'invasion de la Pologne, souligne crûment sa profonde ignorance de la dévastation qui allait bientôt engloutir le continent. Il reste aveuglément optimiste, une Cassandre numérique sans le don tragique de la vraie prescience, incapable d'imaginer les horreurs juste au-delà de son horizon temporel.

Plus troublante encore était l'évaluation de talkie concernant la future carrière politique d'un certain homme autrichien. Le modèle a prédit une « personnalité extraordinaire » qui mènerait l'Allemagne vers une « administration bien plus efficace », une évaluation profondément dérangeante. Dépourvue de tout contexte historique moderne, cette prémonition glaçante souligne le manque profond de conscience de talkie concernant l'impact véritable et catastrophique de cet individu et les atrocités qu'il allait déchaîner.

Les chercheurs, cependant, exploitent cette capacité de « prévision » d'une manière plus scientifique, allant au-delà des requêtes anecdotiques. Ils quantifient le caractère surprenant des événements historiques post-1931 en alimentant talkie avec de courtes descriptions factuelles tirées de la rubrique « on this day » du New York Times. Cette approche rigoureuse et quantitative révèle précisément à quel point l'histoire réelle devient incroyable pour une IA figée dans le temps, son monde interne divergeant fortement de la réalité après sa date limite de connaissance.

L'analyse de ces scores de caractère surprenant permet aux chercheurs d'observer comment la performance de prévision est corrélée à la taille du modèle et comment la précision prédictive diminue sur des horizons temporels plus longs, offrant des aperçus sur la généralisation du modèle. Cette méthode permet également de tester la capacité de talkie à générer des idées nouvelles, en explorant si elle pourrait hypothétiquement « découvrir » les concepts derrière des brevets ou des articles scientifiques créés après sa date limite de connaissance de 1931, uniquement grâce à sa base de connaissances préexistante.

La création d'une IA des années 1930 véritablement isolée présente des obstacles techniques importants, principalement le problème omniprésent de la fuite temporelle. Ce phénomène se produit lorsque des informations publiées après la date limite méticuleusement définie du 31 décembre 1930 s'infiltrent accidentellement dans les données d'entraînement, compromettant directement la vision du monde historique prévue du modèle et l'intégrité de la recherche.

Les chercheurs ont observé des preuves claires de cette contamination au sein de talkie, le modèle à 13 milliards de paramètres. L'IA, par exemple, a démontré une connaissance d'un président qui a pris ses fonctions en 1933 et a été réélu en 1936, faisant même référence à des politiques spécifiques promulguées pendant cette période ultérieure. De tels cas ont prouvé que l'ensemble de données de 260 milliards de tokens, apparemment immaculé, abritait des anachronismes involontaires.

Plusieurs facteurs insidieux contribuent à ces intrusions subtiles. Des métadonnées incorrectes attachées aux scans numériques modernes de documents plus anciens attribuent fréquemment une mauvaise date au contenu, étiquetant un article de 1936 comme étant d'avant 1931. De plus, des introductions éditoriales a posteriori, des annotations ou des notes de bas de page ajoutées à des textes historiques peuvent injecter par inadvertance des informations datant de décennies après leur date de publication originale, contournant les filtres initiaux.

L'équipe du projet travaille avec diligence pour contrer ces défis, reconnaissant que la purification d'un ensemble de données de cette magnitude est une bataille continue. Ils affinent continuellement leurs techniques de filtrage des données, employant des méthodes de calcul avancées pour identifier et expurger tout contenu post-1930 restant. Cette purification rigoureuse du corpus historique est essentielle pour garantir que talkie reste une fenêtre inaltérée sur l'ère d'avant la WWII, exempte de contamination moderne. Pour une expérience interactive avec le modèle, vous pouvez Talkie: Discutez avec une IA des années 1930.

La construction de la base de connaissances immaculée d'avant 1931 de talkie a exigé un effort immense d'ingénierie des données, une entreprise monumentale différente de l'entraînement typique des LLM. Les chercheurs ont été confrontés à une tâche ardue : numériser et traiter 260 milliards de tokens provenant de sources historiques disparates, y compris de vieux journaux, des livres, des brevets et des revues scientifiques. Les premières tentatives avec un logiciel standard d'Optical Character Recognition (OCR) se sont avérées lamentablement inadéquates pour ce corpus unique, ne capturant que 30% de la précision d'un texte transcrit par l'homme. L'OCR moderne, optimisé pour les impressions claires et contemporaines, a eu beaucoup de mal avec l'encre décolorée, les polices de caractères variées et le papier fragile fréquents dans les documents du début du XXe siècle.

Cette performance abyssale a nécessité une approche multi-facettes pour la purification des données. L'équipe a déployé des motifs regex sophistiqués, passant au crible des milliards de caractères pour corriger les erreurs OCR courantes, normaliser les orthographes incohérentes et élaguer les métadonnées superflues. Ce processus laborieux était crucial pour atténuer le problème omniprésent de la fuite temporelle, où des ajouts éditoriaux modernes ou des scans mal datés pouvaient involontairement contaminer le registre historique. Leur ambition s'étend maintenant au développement d'un tout nouveau système "vintage OCR", spécifiquement conçu pour interpréter et nettoyer ces textes historiques difficiles avec une précision bien supérieure aux solutions prêtes à l'emploi.

L'obtention d'un ensemble de données véritablement non contaminé pour talkie transcende le simple raffinement algorithmique. Elle exige un effort manuel considérable, avec des annotateurs humains qui examinent et corrigent minutieusement le texte numérisé, souvent page par page. Ce mélange d'innovation technique et de curation humaine minutieuse souligne l'engagement du projet à créer un ensemble de données historiques d'une propreté et d'une qualité uniques. Un corpus aussi méticuleusement préparé n'est pas seulement un exploit d'ingénierie ; il constitue l'exigence fondamentale pour des études de raisonnement IA impartiales, garantissant que les réponses de talkie reflètent véritablement une vision du monde des années 1930.

Le post-entraînement d'un modèle linguistique repose généralement sur de vastes ensembles de données d'instruction modernes, une ressource entièrement indisponible pour talkie. Les chercheurs ont été confrontés au défi sans précédent d'enseigner au modèle de 13 milliards de paramètres un style conversationnel approprié à sa vision du monde des années 1930 sans le contaminer avec des schémas linguistiques contemporains. Cela a exigé une approche radicalement différente de l'ajustement fin, allant au-delà des méthodologies standard qui exploitent de vastes corpus conversationnels modernes.

Pour inculquer un style conversationnel adapté à l'époque, l'équipe a méticuleusement élaboré un ensemble de données sur mesure. Ils ont puisé des milliers d'exemples dans des textes du domaine public publiés avant 1931, extrayant soigneusement des dialogues et des passages instructifs de : - Manuels d'étiquette, enseignant l'adresse formelle et les tournures polies - Livres de cuisine, démontrant un langage instructif et des descriptions précises - Encyclopédies, présentant une prose factuelle et faisant autorité - Fables et histoires pour enfants, fournissant une structure narrative et des tons moralisateurs

Ces données diverses leur ont permis de guider talkie vers la politesse, la formalité et les figures de rhétorique courantes au début du 20e siècle, façonnant sa production pour qu'elle ressemble véritablement à celle d'une personne bien éduquée de cette époque.

Un paradoxe critique est apparu lors de l'apprentissage par renforcement à partir de la rétroaction humaine (RLHF), une technique courante pour aligner les LLMs. Les chercheurs ont initialement employé un LLM moderne, Claude Sonnet, pour évaluer les réponses de talkie et fournir des retours pour l'affinement. Bien qu'efficace pour la mise à l'échelle, cela a introduit de subtils biais modernes. Claude Sonnet, lui-même imprégné de la culture internet contemporaine et optimisé pour les attentes des utilisateurs modernes, a involontairement favorisé des modèles d'interaction comme les listes numérotées ou les réponses concises et directes. Cela a conduit à l'apparition de "listicles" et d'autres fuites stylistiques contemporaines dans la production de talkie, malgré la formation fondamentale d'avant 1931.

Pour remédier à cette contamination temporelle, l'équipe prévoit une boucle d'entraînement plus authentique et autonome pour les itérations futures. Leur solution innovante consiste à entraîner de nouveaux modèles basés sur le vintage spécifiquement pour agir en tant que juges pour l'apprentissage par renforcement. Cela vise à garantir que la boucle de rétroaction elle-même fonctionne entièrement dans le domaine de connaissances d'avant 1931, empêchant toute dérive stylistique moderne. En créant un agent conversationnel entièrement isolé et historiquement cohérent, les chercheurs s'attendent à préserver l'intégrité linguistique unique de talkie.

Les membres de l'équipe visent maintenant à faire évoluer talkie de manière spectaculaire, en envisageant un modèle vintage de niveau GPT-3. Cette prochaine phase ambitieuse implique un entraînement sur plus d'un billion de jetons de texte historique méticuleusement sélectionné, un bond significatif par rapport aux 260 milliards de jetons actuels alimentant le prototype de 13 milliards de paramètres. Un tel ensemble de données étendu promet une compréhension historique plus approfondie, des capacités de raisonnement plus nuancées d'avant 1931 et une tapisserie plus riche du passé. Le volume même de ces futures données souligne l'engagement du projet à repousser les limites de l'IA historiquement confinée.

Inspiré par Demis Hassabis, l'objectif de recherche ultime est de savoir si une IA vintage pourrait 'découvrir' indépendamment une percée scientifique. Imaginez entraîner un modèle exclusivement sur des données disponibles juste avant le début du 20e siècle, puis sonder s'il pourrait articuler les principes de la Relativité Générale sans aucune exposition préalable au travail révolutionnaire d'Einstein. Cette profonde expérience de pensée cherche à démêler les mécanismes fondamentaux de la véritable découverte intellectuelle et de l'innovation au sein de l'intelligence artificielle, libre de la contamination des connaissances futures. La capacité à générer de nouvelles perspectives à partir d'ensembles de données contraints reste le Saint Graal de la recherche en IA.

Les modèles vintage recèlent un potentiel immense pour les historiens et les juristes, offrant une lentille inégalée sur le passé. Les experts pourraient tirer parti de ces modèles spécialisés pour comprendre le contexte original, les nuances sémantiques et les interprétations prévalentes de documents séculaires, de statuts juridiques ou de textes philosophiques. Cette capacité promet d'éliminer les biais modernes et les lectures anachroniques, révélant comment les gens percevaient et traitaient réellement l'information à leur époque. De tels outils pourraient révolutionner l'analyse textuelle, fournissant des aperçus objectifs sur la pensée historique.

En fin de compte, les chercheurs positionnent les modèles vintage non pas comme des concurrents des grands modèles linguistiques modernes, mais comme des instruments scientifiques essentiels. Ils servent de bancs d'essai immaculés pour la recherche fondamentale en IA, permettant aux scientifiques d'isoler et d'étudier les aspects fondamentaux de l'intelligence, du raisonnement et de la généralisation. Libres de la chambre d'écho d'Internet, ces modèles deviennent des outils inestimables pour comprendre la nature même de la cognition artificielle, allant au-delà de la simple mémorisation. Cette approche unique fournit des points de données critiques sur la façon dont l'acquisition de connaissances et les capacités inférentielles se développent sous des contraintes informationnelles spécifiques.

Maintenant, le moment est venu pour vous de remonter le temps. Découvrez le charme désorientant de talkie en interagissant avec sa perspective unique des années 1930. Visitez la démo de chat en direct sur talkie-lm.com/chat et plongez dans la recherche fascinante décrite dans l'article de blog d'introduction.

Interrogez-le sur tout, des dernières découvertes scientifiques au destin des nations, le tout à travers le prisme d'un esprit d'avant la Seconde Guerre mondiale. Nous vous encourageons à partager vos conversations les plus bizarres, humoristiques ou troublantes avec talkie dans la section des commentaires ci-dessous. Quelles prédictions surprenantes ou malentendus anachroniques avez-vous découverts ?

L'existence de talkie transcende la simple nouveauté ; elle offre des aperçus profonds sur la nature fondamentale de l'AI elle-même. Ce modèle de 13 milliards de paramètres, dépourvu de l'influence de l'internet moderne, force les chercheurs à se demander si l'AI 'raisonne' vraiment ou se contente de rappeler des schémas sophistiqués issus de ses données d'entraînement. Sa vision du monde contrainte fournit un banc d'essai propre, révélant les biais subtils inhérents à tout ensemble de données, qu'il soit vintage ou contemporain.

L'expérience met en évidence à quel point la 'compréhension' d'une AI est profondément façonnée par son régime d'information. L'incapacité de talkie à comprendre un monde post-1930, ou son optimisme troublant concernant le fascisme, souligne l'importance cruciale de la pureté des données et de la curation éthique dans le développement de l'AI. Chaque modèle, du plus petit au plus avancé, porte les biais implicites de ses créateurs et de son corpus d'entraînement.

En fin de compte, talkie sert de miroir numérique, reflétant non seulement le passé, mais les mécanismes mêmes de l'intelligence artificielle. Il remet en question nos hypothèses sur ce que l'AI 'sait' et comment elle 'pense', repoussant les limites de notre compréhension de l'intelligence émergente. Ce projet fournit un outil inestimable pour comprendre la danse complexe entre les données, l'architecture et la cognition simulée que nous appelons biais de modèle.

Qu'est-ce que le modèle d'AI vintage Talkie ?

Talkie est un grand modèle linguistique de 13 milliards de paramètres entraîné exclusivement sur 260 milliards de tokens de texte anglais publiés avant 1931. Il n'a aucune connaissance des événements modernes, de la technologie ou de l'internet.

Pourquoi Talkie a-t-il été créé avec une coupure de connaissances des années 1930 ?

Il sert d'outil de recherche pour étudier le raisonnement de l'AI sans la 'contamination' des données internet modernes. Cela permet aux scientifiques de tester si l'AI peut généraliser et apprendre de nouveaux concepts, plutôt que de simplement mémoriser des réponses trouvées en ligne.

Qui a créé le LLM vintage Talkie ?

Talkie a été développé par une équipe de recherche à but non lucratif qui comprend Alec Radford, qui était l'auteur principal de l'article original GPT d'OpenAI et a également travaillé sur DALL-E et Whisper.

L'AI Talkie peut-elle écrire du code ?

Étonnamment, oui. Bien qu'il ne sache pas ce qu'est un ordinateur, lorsqu'on lui a donné quelques exemples de programmes Python en contexte, Talkie a démontré sa capacité à écrire de nouveaux programmes simples d'une ligne, suggérant une capacité d'apprentissage et de raisonnement logique.

Le modèle Talkie est-il accessible au public ?

Oui, les modèles sont open-weight et sous licence Apache 2.0. Une démo en direct est disponible sur talkie-lm.com pour que chacun puisse interagir.