Le paysage des grands modèles linguistiques (LLM) est au bord d'un changement sismique. Voici un guide simplifié pour les ingénieurs en IA et en ML sur les changements cruciaux qui se profilent à l'horizon.
De la recherche à la réalité
Vous ne crorez pas à quel point vous pouvez former votre propre modèle d'IA à moindre coût maintenant !
Oubliez la notion de GPT et de LLama comme de simples produits ; ils sont le modèle de la prochaine génération d'IA. La clarté imminente des architectures, des pipelines et des ensembles de données réduira considérablement les coûts de formation. Bientôt, la préformation d'un modèle spécialisé pourrait vous coûter seulement 10 à 100 000$, même dans une configuration distribuée. C'est la démocratisation du développement de l'IA.
Inférence sur les stéroïdes
Grâce à la quantification, au MoD et à l'optimisation des périphériques périphériques, nous sommes sur le point d'exécuter 13 à 30 milliards de modèles de paramètres sur nos téléphones intelligents et autres périphériques périphériques utilisant des architectures ARM, TPU et NPU. Les implications pour le développement d'applications et l'engagement des utilisateurs sont stupéfiantes.
La mise au point devient facultative
Étant donné que les modèles manipulent des millions de jetons, la nécessité de peaufiner diminue. Imaginez que vous alimentez un modèle tout votre historique organisationnel en une seule invite et que vous obteniez un modèle sur mesure en retour. Le passage d'une plateforme à une autre ? C'est sur le point de devenir aussi simple que copier-coller. Imaginez créer un modèle personnalisé en inscrivant simplement une invite comprenant 10 à 100 pages de l'historique de votre vie ou de vos dossiers organisationnels. Cette approche réduit considérablement l'obstacle à l'obtention de modèles d'IA personnalisés, simplifiant la transition entre des plateformes comme Zephyr et Hermès, ou Cloud et Databricks, aux simples clics et aux actions de copier-coller.
Routage adaptatif : la nouvelle norme
Le concept de routage adaptatif est sur le point de redéfinir la façon dont les applications interagissent avec les modèles et vice versa. Ce processus de sélection dynamique, fondé sur les exigences spécifiques d'une tâche et le paysage actuel des ressources informatiques, introduit un niveau sans précédent de flexibilité et d'efficacité dans le déploiement et l'utilisation des modèles.
L'avenir est flexible : les applications sélectionneront des modèles à la volée, adaptés à des tâches spécifiques, tandis que les modèles choisiront leur terrain de jeu informatique en fonction de la disponibilité du matériel en temps réel. Ce routage adaptatif est destiné à révolutionner le déploiement et l'efficacité des modèles. Exemple : Routeur « Martien ».
RAG redéfini
RAG n'ira nulle part ; il reçoit une mise à niveau. Grâce aux ensembles de données décentralisés qui absorbent les connaissances en temps réel, les modèles de base deviendront plus minces, plus rapides et, oui, capables de fonctionner sur un téléphone. Cette évolution signifie un abandon partiel de la préformation traditionnelle, ouvrant la voie à des modèles plus agiles et plus réactifs. Loin de devenir désuets, le RAG devrait remplacer partiellement le processus traditionnel de préformation. L'intégration de vastes ensembles de données RAG décentralisés, englobant des milliards, voire des billions de jetons, permettra aux modèles d'assimiler les connaissances en temps réel. Cette percée facilitera le développement de modèles de base qui sont non seulement plus minces et plus rapides, mais qui peuvent également être déployés sur des appareils « simples ».
Pour ceux qui sont à la fine pointe de l'IA et du ML, ces développements signalent une période de possibilités et d'innovation sans précédent. L'avenir des LLM promet non seulement des avancées technologiques, mais aussi une refonte complète de la façon dont nous abordons, déployons et interagissons avec l'IA.
