Google Cloud héberge désormais les modèles OpenAI

Recursive vient de lancer Flint, un modèle de Mixture-of-Experts (MoE) de codage sous licence Apache-2.0. Il intègre 40 milliards de paramètres au total et une fenêtre de contexte massive de 262K tokens, explicitement conçu pour fonctionner localement en complément d'agents cloud plus lourds.

Se fier entièrement aux API cloud de pointe pour votre flux de travail de développement est une recette pour la latence et les temps d'arrêt. Flint vous offre une alternative locale très performante qui peut ingérer des bases de code entières en une seule requête sans envoyer votre logique propriétaire sur le réseau.

Modal, la plateforme d'infrastructure IA, vient de franchir le cap du milliard de dollars de chiffre d'affaires annuel. Forte de cette croissance, elle a obtenu un financement de série D de 750 millions de dollars, portant la valorisation de l'entreprise à 16 milliards de dollars.

Pendant que les développeurs de modèles fondamentaux brûlent des milliards à la poursuite d'une intelligence théorique, les fournisseurs d'infrastructure amassent discrètement de l'argent. L'énorme série D de Modal met en lumière une demande insatiable et entièrement pratique pour un calcul IA évolutif qui fonctionne tout simplement.

Mirendil affirme avoir construit son premier modèle de base avec un seul chercheur en seulement 3,5 mois. Plus surprenant encore, l'entreprise déclare que cette exécution de pré-entraînement complète a coûté moins de 10 millions de dollars en calcul, démontrant une forte baisse des ressources nécessaires au développement de grands modèles.

Le consensus actuel dicte que l'entraînement de modèles de base compétitifs nécessite des équipes massives et des budgets de calcul à neuf chiffres. L'affirmation de Mirendil remet directement en question cette hypothèse, suggérant que l'efficacité algorithmique et une exécution ciblée peuvent remplacer le capital brut.

Perplexity et NVIDIA ont introduit JOLT, une méthode conjointe d'entraînement post-formation enseignant-élève. La technique aborde les faiblesses connues de l'auto-distillation en entraînant le modèle enseignant à l'aide de récompenses de résultats, tout en le pénalisant activement pour une divergence excessive par rapport au comportement du modèle élève.

La distillation de modèles massifs en tailles déployables entraîne souvent une perte de qualité de raisonnement. En forçant l'enseignant et l'élève à apprendre en tandem, JOLT améliore les performances sur les benchmarks et crée un pipeline plus stable pour la création de modèles efficaces et prêts pour la production.

DeepSeek a lancé DeepInfer, un nouveau framework qui expose des techniques avancées de planification de production pour l'inférence de modèles. Le système combine le décodage spéculatif, le dimensionnement dynamique du préremplissage et d'autres méthodes d'optimisation pour maximiser le débit.

Servir de grands modèles linguistiques à l'échelle est un cauchemar d'infrastructure. En rendant open-source la logique de planification qu'ils utilisent en interne, DeepSeek donne aux développeurs indépendants les outils pour réduire drastiquement la latence et les coûts de calcul dans les environnements de production.

Des chercheurs ont découvert que lorsque de grands modèles linguistiques sont interrogés sur la culture, ils présentent un biais distinct envers des pays comme le Japon. Ce favoritisme culturel n'apparaît pas dans les modèles de base ; il émerge spécifiquement après un réglage fin supervisé.

Nous traitons le réglage fin comme un mécanisme d'alignement des modèles avec les valeurs humaines, mais nous nous demandons rarement quelles valeurs sont au volant. Cette recherche prouve que le processus d'alignement injecte par inadvertance des préférences culturelles spécifiques dans la vision du monde du modèle.