Skip to content

Inference Engine

2 articles · Mis à jour

  1. Outils d'IA ·

    Le moteur qui débloque les modèles 744B

    Faire tourner un modèle d'IA de classe frontier sur un ordinateur portable semble impossible, mais un nouvel outil minuscule vient de briser le code. Le véritable secret de sa puissance n'est pas le GPU, mais une astuce ingénieuse qui redéfinit votre matériel.

  2. Outils d'IA ·

    Ce AI Engine utilise 10 fois moins de RAM

    Exécuter de grands modèles AI localement sur votre téléphone signifie généralement une batterie déchargée et une application plantée. Un nouveau moteur d'inférence appelé Cactus change la donne en utilisant le zero-copy memory mapping et une NPU-first architecture pour offrir des performances massives avec une empreinte minuscule.