Le mécanisme caché derrière la « réflexion » d'un LLM

Imaginez un modèle basique prédisant le prix d'une maison : 1 000 pieds carrés multipliés par un poids appris de 300 donnent un résultat de 300 000 $. Les réseaux de neurones réels étendent ce principe, en combinant de nombreuses entrées et poids à travers plusieurs couches. La sortie d'une couche devient l'entrée de la suivante.

Ces unités de calcul sont des neurones, et toutes les valeurs apprises sont des paramètres. Cette multiplication simple offre une intuition, mais elle sous-estime largement la complexité d'un LLM. Un LLM de pointe comme Llama 3 405B possède 126 couches ; GPT-4 est estimé entre 96 et 128 couches.

L'empilement des couches permet aux modèles d'apprendre des motifs de plus en plus complexes. Bien que « environ 100 couches » illustre une profondeur courante, les architectures spécifiques varient considérablement. Chaque couche transforme les données d'entrée, permettant au réseau d'extraire des caractéristiques à partir d'informations brutes, un peu comme reconnaître des contours avant d'identifier un objet.

Le texte commence son parcours non pas sous forme de mots, mais sous forme de tokens — des identifiants numériques représentant des fragments de mots courants ou de la ponctuation. « Bank » peut correspondre à un identifiant de token unique. Une table de correspondance spécialisée associe ensuite chaque identifiant de token à un embedding numérique : un vecteur, ou une liste de nombres, qui fournit une représentation initiale exploitable par le modèle.

Prenons le mot « bank ». Son sens change radicalement entre « I sat on the river bank » (Je me suis assis sur la rive) et « I put my money in the bank » (J'ai mis mon argent à la banque). Une entrée de dictionnaire fixe ne peut pas capturer cette nuance. Pour que le modèle résolve cette ambiguïté, il doit prendre en compte les mots environnants.

C'est ici qu'intervient l'auto-attention causale, le mécanisme central de l'architecture Transformer fondamentale. Au sein de chaque couche, chaque token à une position donnée peut « prêter attention » à, ou extraire des informations de, tous les tokens précédents dans la séquence. Il met à jour dynamiquement sa représentation numérique en y intégrant les indices contextuels les plus pertinents.

Pour « bank » dans « river bank », le mécanisme d'attention pourrait accorder un poids important à « river », tandis que dans « money in the bank », il se concentrerait sur « money ». Ce mélange contextuel garantit que le vecteur du token reflète précisément son usage. Après environ 100 couches de ce type, l'embedding final du token encapsule le contexte complet du message, permettant au modèle de faire des prédictions très éclairées pour le token suivant.

Un bloc Transformer, l'unité de calcul centrale des LLM, effectue deux opérations distinctes. Premièrement, un mécanisme d'attention mélange les informations à travers les positions des tokens. Cela permet à un modèle de pondérer la pertinence de chaque mot précédent par rapport au mot actuel, résolvant des ambiguïtés comme savoir si « bank » fait référence au bord d'une rivière ou à une institution financière en examinant ses voisins.

Une fois que l'attention a contextualisé le token, un réseau feed-forward (FFN) traite son vecteur indépendamment. Considérez le FFN comme un détecteur de motifs : il prend la représentation numérique ajustée de « bank » et vérifie la présence de motifs intégrés, comme « Est-ce lié à l'argent ? ». Si un motif correspond, le FFN amplifie ce que le modèle a appris sur ce concept spécifique. Des chercheurs comme Geva et al. ont montré que ces couches agissent comme des mémoires associatives, récupérant des associations factuelles.

Bien que cette vue simplifiée capture l'essentiel, les blocs de transformer réels intègrent également des mécanismes tels que les residual connections et des couches de normalisation. Ces composants, omis de l'analogie de la vidéo pour plus de clarté, stabilisent l'entraînement et améliorent les performances. Pour une plongée plus approfondie dans l'architecture des transformers, explorez l'article séminal Attention Is All You Need. Les LLM modernes comme Llama 3 405B exploitent jusqu'à 126 couches de ce type pour construire des représentations contextuelles complexes.

Après environ 100 couches d'attention et de réseaux feed-forward, la représentation contextuelle finale du modèle pour la position du dernier jeton arrive à la couche de sortie. Ce vecteur se convertit ensuite en logits : des scores numériques pour chaque jeton du vocabulaire du modèle, qui peuvent aller de 32 000 à plus de 128 000 jetons uniques. Une fonction softmax peut ensuite transformer ces logits en probabilités, indiquant la probabilité que chaque jeton soit le mot suivant.

Le décodage sélectionne ensuite le jeton suivant. Bien que choisir simplement le jeton ayant la probabilité la plus élevée soit une stratégie, des méthodes avancées comme le sampling introduisent un élément de hasard, permettant des sorties plus diversifiées et créatives au sein de la distribution de probabilités. Ce jeton unique est ensuite ajouté à l'entrée, et tout le processus se répète, générant le jeton suivant dans la séquence.

Ce processus itératif, jeton par jeton, connu sous le nom d'autoregressive generation, construit une réponse entière. Il est crucial de noter que le modèle ne planifie pas sa réponse complète à l'avance ; il prédit chaque jeton en fonction des précédents. Bien que les modèles de raisonnement avancés puissent consacrer plus de calculs lors de l'inférence pour générer des étapes intermédiaires ou des « pensées », ils produisent toujours leur résultat final de manière séquentielle, jeton par jeton.

Comment un LLM choisit-il son prochain mot ?

Il calcule des scores pour les jetons de son vocabulaire en fonction du contexte, puis sélectionne un jeton en fonction de ces scores et de ses paramètres de décodage.

À quoi sert l'attention dans un transformer ?

L'attention permet à la représentation de chaque jeton de s'appuyer sur les jetons pertinents dans le contexte, aidant le modèle à distinguer des significations telles que « river bank » (rive d'une rivière) et « bank account » (compte bancaire).

Les LLM pensent-ils comme des humains ?

Pas au sens humain. Les LLM standards génèrent du texte par le biais de calculs appris et de prédiction du jeton suivant, bien que les sorties en plusieurs étapes puissent ressembler à du raisonnement.

Que sont les paramètres dans un LLM ?

Les paramètres sont des valeurs numériques apprises, y compris les poids, qui façonnent la manière dont le modèle transforme son entrée et produit des prédictions.