Modèle de transformateur

Qu’est-ce qu’un modèle de transformateur ?

Comment fonctionne l’auto-attention :

1. Transformation d’entrée : pour chaque jeton dans la séquence d’entrée, le modèle calcule trois vecteurs : Requête (Q), Clé (K) et Valeur (V), tous dérivés des incorporations de jetons. Ces vecteurs sont appris grâce à des transformations linéaires.

• Requête (Q) : détermine le degré d’attention à accorder aux autres jetons.
• Clé (K) : représente le contenu des autres jetons sur lesquels se concentrer.
• Valeur (V) : contient les informations à extraire ou à transmettre via le mécanisme d’attention.

2. Scores d’attention : les scores d’attention entre les jetons sont calculés comme le produit scalaire entre la requête d’un jeton et la clé d’un autre. Cela mesure le degré de pertinence ou d’«∘attention∘» qu’un jeton devrait avoir envers un autre.

Les scores sont mis à l’échelle par la racine carrée de la dimension du vecteur clé dkd_kdk pour stabiliser les gradients.

3. Somme pondérée : les scores d’attention sont transmis via une fonction softmax, les transformant en probabilités dont la somme est égale à 1. Ces scores sont utilisés pour pondérer les vecteurs de valeur, produisant une somme pondérée qui reflète l’importance de chaque jeton par rapport aux autres.

Attention à têtes multiples :

Au lieu d’utiliser un seul mécanisme d’auto-attention, le transformateur utilise une attention à têtes multiples. Plusieurs ensembles de vecteurs de requête, de clé et de valeur sont créés (chaque ensemble étant une «∘tête∘» d’attention), et chaque tête s’occupe de différents aspects de l’entrée. Les résultats de toutes les têtes d’attention sont concaténés et transmis via une couche linéaire.

Ceci permet au modèle de capturer simultanément différents types de relations entre les jetons.

3. Réseaux neuronaux à propagation avant

Après le mécanisme d’auto-attention, chaque représentation de jeton est transmise via un réseau neuronal à propagation avant. Il s’agit généralement d’un réseau neuronal à deux couches avec une fonction d’activation ReLU. Le FFN est appliqué indépendamment à chaque position et le même ensemble de pondérations est partagé entre toutes les positions.

arduino

Copier le code

\[

\text{FFN}(x) = \text{ReLU}(xW_1 + b_1)W_2 + b_2

\]

Le FFN permet une transformation supplémentaire des représentations de jetons et introduit la non-linéarité, améliorant ainsi l’expressivité du modèle.

4. Connexions résiduelles et normalisation des couches

Pour stabiliser la formation et faciliter le flux de gradient, des connexions résiduelles (également appelées connexions directes ou « skip ») sont utilisées autour des couches d’auto-attention et à propagation avant. Cela signifie que l’entrée de chaque sous-couche est ajoutée à la sortie de cette sous-couche avant d’être transmise à la suivante.

Chaque connexion résiduelle est suivie d’une normalisation de couche, qui normalise la sortie pour réduire le décalage de covariable interne et améliorer la stabilité de la formation.

5. Architecture de l’encodeur et du décodeur

L’architecture originale du transformateur comporte deux composants principaux : l’encodeur et le décodeur. Cependant, certains modèles, comme BERT, n’utilisent que l’encodeur, tandis que d’autres, comme GPT, n’utilisent que le décodeur.

Encodeur :

L’encodeur est composé de plusieurs couches identiques (généralement 6 à 12). Chaque couche comporte deux composants principaux :

• Auto-attention à têtes multiples
• Réseau neuronal à propagation avant

L’encodeur reçoit la séquence d’entrée et la traite à travers chaque couche, générant une sortie qui encode les jetons d’entrée avec le contexte des autres jetons de la séquence.

Décodeur :

Le décodeur est également constitué de plusieurs couches identiques, avec un mécanisme supplémentaire :

Auto-attention masquée à têtes multiples : empêche les jetons de prêter attention aux futurs jetons de la séquence (important dans les tâches autorégressives comme la génération de texte).

Le décodeur comprend également des couches d’attention croisée qui prennent la sortie de l’encodeur comme entrée supplémentaire pour guider le processus de génération.

6. Sortie (pour les modèles de langage)

Pour des tâches telles que la modélisation du langage ou la traduction automatique, le décodeur produit une séquence de sortie jeton par jeton. Dans la couche finale, la sortie du décodeur est transmise via une fonction softmax pour générer des probabilités sur le vocabulaire, permettant au modèle de prédire le prochain jeton ou de générer des traductions.

7. Objectifs de la formation

Modélisation du langage masqué (MLM) : utilisée dans des modèles comme BERT, où des jetons aléatoires dans la séquence d’entrée sont masqués et le modèle est formé pour les prédire.

Modélisation du langage causal (CLM) : utilisée dans des modèles comme GPT, où le modèle prédit le prochain jeton de la séquence en fonction des jetons précédents.

Objectifs de Seq2Seq : utilisée dans des tâches telles que la traduction automatique, où le modèle apprend à mapper des séquences d’entrée à des séquences de sortie (p. ex., traduire une phrase de l’anglais vers le français).

HPE fournit des produits et des services pour aider à la fois à la création, à la mise en œuvre et à l’exécution d’un modèle multimodal.

HPE Cray XD670

Accélérez les performances de l’IA grâce au système HPE Cray XD670. Découvrez les possibilités que le HPC peut offrir à votre entreprise en matière d’entraînement de modèles LLM, NLP ou multimodaux.

HPE Generative AI Implementation Services

HPE Machine Learning Development Software