Transformer-Modell

Was ist ein Transformer-Modell?

So funktioniert Self-Attention:

1. Eingabetransformation: Für jedes Token in der Eingabesequenz berechnet das Modell drei Vektoren: Abfrage (A), Schlüssel (S) und Wert (W), die alle aus den Token-Einbettungen abgeleitet werden. Diese Vektoren werden durch lineare Transformationen gelernt.

• Abfrage (A): Bestimmt, wie viel Fokus auf andere Token gelegt werden soll.
• Schlüssel (S): Stellt den Inhalt der anderen Token dar, auf die der Fokus gerichtet werden soll.
• Wert (W): Enthält die Informationen, die extrahiert oder durch den Aufmerksamkeitsmechanismus weitergeleitet werden sollen.

2. Aufmerksamkeitswerte: Die Aufmerksamkeitswerte zwischen Token werden als Skalarprodukt zwischen der Abfrage eines Tokens und dem Schlüssel eines anderen berechnet. Damit wird gemessen, wie relevant oder „aufmerksam“ ein Token für ein anderes sein sollte.

Um die Gradienten zu stabilisieren, werden die Werte mit der Quadratwurzel der Dimension des Schlüsselvektors dkd_kdk skaliert.

3. Gewichtete Summe: Die Aufmerksamkeitswerte werden durch eine Softmax-Funktion geleitet, wodurch sie in Wahrscheinlichkeiten umgewandelt werden, deren Summe 1 ergibt. Diese Punktzahlen werden zum Gewichten der Wertevektoren verwendet, wodurch eine gewichtete Summe entsteht, die die Wichtigkeit jedes Tokens im Verhältnis zu den anderen widerspiegelt.

Multi-Head-Attention:

Anstatt einen einzelnen Self-Attention-Mechanismus zu verwenden, nutzt der Transformer die Multi-Head-Attention. Es werden mehrere Sätze von Abfrage-, Schlüssel- und Wertevektoren erstellt (jeder Satz ist ein Aufmerksamkeitsvektor bzw. „Head“), und jeder Vektor kümmert sich um unterschiedliche Aspekte der Eingabe. Die Ergebnisse aller Aufmerksamkeitsvektoren werden verkettet und durch eine lineare Schicht geleitet.

Dadurch kann das Modell verschiedene Arten von Beziehungen zwischen Token gleichzeitig erfassen.

3. Feedforward-Neuralnetzwerke

Nach dem Self-Attention-Mechanismus wird jede Token-Darstellung durch ein Feedforward-Neuralnetzwerk (FFN) geleitet. Dies ist normalerweise ein zweischichtiges neuronales Netzwerk mit einer ReLU-Aktivierungsfunktion. Das FFN wird unabhängig auf jede Position angewendet und für alle Positionen wird der gleiche Satz an Gewichten verwendet.

Arduino

Code kopieren

\[

\text{FFN}(x) = \text{ReLU}(xW_1 + b_1)W_2 + b_2

\]

Das FFN ermöglicht eine weitere Transformation der Token-Darstellungen und führt Nichtlinearität ein, wodurch die Ausdruckskraft des Modells verbessert wird.

4. Restverbindungen und Schichtnormalisierung

Um das Training zu stabilisieren und den Gradientenfluss zu unterstützen, werden Restverbindungen (auch Skip-Verbindungen genannt) sowohl um die Self-Attention- als auch die Feedforward-Schicht herum verwendet. Das bedeutet, dass die Eingabe jeder Unterschicht zur Ausgabe dieser Unterschicht hinzugefügt wird, bevor sie an die nächste weitergegeben wird.

Auf jede Restverbindung folgt eine Schichtnormalisierung, die die Ausgabe normalisiert, um die interne Kovariatenverschiebung zu verringern und die Trainingsstabilität zu verbessern.

5. Encoder- und Decoderarchitektur

Die ursprüngliche Transformer-Architektur besteht aus zwei Hauptkomponenten: Encoder und Decoder. Einige Modelle, wie BERT, verwenden jedoch nur den Encoder, während andere, wie GPT, nur den Decoder verwenden.

Encoder:

Der Encoder besteht aus mehreren identischen Schichten (normalerweise 6–12). Jede Schicht besteht aus zwei Hauptkomponenten:

• Multi-Head-Self-Attention
• Feedforward-Neuralnetzwerk

Der Encoder empfängt die Eingabesequenz und verarbeitet sie durch jede Schicht, wobei er eine Ausgabe generiert, die die Eingabetoken mit Kontext aus anderen Token in der Sequenz codiert.

Decoder:

Der Decoder besteht ebenfalls aus mehreren identischen Schichten und verfügt über einen zusätzlichen Mechanismus:

Maskierte Multi-Head-Self-Attention: Verhindert, dass Token auf zukünftige Token in der Sequenz achten (wichtig bei autoregressiven Aufgaben wie der Textgenerierung).

Der Decoder enthält außerdem Cross-Attention-Schichten, die die Ausgabe des Encoders als zusätzliche Eingabe verwenden, um den Generierungsprozess zu steuern.

6. Ausgabe (für Sprachmodelle)

Für Aufgaben wie Sprachmodellierung oder maschinelle Übersetzung erzeugt der Decoder Token für Token eine Ausgabesequenz. In der letzten Schicht wird die Ausgabe des Decoders durch eine Softmax-Funktion geleitet, um Wahrscheinlichkeiten über das Vokabular zu generieren, sodass das Modell das nächste Token vorhersagen oder Übersetzungen generieren kann.

7. Trainingsziele

Masked Language Modeling (MLM): Wird in Modellen wie BERT verwendet, bei denen zufällige Token in der Eingabesequenz maskiert werden und das Modell darauf trainiert wird, sie vorherzusagen.

Causal Language Modeling (CLM): Wird in Modellen wie GPT verwendet, wo das Modell basierend auf den vorherigen Token das nächste Token in der Sequenz vorhersagt.

Seq2Seq-Ziele: Wird in Aufgaben wie der maschinellen Übersetzung verwendet, bei denen das Modell lernt, Eingabesequenzen Ausgabesequenzen zuzuordnen (z. B. beim Übersetzen eines Satzes vom Englischen ins Französische).

HPE bietet Produkte und Services, die Sie bei der Erstellung, Implementierung und Ausführung eines multimodalen Modells unterstützen.

HPE Cray XD670

Beschleunigen Sie die KI-Leistung mit dem HPE Cray XD670. Erfahren Sie mehr darüber, wie Sie Ihre LLM-, NLP- oder multimodalen Modelle für Ihr Unternehmen mit Supercomputing trainieren können.

HPE Generative AI Implementation Services

HPE Machine Learning Development Software