Modelo de transformador

¿Qué es un modelo de transformador?

Los transformadores funcionan utilizando una combinación de mecanismos de autoatención, codificación posicional y redes feedforward o de propagación hacia adelante. La arquitectura les permite procesar datos secuenciales de manera eficiente y capturar dependencias de largo alcance entre diferentes partes de la entrada. A continuación, se muestra un desglose detallado de cómo funcionan los transformadores:

1. Incrustación de entrada y codificación posicional

Incrustaciones de entrada: en los transformadores, la entrada (como una secuencia de palabras en una oración) se convierte primero en incrustaciones, que son vectores densos de tamaño fijo. Estas incrustaciones representan el significado semántico de los tokens (palabras o subpalabras).

Codificación posicional: dado que la arquitectura del transformador no tiene un mecanismo integrado para capturar el orden de la secuencia (a diferencia de las RNN), se agregan codificaciones posicionales a las incrustaciones de entrada. Estas codificaciones inyectan información sobre la posición de cada token en la secuencia. A menudo son funciones sinusoidales o incrustaciones aprendidas que varían según las posiciones.

Esto permite que el modelo comprenda las posiciones relativas y absolutas de los tokens.

2. Mecanismo de autoatención

El mecanismo de autoatención es el componente central de los transformadores. Permite que el modelo pondere la importancia de cada token en relación con todos los demás tokens en la secuencia de entrada. Para cada token, la autoatención determina a qué otros tokens debe prestar atención.

Cómo funciona la autoatención:

1. Transformación de entrada: para cada token en la secuencia de entrada, el modelo computa tres vectores: Consulta (Q), Clave (K) y Valor (V), todos derivados de las incrustaciones de tokens. Estos vectores se aprenden a través de transformaciones lineales.

• Consulta (Q): determina cuánto enfoque poner en otros tokens.
• Clave (K): representa el contenido de los otros tokens en los que se enfocará.
• Valor (V): contiene la información que se extraerá o pasará a través del mecanismo de atención.

2. Puntuaciones de atención: las puntuaciones de atención entre tokens se computan como el producto escalar entre la Consulta de un token y la Clave de otro. Esto mide hasta qué punto es relevante o se muestra «atento» un token respecto a otro.

Las puntuaciones se escalan mediante la raíz cuadrada de la dimensión del vector clave dkd_kdk para estabilizar los gradientes.

3. Suma ponderada: las puntuaciones de atención se pasan a través de una función softmax, para convertirlos en probabilidades que suman 1. Estas puntuaciones se utilizan para ponderar los vectores de Valor, obteniéndose una suma ponderada que refleja la importancia de cada token en relación con los demás.

Atención multicéfala:

en lugar de utilizar un único mecanismo de autoatención, el transformador utiliza una atención multicéfala. Se crean varios conjuntos de vectores de Consulta, Clave y Valor (cada conjunto es una «cabeza» de atención), y cada cabeza atiende a diferentes aspectos de la entrada. Los resultados de todas las cabezas de atención se concatenan y se pasan a través de una capa lineal.

Esto permite que el modelo capture simultáneamente diferentes tipos de relaciones entre tokens.

3. Redes neuronales feedforward o de propagación hacia adelante

Después del mecanismo de autoatención, cada representación de token se pasa a través de una red neuronal feedforward o de propagación hacia adelante (FFN). Normalmente se trata de una red neuronal de dos capas con una función de activación ReLU. La FFN se aplica independientemente a cada posición y se comparte el mismo conjunto de ponderaciones entre todas las posiciones.

arduino

Copiar código

\[

\text{FFN}(x) = \text{ReLU}(xW_1 + b_1)W_2 + b_2

\]

La FFN permite una mayor transformación de las representaciones de tokens e introduce una no linealidad, lo cual mejora la expresividad del modelo.

4. Conexiones residuales y normalización de capas

Para estabilizar el entrenamiento y ayudar con el flujo de gradiente, se utilizan conexiones residuales (también llamadas conexiones de salto) en torno a las capas de autoatención y de propagación hacia adelante. Esto significa que la entrada de cada subcapa se agrega a la salida de esa subcapa antes de pasar a la siguiente.

Cada conexión residual va seguida de una normalización de capa, que normaliza la salida para reducir el desplazamiento de covariables internas y mejorar la estabilidad del entrenamiento.

5. Arquitectura de codificador y decodificador

La arquitectura del transformador original consta de dos componentes principales: codificador y decodificador. Sin embargo, algunos modelos, como BERT, solo utilizan el codificador, mientras que otros, como GPT, solo utilizan el decodificador.

Codificador:

El codificador se compone de varias capas idénticas (normalmente entre 6 y 12). Cada capa tiene dos componentes principales:

• Autoatención multicéfala
• Red neuronal feedforward o de propagación hacia adelante

El codificador recibe la secuencia de entrada y la procesa a través de cada capa, generando una salida que codifica los tokens de entrada con el contexto de otros tokens en la secuencia.

Decodificador:

El decodificador también consta de múltiples capas idénticas, con un mecanismo adicional:

autoatención multicéfala enmascarada: evita que los tokens presten atención a tokens futuros en la secuencia (importante en tareas autorregresivas como la generación de texto).

El decodificador también incluye capas de atención cruzada que toman la salida del codificador como entrada adicional para guiar el proceso de generación.

6. Salida (para modelos de lenguaje)

Para tareas como el modelado de lenguaje o la traducción automática, el decodificador produce una secuencia de salida token por token. En la capa final, la salida del decodificador se pasa a través de una función softmax para generar probabilidades sobre el vocabulario, lo que permite que el modelo prediga el próximo token o genere traducciones.

7. Objetivos del entrenamiento

Modelado de lenguaje enmascarado (MLM): se utiliza en modelos como BERT, donde se enmascaran tokens aleatorios en la secuencia de entrada y se entrena el modelo para predecirlos.

Modelado de lenguaje causal (CLM): se utiliza en modelos como GPT, donde el modelo predice el siguiente token en la secuencia basándose en los tokens anteriores.

Objetivos Seq2Seq: se utiliza en tareas como la traducción automática, donde el modelo aprende a asignar secuencias de entrada a secuencias de salida (por ejemplo, traducir una oración del inglés al francés).

HPE proporciona productos y servicios para ayudar con la creación, implementación y ejecución de un modelo multimodal.

HPE Cray XD670

Acelera el rendimiento de la inteligencia artificial con HPE Cray XD670. Obtén más información sobre cómo puedes entrenar los LLM, el PLN o los modelos multimodales para tu empresa con la supercomputación.

HPE Generative AI Implementation Services

HPE Machine Learning Development Software