La Arquitectura que Cambió la IA: El Legado de 'Attention Is All You Need' Slideify Arxiv Research Vol. 2017 • No. 1 La Arquitectura que Cambió la IA Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin Google Brain • Google Research • University of Toronto Antes de 2017, el mundo de la Inteligencia Artificial estaba atrapado en una secuencia. Si querías que una máquina tradujera una frase o resumiera un texto, esta debía leer palabra por palabra, recordando lo anterior mientras intentaba predecir lo siguiente. Este proceso, dominado por las Redes Neuronales Recurrentes (RNN) y las LSTM, era lento, propenso al olvido en frases largas y, sobre todo, imposible de escalar al nivel que hoy conocemos. Entonces llegó un equipo de investigadores de Google con una propuesta radical: "La atención es todo lo que necesitas" . No más secuencias, no más recurrencia. Solo un mecanismo que permitiera a la máquina observar toda la frase a la vez y decidir qué palabras son importantes entre sí. Este fue el nacimiento del Transformer , la arquitectura que hoy da vida a ChatGPT, Claude, Gemini y la revolución de la IA generativa. ☞ In Brief Eliminación total de la recurrencia en favor de mecanismos de atención pura para modelar dependencias globales. Reducción drástica de los tiempos de entrenamiento gracias a la paralelización masiva en hardware moderno (GPUs). Establecimiento de un nuevo estado del arte en traducción de idiomas con costos computacionales significativamente menores. Contexto Histórico Para entender el impacto del Transformer, debemos recordar el problema que resolvió. Las arquitecturas dominantes, como las Long Short-Term Memory (LSTM) , procesaban la información linealmente. Si el modelo estaba procesando la palabra número 50 de un párrafo, su comprensión dependía de un "estado oculto" que se había ido destilando desde la palabra 1. Este diseño presentaba dos fallos fatales: Desvanecimiento del Gradiente : En secuencias largas, la información del principio de la frase se perdía antes de llegar al final. Falta de Paralelización : Como el paso \(t\) dependía del paso \(t-1\), no podías usar la inmensa potencia de las GPUs modernas para procesar todo simultáneamente. El Transformer rompió estas cadenas al proponer que el camino entre dos palabras cualesquiera en una frase tiene una longitud constante de O(1) operaciones, permitiendo que una palabra al inicio de un libro se conecte instantáneamente con una al final. * * * La Arquitectura ENCODER (x6) Multi-Head Attention Add & Norm Feed Forward Add & Norm Inputs Keys & Values DECODER (x6) Masked Attention Cross Attention Feed Forward Outputs (shifted) Probabilities Fig 1. Esquema simplificado de la arquitectura Transformer. El modelo propuesto en el paper sigue una estructura de Codificador-Decodificador (Encoder-Decoder), pero con esteroides de atención. 1. Mecanismo de Auto-Atención (Self-Attention) El concepto clave es la Atención de Producto Punto Escalada . El modelo asigna a cada palabra tres vectores: Query (Consulta) , Key (Clave) y Value (Valor) . La fórmula matemática que define este proceso es: $$ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V $$ Donde \(Q\), \(K\) y \(V\) representan las matrices de consulta, clave y valor, y \(d_k\) es la dimensión de las claves. Al escalar por \(\sqrt{d_k}\), los autores evitan que los productos punto crezcan demasiado, lo que mantendría los gradientes estables durante el entrenamiento. 2. Multi-Head Attention En lugar de una sola función de atención, el Transformer utiliza múltiples "cabezales" en paralelo. Esto permite que el modelo atienda a diferentes aspectos de la información. Por ejemplo, un cabezal podría enfocarse en la estructura gramatical (sujeto-verbo), mientras otro se enfoca en el contexto semántico o las referencias pronominales. "La atención es todo lo que necesitas" 3. Positional Encoding Al eliminar la recurrencia, el modelo pierde la noción del orden de las palabras. Para solucionar esto, los autores inyectan información posicional utilizando funciones seno y coseno de diferentes frecuencias: $$ PE_{(pos, 2i)} = \sin(pos/10000^{2i/d_{model}}) $$ $$ PE_{(pos, 2i+1)} = \cos(pos/10000^{2i/d_{model}}) $$ Esto permite que el modelo "entienda" que la posición de una palabra es relevante sin necesidad de procesar la secuencia paso a paso. Comparativa Técnica Tipo de Capa Complejidad por Capa Ops Secuenciales Camino Máximo Self-Attention \(O(n^2 \cdot d)\) O(1) O(1) Recurrent \(O(n \cdot d^2)\) \(O(n)\) \(O(n)\) Convolutional \(O(k \cdot n \cdot d^2)\) \(O(1)\) \(O(\log_k(n))\) Tabla 1. Comparación de complejidad y dependencias entre arquitecturas. Como se observa, el Transformer reduce la longitud del camino entre dependencias a una constante O(1) , lo que facilita enormemente el aprendizaje de relaciones a largo plazo. Resultados Experimentales Los autores probaron el modelo en dos tareas de traducción del WMT 2014, logrando resultados asombrosos con una fracción del costo de entrenamiento de modelos anteriores: Inglés a Alemán : El Transformer (versión 'big') alcanzó un puntaje de 28.4 BLEU , superando al mejor modelo anterior (incluyendo ensambles) por más de 2.0 puntos. Inglés a Francés : Estableció un nuevo estado del arte con 41.8 BLEU , entrenando durante solo 3.5 días en 8 GPUs P100. Fig 2. Puntaje BLEU (Inglés-Alemán) vs Modelos Anteriores Futuro y Conclusión Aunque el paper original se centró en la traducción, el impacto fue mucho mayor. El Transformer permitió la creación de modelos pre-entrenados masivos. BERT (2018) utilizó el codificador para entender el contexto bidireccional, revolucionando las búsquedas. GPT (2018-presente) utilizó el decodificador para la generación de texto, llevando a la creación de ChatGPT. "Attention Is All You Need" no fue solo un avance técnico; fue un cambio de paradigma. Al demostrar que la atención por sí sola es suficiente para modelar el lenguaje humano, los autores abrieron la puerta a una escala de computación que antes era inimaginable. Hoy, cada vez que interactuamos con una IA que parece entendernos, estamos presenciando el poder de aquellos vectores de consulta, clave y valor que Google liberó al mundo en 2017. Referencias Vaswani, A., et al. (2017). Attention Is All You Need. Bahdanau, D., et al. (2014). Neural machine translation by jointly learning to align and translate. Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Sennrich, R., et al. (2015). Neural machine translation of rare words with subword units. Kingma, D. P., & Ba, J. (2015). Adam: A method for stochastic optimization. © 2025 Slideify.app • Generated by Slideify Arxiv