Die Architektur, die KI veränderte: Ein Deep-Dive in das Transformer-Modell Slideify Arxiv Research Vol. 2017 • No. 1 Die Architektur, die KI veränderte Autoren: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin Google Brain • Google Research • University of Toronto ☞ Auf einen Blick Rekursion ist für Sequenzmodellierung nicht zwingend erforderlich; Aufmerksamkeit genügt. Transformer ermöglichen signifikant höhere BLEU-Scores bei einem Bruchteil der Trainingskosten bisheriger Modelle. Die Architektur skaliert hervorragend mit Rechenleistung und Datenmenge. Einleitung: Der Urknall der modernen KI Stellen Sie sich vor, es gäbe einen einzigen Moment, an dem die Entwicklung der Künstlichen Intelligenz von einem langsamen Kriechen zu einem Überschallflug überging. In der Welt der Informatik war dieser Moment der 12. Juni 2017. An diesem Tag veröffentlichten acht Forscher von Google und der University of Toronto ein Paper mit dem fast schon provokanten Titel "Attention Is All You Need" . Zu diesem Zeitpunkt war die Fachwelt noch fest davon überzeugt, dass komplexe Sprachaufgaben wie Übersetzungen oder Textzusammenfassungen nur durch rekurrenten neuronalen Netze (RNNs) oder deren Weiterentwicklungen wie LSTMs (Long Short-Term Memory) gelöst werden könnten. Doch das Team um Ashish Vaswani warf diese Dogmen über Bord. Sie präsentierten den Transformer – ein Modell, das gänzlich ohne Rekursion auskommt und stattdessen auf einen Mechanismus setzt, den wir heute als Herzstück von ChatGPT, Claude und Gemini kennen: Attention . § Historischer Kontext Bevor wir in die technischen Details einsteigen, müssen wir verstehen, welches Problem der Transformer überhaupt löste. RNNs verarbeiten Daten sequenziell – Wort für Wort. Wenn ein Modell einen langen Satz übersetzen soll, muss es das erste Wort verarbeiten, den Zustand speichern, das zweite Wort verarbeiten und so weiter. "Der Transformer brach diese Kette auf. Er betrachtet nicht ein Wort nach dem anderen, sondern den gesamten Satz auf einmal." Dies führte zu zwei massiven Problemen: Erstens, der Vanishing Gradient : Bei sehr langen Sätzen „vergaß“ das Modell den Anfang des Satzes, bevor es am Ende ankam. Zweitens, keine Parallelisierung : Da Schritt B von Schritt A abhängt, konnte man die enorme Rechenleistung moderner GPUs nicht voll ausnutzen. Das Training dauerte Wochen. Abb. 1: Schematische Darstellung des Transformers Eingabe (Inputs) Ausgabe (Outputs) ENCODER (Nx) Multi-Head Self-Attention Feed Forward Neural Net DECODER (Nx) Masked Self-Attention Encoder-Decoder Attention Feed Forward Neural Net Schematische Darstellung: Informationen fließen vom Encoder (links) über den Attention-Mechanismus in den Decoder (rechts). Die Architektur des Transformers Der Transformer nutzt eine klassische Encoder-Decoder-Struktur , aber auf eine völlig neue Weise. Der Encoder besteht aus einem Stapel von identischen Layern. Jeder Layer hat zwei Sub-Layer: Einen Multi-Head Self-Attention Mechanismus und ein einfaches, positionsweises Feed-Forward-Netzwerk. Der Decoder ist ähnlich aufgebaut, fügt aber einen dritten Sub-Layer hinzu, der die Aufmerksamkeit über den Output des Encoders steuert. Dies erlaubt es dem Decoder, sich während der Generierung eines Wortes auf die relevantesten Teile des Eingabesatzes zu konzentrieren. Scaled Dot-Product Attention $$ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V $$ Hierbei stehen $Q$ (Query), $K$ (Key) und $V$ (Value) für unterschiedliche Repräsentationen der Eingabedaten. Durch die Skalierung mit $\sqrt{d_k}$ wird verhindert, dass die Skalarprodukte bei großen Dimensionen in Regionen mit extrem kleinen Gradienten wandern. Multi-Head Attention Ein einzelner Attention-Kopf könnte Schwierigkeiten haben, verschiedene Arten von Beziehungen in einem Satz gleichzeitig zu erfassen. Die Autoren führten daher Multi-Head Attention ein. Dabei wird die Aufmerksamkeit $h$-mal parallel berechnet. In der Praxis nutzt das Modell $h=8$ Köpfe. Man kann sich das wie ein Team von acht Experten vorstellen. Tabelle 1: Komplexitätsvergleich verschiedener Layer-Typen Layer-Typ Komplexität pro Layer Seq. Operationen Max. Pfadlänge Self-Attention $O(n^2 \cdot d)$ $O(1)$ $O(1)$ Recurrent (RNN) $O(n \cdot d^2)$ $O(n)$ $O(n)$ Convolutional $O(k \cdot n \cdot d^2)$ $O(1)$ $O(\log_k(n))$ Hinweis: $n$ ist die Sequenzlänge, $d$ die Dimension, $k$ die Kernelgröße. Wie man sieht, ist die maximale Pfadlänge zwischen zwei beliebigen Positionen beim Transformer konstant $O(1)$. Das bedeutet, dass das Modell keine Mühe hat, Abhängigkeiten über hunderte von Wörtern hinweg zu lernen – ein riesiger Sprung gegenüber den $O(n)$ Operationen bei RNNs. * * * Ergebnisse, die die Welt schockierten Die Experimente wurden auf den WMT 2014 Englisch-Deutsch und Englisch-Französisch Datensätzen durchgeführt. Die Ergebnisse waren eindeutig. Der Transformer erreichte 28.4 BLEU auf Englisch-Deutsch und übertraf damit alle bisherigen Modelle. Leistungsvergleich (BLEU Score: Englisch-Deutsch) Der Transformer (Big) übertrifft konkurrierende Architekturen wie ByteNet und ConvS2S signifikant. Auf dem Englisch-Französisch Datensatz wurde ein State-of-the-Art Score von 41.8 BLEU erreicht, nachdem das Modell nur 3.5 Tage auf 8 GPUs trainiert worden war. Zum Vergleich: Vorherige Spitzenmodelle benötigten oft Wochen. Von 2017 bis heute Obwohl das Paper ursprünglich für die maschinelle Übersetzung geschrieben wurde, war das Potenzial weitaus größer. Die Architektur des Transformers ist die Basis für BERT, die GPT-Serie und Vision Transformers (ViT). Die Fähigkeit, massiv zu skalieren – also mehr Daten und mehr Rechenleistung in bessere Performance umzumünzen – hat den Transformer zum Standard-Werkzeug der KI-Industrie gemacht. Fazit "Attention Is All You Need" ist mehr als nur ein technisches Paper; es ist eine philosophische Abkehr von der Idee, dass KI-Modelle menschliche Sprachverarbeitung imitieren müssen. Wenn wir heute mit einer KI chatten, sprechen wir im Grunde mit einer hochskalierten Version der mathematischen Formeln, die Vaswani und sein Team 2017 auf Papier brachten. Referenzen Vaswani et al. (2017). Attention Is All You Need. Bahdanau et al. (2014). Neural machine translation by jointly learning to align and translate. Hochreiter & Schmidhuber (1997). Long short-term memory. Sennrich et al. (2015). Neural machine translation of rare words with subword units. Kingma & Ba (2015). Adam: A method for stochastic optimization. © 2025 Slideify.app • Generated by Slideify Arxiv