Loading AI tools
Maschinenlernmodell von Google Brain Aus Wikipedia, der freien Enzyklopädie
Ein Transformer ist eine von Google entwickelte Deep-Learning-Architektur, die einen sog. Aufmerksamkeitsmechanismus integriert, der erstmals in einem Artikel aus dem Jahr 2017 „Attention Is All You Need“ vorgestellt wurde. Dabei wird Text in numerische Darstellungen umgewandelt, die als Token bezeichnet werden, anschließend durch Worteinbettung in Vektoren umgewandelt. Dies kann z. B. benutzt werden, um Text von einer Sprache in eine andere zu übersetzen. Dazu wird ein Transformer mittels maschinellem Lernen auf einer (großen) Menge von Beispielstexten trainiert, bevor das trainierte Modell dann zur Übersetzung verwendet werden kann. Weitere Beispielanwendungen von Transformern sind die Textgenerierung oder die Zusammenfassung längerer Texte. Transformer weisen hierbei eine bessere Effizienz gegenüber Long-short-term-memory-Architekturen (LSTM) auf und sind die Grundarchitektur des generativen vortrainierten Transformers (GPT) und anderer vortrainierter Machine-Learning-Modelle. Lineare transformer sind eine Form von "fast weight programmers" welche 1991 vorgeschlagen wurden[1].
Transformer wurden im Dezember 2017 im Rahmen der Neural-Information-Processing-Systems-Konferenz von einem Team von 8 Google-Mitarbeitern vorgestellt und mit dem Artikel „Attention Is All You Need“ veröffentlicht.[2][3]
In der Verarbeitung natürlicher Sprache (NLP) wurden vor der Einführung des Transformers rekurrente Modelle wie LSTM, GRU und Seq2Seq eingesetzt, welche eine Eingangssequenz sequenziell abarbeiten. Diese Methoden wurden später durch einen Aufmerksamkeitsmechanismus (engl. attention) erweitert. Transformer bauen auf dem Aufmerksamkeitsmechanismus auf und verzichten auf die rekurrente Struktur; dieser soll menschliche kognitive Aufmerksamkeit nachahmen, und die wesentlichen Sinnzusammenhänge in einem gegebenen Kontext erkennen. Er berechnet eine „weiche“ Gewichtung für jedes Wort, genauer gesagt für die Einbettung in seinem aktuellen Kontextfenster. Diese Gewichte können entweder parallel (z. B. in Transformer) oder sequentiell (z. B. in rekurrenten neuronalen Netzen) berechnet werden. „Weiche“ Gewichte können sich während jedes Durchlaufs ändern, im Gegensatz zu (vor)trainierten „harten“ Gewichten, die fix sind und keine Anpassung an wechselnden Kontext erlauben.
Sie erzielen bei geringerem Rechenaufwand ähnliche oder bessere Ergebnisse bei der Transformation von Sequenzen als rekurrente Modelle.
Beispiele für Transformermodelle sind Bidirectional Encoder Representations from Transformers (BERT)[4] und Generative Pretrained Transformer (GPT).
Auch in AlphaFold2 sind Transformer als Evoformer in der Architektur enthalten.
Ein Transformer besteht in seiner ursprünglich vorgestellten Form im Wesentlichen aus in Serie geschalteten Kodierern (Encoder) und in Serie geschalteten Dekodierern (Decoder).[2][5][6] Die Eingabesequenz wird durch eine sogenannte Embedding-Schicht in eine Vektorrepräsentation überführt. Die Gewichte der Embedding-Schicht werden während des Trainings angepasst. Im Falle des Transformers kommt zusätzlich eine Positionskodierung zum Einsatz, wodurch die sequentielle Abfolge der Wörter berücksichtigt werden kann. Ein Wort erhält somit zu Beginn eines Satzes eine andere Repräsentation als am Ende.[5]
Die Eingabesequenz wird in der Vektorrepräsentation einer Serie von Kodierern übergeben und in eine interne Repräsentation überführt. Diese interne Repräsentation bildet die Bedeutung der Eingabesequenz abstrakt ab[6] und wird durch die Dekodierer in eine Ausgabesequenz übersetzt.[6] Die Eingabesequenz wird hierbei in Batches verarbeitet, wobei die Länge der Kodierer-Dekodierer-Pipeline die maximale Länge der Eingabesequenz beschränkt.[5] Je nach Größe des Netzwerks können beispielsweise einzelne Sätze oder auch ganze Absätze verarbeitet werden. Bei Eingabesequenzen, welche kürzer sind als die Länge der Kodierer-Dekodierer-Pipeline, wird Padding genutzt, um die Eingabesequenz aufzufüllen.[5] Ein Kodierer besteht aus einem Self-Attention-Modul und einem Feedforward-Modul, während der Dekodierer aus einem Self-Attention-Modul, einem Kodierer-Dekodierer-Attention-Modul und einem Feedforward-Modul besteht.[6]
Transformer versuchen, das Problem der Parallelisierung durch die Verwendung von Kodierern und Dekodierer zusammen mit Attention-Modul zu lösen. Attention-Module steigern die Geschwindigkeit, mit der das Modell von einer Sequenz in eine andere übersetzen kann. Alle Kodierer haben die gleiche Architektur. Dekodierer sind einander auch sehr ähnlich. Jeder Kodierer besteht aus zwei Schichten: Self-Attention und einem Feedforward neural network. Die Eingaben des Kodierers durchlaufen zunächst einen Self-Attention Layer. Der Dekodierer verfügt über beide Ebenen, aber zwischen ihnen befindet sich ein Attention Layer, das dem Dekodierer hilft, sich auf relevante Teile der Eingabemenge zu konzentrieren.[7] Außerdem sind in der Architektur mehrere Residualverbindungen und Layer-Normalisierungen[8] enthalten.
Attention-Mechanismen wurden erstmals 2015 im Kontext der maschinellen Übersetzung von Bahdanau, Cho und Bengio verwendet. Während sie sich immer noch auf ein rekurrentes neuronales Netz verlassen haben, schlug Vaswani 2017 ein Modell vor, das nur auf die Attention beruht. Sie stellten fest, dass es rekurrente neuronale Netze bei maschineller Übersetzung übertrifft. In ihrem Artikel stellten sie eine neue neuronale Netzwerkarchitektur vor, das Transformer-Modell.
Der essentielle Baustein des Transformer-Modells, der Transformator Encoder Block, ist eine Funktion mit , die definiert ist durch
Dabei wird die Softmax-Funktion und ein Rectifier (ReLU) verwendet.[9]
Der Kodierer besteht in seiner ursprünglich vorgestellten Form aus einem Stapel von 6 identischen Schichten, wobei jede Schicht aus zwei Teilschichten besteht.
Die erste Teilschicht implementiert einen Mechanismus mit Multi-Head Self-Attention. Dieser Mechanismus implementiert Heads, die eine linear projizierte Version der Abfragen, Schlüssel und Werte empfangen, um jeweils die gleiche Anzahl Ausgaben parallel zu erzeugen, die dann zum Generieren eines Endergebnisses verwendet werden. Die zweite Teilschicht ist ein vollständig verbundenes Feedforward neural network, das aus zwei linearen Transformationen mit dazwischen liegender Aktivierung der Rectified linear unit (ReLU) besteht. Alle 6 Schichten des Koderieres wenden die gleichen linearen Transformationen auf alle Wörter in der Eingabesequenz an, aber jede Schicht verwendet dazu unterschiedliche Parameter. Auf jede Teilschicht folgt eine Normalisierungsschicht, die die berechnete Summe zwischen der Eingabe der Teilschicht und der von der Teilschicht generierten Ausgabe normalisiert.
Die Transformer-Architektur kann grundsätzlich keine Informationen über die relativen Positionen der Wörter in der Sequenz erfassen, weil sie keine Wiederholung nutzt. Diese Informationen müssen durch die Kodierung der Positionen in die Eingabeeinbettungen eingefügt werden. Die Vektoren für die Kodierung der Positionen haben die gleiche Dimension wie die Eingabeeinbettungen und werden mithilfe von Sinus und Kosinus unterschiedlicher Frequenz generiert. Anschließend werden sie zu den Eingabeeinbettungen summiert, um die Positionsinformationen einzufügen.[10]
Während der Inferenz kann ein Dekodierer zur autoregressiven Erzeugung von Sequenzen verwendet werden: Der Dekodierer wird mit einer Startsequenz abgefragt und sagt dann das nächste wahrscheinlichste Token vorher, welches im nächsten Schritt Teil der Eingabe wird (und so weiter). Während des Trainings des Dekodierers wird dieser Prozess durch Teacher Forcing und Maskierung im Dekodierer ersetzt, womit das Training stark beschleunigt wird.
Die Aufgabe des Attention-Moduls besteht darin, die Korrelation eines Eingabesymbols (Token) zu den anderen Eingabesymbolen zu berechnen. Gegeben sei die Worteinbettung (engl. embedding) des i-ten Token einer Sequenz. Diese Einbettung ist ein als Vektor kodiertes Eingabesymbol. Aus jeder Einbettung werden unabhängig voneinander drei Vektoren berechnet, indem die Einbettung mit einer jeweils erlernten Matrix , oder multipliziert wird:
Hieraus wird das Aufmerksamkeitsgewicht (attention score) zwischen token i und token j der Sequenz durch das Skalarprodukt berechnet berechnet
und schließlich durch die Quadratwurzel der Länge der Schlüsselvektoren geteilt, um stabilere Gradienten zu erhalten (da die Softmax-Funktion bei großen absoluten Funktionsargumenten stark abflacht und der Gradient somit sehr klein wird):
Hierauf wird die Softmax-Funktion entlang der letzten Dimension angewandt:
Dieser skalare Wert wird nun mit dem Wertevektor multipliziert, was dazu führt, dass der Wertevektor mit einem Aufmerksamkeitsfaktor vergrößert oder verkleinert wird:
wobei der Vektor die berechnete Ausgabe des Attention-Moduls für Token i darstellt.
Der Unterschied zwischen dem Self-Attention-Modul (im Encoder) und dem Kodierer-Dekodierer-Attention-Modul (im Decoder mit Encoder) besteht darin, dass das Self-Attention-Modul ausschließlich die Werte des vorhergehenden Kodierers bzw. Dekodierers verwendet und die Vektoren , und berechnet. Das Kodierer-Dekodierer-Attention-Modul hingegen berechnet nur den Abfragevektor aus dem vorgelagerten Attention-Modul, während die Vektoren und aus dem Kodierer (Encoder) bezogen werden.
Die Maskierung der Attention (welche insbesondere im Decoder während dem Training notwendig ist, um nur vergangene Tokens zu beachten) ist durch folgende Modifikation gegeben:
wobei M die Maskierungsmatrix ist, welche den Wert 0 bei unmaskierten Werten annimmt und den Wert bei maskierten Werten. Stark negative Werte in der Maskierungsmatrix resultieren durch die softmax-Funktion in einer maskierten Attention von Null. Die Maske wird häufig so gewählt, dass nur auf vorhergehende Werte wert gelegt wird, d. h. dass eine kausale Maskierung erfolgt.
In der Praxis wird die sogenannte Multi-Head-Attention eingesetzt. Jeder Head besteht hierbei aus einer eigenen Version der Matrizen , und . Jedes Attention-Modul besitzt mehrere Heads. Wenn ein Head für eine bestimmte Eingabe nicht relevant ist, wird ein niedriger Wert berechnet, während ein für eine Eingabe relevanter Head einen hohen Ausgabewert berechnet.
Der Transformer implementiert ein Scaled Dot-Product Attention, das dem Verfahren des allgemeinen Aufmerksamkeitsmechanismus folgt. Scaled Dot-Product Attention berechnet zunächst ein Skalarprodukt für jede Abfrage mit allen Schlüsseln . Anschließend dividiert es jedes Ergebnis durch den Skalierungsfaktor und wendet dann die Softmax-Funktion an. Dabei erhält es die Gewichte, mit denen die Werte skaliert werden. In der Praxis können die Berechnungen effizient auf der gesamten Menge von Abfragen gleichzeitig angewendet werden. Zu diesem Zweck werden die Matrizen , und als Eingaben für die Aufmerksamkeitsfunktion attention bereitgestellt. Diese kann so dargestellt werden:
Dieser Skalierungsfaktor wurde eingeführt, um dem Effekt entgegenzuwirken, dass die Skalarprodukte bei großen Werten stark ansteigen, wobei die Anwendung der Softmax-Funktion dann extrem kleine Gradienten zurückgeben würde, was zum Problem verschwindender Gradienten führen würde. Der Skalierungsfaktor dient dazu, die durch das Skalarprodukt berechneten Ergebnisse nach unten zu ziehen und dieses Problem zu vermeiden.
Das Verfahren zur Berechnung von ist wie folgt.
Ein gängiger Ansatz besteht darin, der Eingabe Positionseinbettungen hinzuzufügen, bevor sie dem tatsächlichen Transformer-Modell zugeführt wird: Wenn die Matrix der Einheitseinbettungen ist, wird eine Matrix hinzugefügt, die die Positionsinformationen darstellt, und ihre Summe wird dem Transformer-Modell zugeführt: . Für die erste Transformer-Ebene hat das folgenden Effekt:
Dabei wird die Softmax-Funktion und ein Rectifier (ReLU) verwendet.[9]
Die Transformer-Architektur ist eine Architektur, die aus gestapelten Encoder-Schichten und Decoder-Schichten besteht. Um Sequenzdarstellungen zu erzeugen, nutzt der Transformer Self-Attention. Eine Encoder-Schicht besteht aus einer Self-Attention-Teilschicht, gefolgt von einer Feedforward-Teilschicht. In ähnlicher Weise besteht eine Decoder-Schicht aus einer Self-Attention-Teilschicht, gefolgt von einer Encoder-Decodierer-Attention-Teilschicht, auf die eine Feedforward-Teilschicht folgt. Der Aufmerksamkeitsmechanismus ignoriert die Sequenzreihenfolge, weshalb in der Transformer-Architektur Positionskodierungen verwendet werden.
In der ursprünglichen Transformer-Architektur wird jedem eingebetteten Quell- und Zielwort ein absoluter Positionskodierungsvektor hinzugefügt, um dessen Position anzugeben. Die Idee besteht darin, Sinuskurven unterschiedlicher Wellenlängen zu verwenden, um unterschiedliche Positionen zu kodieren. Für die Position in einer Sequenz der Länge wird der absolute Positionskodierungsvektor definiert durch
wobei . Vaswani schlägt vor, dass sinusförmige Positionseinbettungen genauso gut funktionieren wie erlernte Positionskodierungen und stellt die Hypothese auf, dass erstere auf längere Sequenzen verallgemeinert werden können.[11]