Transformatoren

Aufmerksamkeit berechnet, wie viele Informationen eine Position von anderen Positionen übernehmen sollte. In einer gängigen Formulierung erzeugen erlernte Projektionen Abfragen, Schlüssel und Werte. Abfrageschlüsselvergleiche bestimmen die Gewichtungen, die zum Kombinieren von Werten verwendet werden. Mehrere Aufmerksamkeitsköpfe ermöglichen mehrere solcher Kombinationen innerhalb einer Ebene. Eine Transformatorschicht umfasst auch andere Operationen, wie z. B. ein Feed-Forward-Netzwerk, Normalisierung und Restverbindungen. Positionsinformationen werden benötigt, da die Reihenfolge von Wörtern oder anderen Sequenzelementen wichtig ist. Spezifische Implementierungen unterscheiden sich darin, wie sie die Position darstellen und diese Vorgänge anordnen. Der ursprüngliche Transformator von 2017 verwendete für die Übersetzung ein Encoder-Decoder-Design. Spätere Modelle verwenden für unterschiedliche Zwecke Nur-Encoder-, Nur-Decoder- oder Encoder-Decoder-Anordnungen. Ein kausales Sprachmodell verhindert, dass eine Position bei der Vorhersage des nächsten Tokens auf zukünftige Token achtet. Diese Einschränkung unterscheidet sich von der bidirektionalen Verarbeitung einer vollständigen Eingabe. Aufmerksamkeit über lange Sequenzen kann rechenintensiv sein. Praktische Systeme verwenden verschiedene Optimierungen, aber ein angekündigtes Kontextlimit beweist nicht, dass das Modell jeden Teil eines langen Dokuments zuverlässig verwendet. Testabruf, Begründung und Befolgung von Anweisungen in der tatsächlichen Länge, die Ihre Anwendung benötigt.