Was ist Beschneiden?

Ein Aufmerksamkeitsmuster, bei dem sich jedes Token nur um ein Fenster mit fester Größe benachbarter Token kümmert, um den Rechenaufwand zu reduzieren.

Eine empirische Beziehung, die zeigt, wie sich die Leistung mit der Modellgröße, den Daten oder der Rechenleistung verbessert.

Ein kleineres Modell, das darauf trainiert wurde, das Verhalten eines größeren Modells zu imitieren und gleichzeitig weniger Rechenleistung bei der Inferenz zu verbrauchen.

Der zentrale Trainingsalgorithmus, der Modellgewichte aktualisiert, indem er Vorhersagefehler rückwärts durch das Netzwerk weiterleitet.

Die zum Trainieren und Ausführen von Modellen erforderlichen Verarbeitungsressourcen, oft gemessen in FLOPS oder GPU-Stunden.

Ein Vektor, der zeigt, um wie viel sich jeder Parameter ändern sollte, um Verluste zu reduzieren.