Was ist Farbverlauf?

Ein Trainingshyperparameter, der steuert, wie stark Parameter sich bei jedem Aktualisierungsschritt ändern.

Eine empirische Beziehung, die zeigt, wie sich die Leistung mit der Modellgröße, den Daten oder der Rechenleistung verbessert.

Ein Aufmerksamkeitsmuster, bei dem sich jedes Token nur um ein Fenster mit fester Größe benachbarter Token kümmert, um den Rechenaufwand zu reduzieren.

Ein generativer Aufbau, bei dem ein Generator und ein Diskriminator gegeneinander trainieren.

Wie gut ein Modell mit neuen, unsichtbaren Daten außerhalb des Trainingssatzes abschneidet.

Eine Optimierungsmethode, die Parameter in der Richtung aktualisiert, die Fehler reduziert.