Was ist Skalierungsgesetz?

Ein Aufmerksamkeitsmuster, bei dem sich jedes Token nur um ein Fenster mit fester Größe benachbarter Token kümmert, um den Rechenaufwand zu reduzieren.

Ein Trainingsaufbau, bei dem sich ein Modell verbessert, indem es durch Interaktionen oder Wettbewerbe mit Kopien von sich selbst Daten generiert.

Wie klar die Logik, Datenquellen und Einschränkungen eines KI-Systems dokumentiert und verständlich sind.

Eine Verschiebung der realen Eingabedaten im Laufe der Zeit, die die Modellleistung beeinträchtigen kann.

Wie gut ein Modell mit neuen, unsichtbaren Daten außerhalb des Trainingssatzes abschneidet.

Ein Vektor, der zeigt, um wie viel sich jeder Parameter ändern sollte, um Verluste zu reduzieren.