Was ist Rückpropagation?

Ein mathematisches Ziel, das Vorhersagefehler während des Trainings quantifiziert.

Ein erlernter numerischer Wert, der Signale skaliert, die ein neuronales Netzwerk durchlaufen.

Ein optimierter Aufmerksamkeitsalgorithmus, der den Speicherverbrauch reduziert und das Transformatortraining und die Inferenz beschleunigt.

Ein Trainingsaufbau, bei dem sich ein Modell verbessert, indem es durch Interaktionen oder Wettbewerbe mit Kopien von sich selbst Daten generiert.

Wenn Benchmark-Testbeispiele oder ähnliche Varianten in Trainingsdaten vorhanden sind, erhöht sich die gemeldete Leistung.

Ein Unterwort-Tokenisierungsalgorithmus, der die häufigsten Zeichenpaare in wiederverwendbaren Token zusammenführt.