Was ist Wissensdestillation?

Komprimieren von Wissen aus einem großen Lehrermodell in ein kleineres Schülermodell.

Ein kleineres Modell, das darauf trainiert wurde, das Verhalten eines größeren Modells zu imitieren und gleichzeitig weniger Rechenleistung bei der Inferenz zu verbrauchen.

Der letzte Zeitpunkt, der in den Trainingsdaten eines Modells widergespiegelt wird.

Trainingsansätze, die es einem Modell ermöglichen, kontinuierlich aus neuen Daten zu lernen, ohne Vorkenntnisse zu vergessen.

Trainieren Sie ein Modell mit beschrifteten Beispielen, die Eingaben bekannten Ausgaben zuordnen.

Ein Trainings- und Verhaltensformungsansatz, bei dem die Modellergebnisse von einem festen Satz schriftlicher Prinzipien geleitet werden.