KI-Glossarbegriff

Was ist Wissensdestillation?

Definition

Trainieren Sie ein kleineres Modell, um die Ausgaben eines größeren Modells zu imitieren.

Durchsuchen Sie das vollständige KI-GlossarEntdecken Sie alle kostenlosen KI-Anleitungen

Verwandte Begriffe

DestillationKomprimieren von Wissen aus einem großen Lehrermodell in ein kleineres Schülermodell.Destilliertes ModellEin kleineres Modell, das darauf trainiert wurde, das Verhalten eines größeren Modells zu imitieren und gleichzeitig weniger Rechenleistung bei der Inferenz zu verbrauchen.WissensunterbrechungDer letzte Zeitpunkt, der in den Trainingsdaten eines Modells widergespiegelt wird.Kontinuierliches LernenTrainingsansätze, die es einem Modell ermöglichen, kontinuierlich aus neuen Daten zu lernen, ohne Vorkenntnisse zu vergessen.Überwachtes LernenTrainieren Sie ein Modell mit beschrifteten Beispielen, die Eingaben bekannten Ausgaben zuordnen.Verfassungsmäßige KIEin Trainings- und Verhaltensformungsansatz, bei dem die Modellergebnisse von einem festen Satz schriftlicher Prinzipien geleitet werden.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

AI Knowledge ManagementDINO Self-DistillationGraphRAG Knowledge GraphsDreamFusion and Score Distillation Sampling

Siehe auch

Knowledge GraphJailbreakLabel SmoothingIntent ClassificationLatencyInstruction TuningLarge Language Model (LLM)Inference-Time Compute