Cos'è Distillazione della conoscenza?

Compressione della conoscenza da un modello di insegnante di grandi dimensioni in un modello di studente più piccolo.

Un modello più piccolo addestrato per imitare il comportamento di un modello più grande utilizzando meno calcolo durante l'inferenza.

L'ultimo momento riflesso nei dati di training di un modello.

Approcci di formazione che consentono a un modello di continuare ad apprendere dai nuovi dati senza dimenticare le conoscenze precedenti.

Addestramento di un modello con esempi etichettati che associano gli input agli output noti.

Un approccio di formazione e modellamento del comportamento in cui i risultati del modello sono guidati da un insieme fisso di principi scritti.