Vad är Kunskapsdestillation?

Komprimera kunskap från en stor lärarmodell till en mindre elevmodell.

En mindre modell tränad att imitera en större modells beteende samtidigt som man använder mindre beräkning vid slutledning.

Den senaste tidpunkten återspeglas i en modells träningsdata.

Utbildningsmetoder som låter en modell fortsätta att lära sig av ny data utan att glömma förkunskaper.

Träna en modell med märkta exempel som mappar ingångar till kända utgångar.

Ett tränings- och beteendeformande tillvägagångssätt där modellens resultat styrs av en fast uppsättning skrivna principer.