Wat is Kennisdistillatie?

Het comprimeren van kennis van een groot lerarenmodel naar een kleiner studentenmodel.

Een kleiner model dat is getraind om het gedrag van een groter model te imiteren en tegelijkertijd minder rekenkracht te gebruiken bij gevolgtrekking.

Het laatste tijdstip dat wordt weerspiegeld in de trainingsgegevens van een model.

Trainingsbenaderingen waarmee een model kan blijven leren van nieuwe gegevens zonder voorafgaande kennis te vergeten.

Een model trainen met gelabelde voorbeelden die invoer toewijzen aan bekende uitvoer.

Een aanpak voor training en gedragsvorming waarbij de modelresultaten worden geleid door een vaste reeks schriftelijke principes.