Hva er Kunnskapsdestillasjon?

Komprimering av kunnskap fra en stor lærermodell til en mindre elevmodell.

En mindre modell trent til å imitere en større modells oppførsel mens du bruker mindre beregning ved inferens.

Det siste tidspunktet gjenspeiles i en modells treningsdata.

Opplæringsmetoder som lar en modell fortsette å lære av nye data uten å glemme forkunnskaper.

Trening av en modell med merkede eksempler som kartlegger innganger til kjente utganger.

En trenings- og atferdsformende tilnærming der modellutdata styres av et fast sett med skriftlige prinsipper.