VolgendeVolgende gids
Tegenstrijdige diffusiedestillatie en turbomodellen
Technisch
Technische GIDS
Knowledge distillation trains a student model using a teacher model’s outputs or representations as supervision.
Luister naar deze gidsAI-verteld · ~2 min
It can support more efficient deployment, but the student’s accuracy and behavior depend on its capacity, training data, and the teacher signal.
Big models are accurate but slow and expensive to deploy. Knowledge distillation transfers their capability into a compact model by having the student learn from the teacher's outputs rather than only from hard labels. The key insight, from Hinton and colleagues, is that a teacher's full probability distribution carries 'dark knowledge': even when it predicts 'dog', the relative probabilities for 'wolf' versus 'car' reveal how the teacher sees similarities. Softening these probabilities with a temperature exposes that structure, and the student is trained to match it, often alongside the true labels. The goal is an efficient student that benefits from teacher supervision; the actual accuracy and speed must be measured for the task and implementation. DistilBERT and TinyBERT are well-known distilled language models.
DistilBERT comprimeert BERT tot ongeveer 40% minder parameters, terwijl het grootste deel van zijn taalbegrip behouden blijft voor snellere gevolgtrekking.
Een groot visiemodel verkleinen zodat een beeldclassificator in realtime kan worden uitgevoerd op een camera-app op een smartphone.
Het destilleren van de gedachtegang van een groot model in een kleiner model, zodat het wiskunde- of codeervragen goedkoper kan beantwoorden.
Het comprimeren van een ensemble van modellen in één enkele student, zodat de productiekosten en de latentie dalen zonder veel nauwkeurigheidsverlies.
Distillatie is nu een standaardstap bij het verzenden van efficiënte modellen en staat centraal in de huidige golf van kleine, capabele open modellen. Een snelgroeiende trend is destillatie op sequentieniveau uit grote taalmodellen, waarbij een sterk model trainingsgegevens of redeneersporen (inclusief gedachteketens) genereert om kleinere leerlingen te onderwijzen, waardoor de grens met synthetische gegevens vervaagt. Verwacht een nauwere koppeling met kwantisering en snoeien, meer implementatie op het apparaat en een voortdurend debat over licenties en kwaliteit bij het destilleren van bedrijfseigen modellen waarvan de resultaten het trainingssignaal van de concurrent worden.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Knowledge distillation trains a student model using a teacher model’s outputs or representations as supervision. It can support more efficient deployment, but the student’s accuracy and behavior depend on its capacity, training data, and the teacher signal.
Distillatie brengt de capaciteiten van een grote leraar over naar een compact, sneller studentenmodel.
Donkere kennis is de structuur in de volledige waarschijnlijkheidsverdeling van de leraar, zoals hoe vergelijkbaar 'wolf' is met 'hond', en niet alleen het beste antwoord.
Een hogere temperatuur vlakt de waarschijnlijkheidsverdeling af, waardoor de relatieve overeenkomsten zichtbaar worden die de leerling zou moeten leren.
De leerling past bij de verzachte verdeling van de leraar (KL-term) en past tegelijkertijd bij de labels van de grondwaarheid (cross-entropie).
DistilBERT is een bekend model gedestilleerd uit BERT, dat de meeste prestaties behoudt met veel minder parameters.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Tegenstrijdige diffusiedestillatie en turbomodellen
Technisch