Il prossimoProssima guida
Distillazione per diffusione contraddittoria e modelli turbo
Tecnico
GUIDA TECNICA
Knowledge distillation trains a student model using a teacher model’s outputs or representations as supervision.
Ascolta questa guidaNarrato dall'IA · ~2 min
It can support more efficient deployment, but the student’s accuracy and behavior depend on its capacity, training data, and the teacher signal.
Big models are accurate but slow and expensive to deploy. Knowledge distillation transfers their capability into a compact model by having the student learn from the teacher's outputs rather than only from hard labels. The key insight, from Hinton and colleagues, is that a teacher's full probability distribution carries 'dark knowledge': even when it predicts 'dog', the relative probabilities for 'wolf' versus 'car' reveal how the teacher sees similarities. Softening these probabilities with a temperature exposes that structure, and the student is trained to match it, often alongside the true labels. The goal is an efficient student that benefits from teacher supervision; the actual accuracy and speed must be measured for the task and implementation. DistilBERT and TinyBERT are well-known distilled language models.
DistilBERT comprime BERT a circa il 40% in meno di parametri mantenendo la maggior parte della comprensione del linguaggio per un'inferenza più rapida.
Rimpicciolire un modello di visione di grandi dimensioni in modo che un classificatore di immagini possa essere eseguito in tempo reale sull'app della fotocamera dello smartphone.
Distillare il ragionamento della catena di pensiero di un grande modello in un modello più piccolo per far sì che risponda a domande di matematica o di codifica in modo più economico.
Comprimere un insieme di modelli in un singolo studente in modo che i costi di produzione e la latenza diminuiscano senza molta perdita di precisione.
La distillazione è ora un passaggio standard nella spedizione di modelli efficienti ed è fondamentale per l'ondata odierna di modelli aperti piccoli e capaci. Una tendenza in rapida crescita è la distillazione a livello di sequenza da modelli linguistici di grandi dimensioni, in cui un modello forte genera dati di addestramento o tracce di ragionamento (inclusa la catena di pensiero) per insegnare agli studenti più piccoli, offuscando il confine con dati sintetici. Aspettatevi un abbinamento più stretto con quantizzazione e potatura, una maggiore implementazione sul dispositivo e un dibattito continuo su licenze e qualità quando si distilla da modelli proprietari i cui risultati diventano il segnale di formazione di un concorrente.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Knowledge distillation trains a student model using a teacher model’s outputs or representations as supervision. It can support more efficient deployment, but the student’s accuracy and behavior depend on its capacity, training data, and the teacher signal.
La distillazione trasferisce le capacità di un grande insegnante in un modello studentesco compatto e più veloce.
La conoscenza oscura è la struttura della distribuzione di probabilità completa dell'insegnante, ad esempio quanto "lupo" è simile a "cane", non solo la risposta migliore.
Una temperatura più alta appiattisce la distribuzione di probabilità, rivelando le somiglianze relative che lo studente dovrebbe apprendere.
Lo studente corrisponde alla distribuzione attenuata dell'insegnante (termine KL) adattandosi anche alle etichette di verità fondamentale (entropia incrociata).
DistilBERT è un modello ben noto distillato da BERT, che mantiene la maggior parte delle prestazioni con molti meno parametri.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Distillazione per diffusione contraddittoria e modelli turbo
Tecnico