A seguirPróximo guia
Destilação por difusão adversária e modelos turbo
Técnico
GUIA Técnico
Destilação de Conhecimento
A destilação do conhecimento treina um modelo pequeno de “aluno” para imitar um modelo grande e preciso de “professor”.
Nesta página2 minutos de leitura
Visão geral
It matters because it shrinks powerful models so they run cheaply on phones and servers while keeping much of the accuracy.
Mergulho profundo
Grandes modelos são precisos, mas lentos e caros para implantar. A destilação do conhecimento transfere sua capacidade para um modelo compacto, fazendo com que o aluno aprenda com os resultados do professor, e não apenas com rótulos rígidos. A principal conclusão, de Hinton e colegas, é que a distribuição completa de probabilidades de um professor contém “conhecimento obscuro”: mesmo quando prevê “cão”, as probabilidades relativas de “lobo” versus “carro” revelam como o professor vê as semelhanças. Suavizar essas probabilidades com uma temperatura expõe essa estrutura, e o aluno é treinado para combiná-la, muitas vezes junto com os rótulos verdadeiros. O resultado é um modelo menor e mais rápido, que generaliza melhor do que um modelo treinado apenas com rótulos. DistilBERT e TinyBERT são modelos de linguagem destilada bem conhecidos.
Impacto Estratégico
Custo e orçamento
As decisões de arquitetura impulsionam o desempenho e os custos operacionais durante anos.
Decisões mais claras
A educação técnica ajuda as equipes a escolher a pilha certa, não apenas a mais nova.
Controle de qualidade
Melhores escolhas de engenharia reduzem incidentes de confiabilidade na produção.
O futuro da destilação do conhecimento
A destilação é agora uma etapa padrão no envio de modelos eficientes e é fundamental para a atual onda de modelos abertos pequenos e capazes. Uma tendência de rápido crescimento é a destilação em nível de sequência de grandes modelos de linguagem, onde um modelo forte gera dados de treinamento ou traços de raciocínio (incluindo cadeia de pensamento) para ensinar alunos menores, confundindo os limites com os dados sintéticos. Espere um emparelhamento mais estreito com quantização e poda, mais implantação no dispositivo e debate contínuo sobre licenciamento e qualidade ao destilar modelos proprietários cujos resultados se tornam um sinal de treinamento do concorrente.
Implementação no mundo real
DistilBERT compacta BERT para aproximadamente 40% menos parâmetros, mantendo a maior parte de sua compreensão da linguagem para inferência mais rápida.
Reduzindo um modelo de visão grande para que um classificador de imagens possa ser executado em tempo real em um aplicativo de câmera de smartphone.
Destilar o raciocínio da cadeia de pensamento de um grande modelo em um modelo menor para fazê-lo responder a questões matemáticas ou de codificação de maneira mais barata.
Compactar um conjunto de modelos em um único aluno para que os custos de produção e a latência caiam sem muita perda de precisão.
Riscos e guarda-corpos
A otimização de um benchmark pode ocultar fraquezas mais amplas do sistema.
Os custos de infraestrutura e manutenção são frequentemente subestimados.
As lacunas de segurança e observabilidade podem aumentar à medida que os sistemas se tornam mais complexos.
Roteiro de implementação
Defina metas de latência, qualidade e custo antes da implementação.
Benchmark sob condições realistas de carga e dados.
Monitoramento de instrumentos para erros, desvios e impacto no usuário.
Prepare caminhos de reversão e resposta a incidentes antes de escalar.
Continue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Knowledge Distillation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Perguntas frequentes
What is Knowledge Distillation?
A destilação do conhecimento treina um modelo pequeno de “aluno” para imitar um modelo grande e preciso de “professor”. É importante porque reduz modelos poderosos para que funcionem de forma barata em telefones e servidores, mantendo grande parte da precisão.
In knowledge distillation, what is the student model trained to do?
A destilação transfere a capacidade de um grande professor para um modelo de aluno compacto e mais rápido.
O que se entende por “conhecimento obscuro” do professor?
O conhecimento sombrio é a estrutura da distribuição de probabilidade completa do professor, como a semelhança entre 'lobo' e 'cachorro', não apenas a resposta principal.
Qual o papel da temperatura (T) na destilação?
Uma temperatura mais alta achata a distribuição de probabilidade, revelando as semelhanças relativas que o aluno deve aprender.
A perda de destilação clássica combina quais dois componentes?
O aluno corresponde à distribuição suavizada do professor (termo KL), ao mesmo tempo que ajusta os rótulos da verdade básica (entropia cruzada).
Qual é um exemplo de modelo de linguagem destilada?
DistilBERT é um modelo bem conhecido destilado do BERT, mantendo a maior parte do desempenho com muito menos parâmetros.
Continue aprendendo
Guias relacionados
Mais guias escolhidos para este tópico