Regularização
Regularização é um conjunto de técnicas que restringem deliberadamente um modelo para que ele generalize para novos dados em vez de memorizar o conjunto de treinamento.
Visão geral
It is the main toolkit for fighting overfitting.
Mergulho profundo
Se não for verificado, um modelo flexível irá se distorcer para caber em todos os pontos dos dados de treinamento, incluindo o ruído. A regularização retrocede ao adicionar uma penalidade ou restrição que favorece soluções mais simples. As formas mais comuns adicionam um termo à função de perda com base no tamanho dos pesos do modelo. A regularização L2 (decadência de peso) penaliza pesos grandes suavemente, reduzindo-os a zero e produzindo modelos mais suaves. A regularização L1 penaliza o valor absoluto dos pesos e pode levar alguns a zero, selecionando efetivamente um subconjunto de recursos. Além das penalidades de peso, o abandono desliga aleatoriamente os neurônios durante o treinamento, a parada precoce interrompe o treinamento antes que o overfitting se instale e o aumento de dados expande o conjunto de treinamento eficaz. Cada um troca um pouco de precisão de treinamento por um desempenho muito melhor no mundo real.
Visão Técnica
A maior parte da regularização remodela o objetivo que o otimizador minimiza. Em vez de apenas minimizar o erro de previsão, você minimiza o erro mais o lambda vezes uma penalidade nos pesos, onde o lambda controla a força. L2 soma a soma dos pesos quadrados, encorajando muitos pesos pequenos; L1 adiciona a soma dos pesos absolutos, incentivando a dispersão com zeros exatos. O dropout funciona de maneira diferente: ao zerar aleatoriamente as ativações em cada etapa, evita a co-adaptação dos neurônios e aproxima o treinamento de um conjunto de sub-redes. Tudo isso reduz a variância ao custo de um viés ligeiramente aumentado.
Impacto Estratégico
Decisões mais claras
Ajuda a separar afirmações técnicas claras da linguagem de marketing.
Custo e orçamento
Você pode fazer perguntas melhores sobre implementação antes de gastar dinheiro ou tempo.
Equipe e fluxo de trabalho
Equipes com entendimento compartilhado tomam melhores decisões sobre produtos, políticas e aprendizado.
O Futuro da Regularização
Penalidades explícitas como L2 e abandono permanecem padrão, mas a atenção está se voltando para a regularização implícita, da mesma forma que otimizadores como a descida gradiente estocástica direcionam silenciosamente modelos enormes em direção a soluções generalizáveis, mesmo sem uma penalidade adicional. Técnicas como suavização de rótulos, mixagem e aumento mais forte de dados são cada vez mais centrais para treinar grandes modelos de visão e linguagem. Espere mais pesquisas sobre por que redes superparametrizadas resistem ao overfitting e sobre métodos adaptativos que ajustam automaticamente a força de regularização durante o treinamento, em vez de depender de busca manual.
Implementação no mundo real
Adicionando redução de peso L2 a um classificador de imagem profundo para generalizar de milhares de fotos de treinamento para fotos invisíveis.
Usar a regularização L1 em um modelo genômico para selecionar automaticamente um punhado de genes que realmente prevêem um resultado entre milhares.
Aplicar dropout em uma rede de recomendação para que ela não dependa demais de nenhum sinal de usuário único.
Interromper o treinamento mais cedo quando a perda de validação parar de melhorar, mesmo que a perda de treinamento possa continuar diminuindo.
Riscos e guarda-corpos
Equipes diferentes podem usar o mesmo termo de maneira diferente, portanto, defina o escopo com antecedência.
Os benchmarks podem parecer fortes, enquanto o desempenho no mundo real é irregular.
Ignorar a qualidade dos dados e os planos de avaliação cria frequentemente resultados frágeis.
Roteiro de implementação
Comece com uma definição em linguagem simples do resultado que você precisa.
Escolha uma métrica de sucesso e uma condição de falha antes de testar.
Execute um pequeno piloto com dados representativos, não um conjunto de demonstração sofisticado.
Documente onde a regularização ajuda e onde métodos mais simples são melhores.
Continue explorando
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Regularization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Próximo guia
Decadência de peso e regularização L2
Perguntas frequentes
What is Regularization?
Regularização é um conjunto de técnicas que restringem deliberadamente um modelo para que ele generalize para novos dados em vez de memorizar o conjunto de treinamento. É o principal kit de ferramentas para combater o overfitting.
Qual é o objetivo principal da regularização?
A regularização restringe deliberadamente um modelo para desencorajar a memorização dos dados de treinamento, melhorando o desempenho em exemplos não vistos.
Qual técnica de regularização tem maior probabilidade de levar alguns pesos exatamente a zero, selecionando efetivamente os recursos?
L1 penaliza o valor absoluto dos pesos, o que tende a empurrar os pesos menos úteis para exatamente zero, realizando a seleção automática de recursos. L2 reduz os pesos suavemente, mas raramente até exatamente zero.
Como o abandono regulariza uma rede neural durante o treinamento?
O dropout zera aleatoriamente uma fração das ativações em cada etapa de treinamento, evitando que os neurônios dependam demais uns dos outros e aproximem um conjunto de sub-redes.
Na perda regularizada 'erro + lambda × penalidade', o que o aumento do lambda faz?
Lambda controla a força da regularização. Um lambda maior dá mais influência à penalidade, diminuindo os pesos de forma mais agressiva em direção a modelos mais simples.
Por que a parada antecipada pode ser considerada uma forma de regularização?
Parar quando o desempenho da validação para de melhorar evita que o modelo continue no regime em que memoriza o ruído, assim como outros regularizadores limitam a complexidade.