A seguirPróximo guia
Perda tripla e aprendizagem métrica
Fundamentos
GUIA de fundamentos
Funções de Perda
Uma perda define o objetivo usado para avaliar as previsões ou outro alvo de treinamento.
Ouça este guiaNarrado por IA · ~3 min
Nesta página3 minutos de leitura
Visão geral
Os valores de perda individuais são frequentemente combinados em um escalar para otimização, e o objetivo escolhido é um proxy que pode diferir da métrica de avaliação da aplicação.
Mergulho profundo
A prediction loss compares outputs with training targets according to a specified rule. Those targets can be labels or values constructed for the learning task; they should not automatically be called unquestionable truth. Implementations may produce per-example losses and then sum or average them for an optimization step. Choosing the rule matters. Mean squared error averages squared residuals, giving large residuals more influence than mean absolute error, which averages their absolute values. For residuals one and three, mean squared error is five, while mean absolute error is two. These are illustrative calculations rather than performance results from a dataset. Classification commonly uses cross-entropy. With a one-hot target and a predicted probability p for its class, the loss is minus log p. A lower probability for the target class gives a larger loss, so confident wrong predictions can incur high loss. The logarithm base determines the units: base-two loss is in bits, while a natural logarithm gives nats. For a target probability of one-quarter, minus log-base-two p is two bits. Gradient-based optimization needs usable derivative information, but differentiability requirements should not be generalized to every learning algorithm. Some losses have nondifferentiable points handled by an appropriate subgradient or surrogate. Accuracy is a discrete evaluation metric and is generally not directly useful as a gradient-training objective. A suitable training loss supplies an optimization signal; final task quality needs evaluation using the relevant metrics.
Implementação no mundo real
Usando perda de entropia cruzada para treinar um classificador de spam de e-mail que penaliza classificações incorretas confiáveis
Escolher o erro médio absoluto para a previsão do preço das casas, de modo que algumas mansões extremas não dominem o treinamento
Aplicar uma perda contrastiva para que um modelo de reconhecimento facial reúna imagens da mesma pessoa
Projetar um modelo de perda de recompensa para orientar um chatbot em direção a respostas mais úteis e honestas
O futuro das funções de perda
O design objetivo pode combinar termos de previsão, regularização e outros requisitos de tarefa. As comparações devem indicar a definição da meta, fórmula, redução, unidades e métrica de avaliação. Um objetivo pode diminuir enquanto uma métrica de aplicação permanece inalterada ou piora, portanto a melhoria deve ser medida em vez de inferida apenas pela perda de treinamento. As perdas personalizadas precisam de exame do comportamento que incentivam, bem como de suas propriedades numéricas e de otimização.
Colocando em prática
Por que isso importa
- Decisões mais claras. Ajuda a separar afirmações técnicas claras da linguagem de marketing.
- Custo e orçamento. Você pode fazer perguntas melhores sobre implementação antes de gastar dinheiro ou tempo.
- Equipe e fluxo de trabalho. Equipes com entendimento compartilhado tomam melhores decisões sobre produtos, políticas e aprendizado.
Cuidado com
- Equipes diferentes podem usar o mesmo termo de maneira diferente, portanto, defina o escopo com antecedência.
- Os benchmarks podem parecer fortes, enquanto o desempenho no mundo real é irregular.
- Ignorar a qualidade dos dados e os planos de avaliação cria frequentemente resultados frágeis.
Próximas etapas
- Comece com uma definição em linguagem simples do resultado que você precisa.
- Escolha uma métrica de sucesso e uma condição de falha antes de testar.
- Execute um pequeno piloto com dados representativos, não um conjunto de demonstração sofisticado.
- Documente onde o Loss Functions ajuda e onde os métodos mais simples são melhores.
Continue explorando
Boletim informativo gratuito
Receba o resumo diário de IA
Três histórias verificadas de IA a cada manhã de dia útil, escritas em linguagem simples. Gratuito para sempre, sem anúncios.
Um e-mail a cada dia útil. Cancele a inscrição com um clique. Nunca vendemos ou compartilhamos seu endereço.
Teste você mesmo
Faça o teste de funções de perda
Feedback instantâneo sobre cada resposta e um certificado compartilhável com um ID verificável assim que você concluir um curso.
Apoie a educação gratuita em IA. O AI Understanding é uma organização sem fins lucrativos 501(c)(3) — sem anúncios, sem paywall, nunca. Faça uma doação
Perguntas frequentes
O que são funções de perda?
Uma perda define o objetivo usado para avaliar as previsões ou outro alvo de treinamento. Os valores de perda individuais são frequentemente combinados em um escalar para otimização, e o objetivo escolhido é um proxy que pode diferir da métrica de avaliação da aplicação.
Para uma tarefa de previsão, o que a perda selecionada quantifica em relação ao alvo de treinamento?
Uma derrota define um objetivo de treinamento; ele não mede automaticamente todos os aspectos da qualidade do aplicativo.
Qual função de perda é mais comumente usada para tarefas de classificação?
A entropia cruzada compara distribuições de probabilidade previstas com rótulos verdadeiros e é a escolha padrão para classificação.
Comparado ao erro quadrático médio, por que você escolheria o erro médio absoluto?
O erro médio absoluto trata todos os erros proporcionalmente, em vez de elevá-los ao quadrado, portanto, alguns valores discrepantes extremos têm menos influência.
Por que o treinamento baseado em gradiente precisa de uma derivada de perda utilizável ou de um substituto adequado?
Isto diz respeito ao treinamento baseado em gradiente, e não à afirmação de que todo algoritmo de aprendizagem possível requer uma perda diferenciável.
Como a entropia cruzada de uma classe quente muda à medida que a probabilidade atribuída à classe alvo se torna muito pequena?
O termo menos log p aumenta à medida que a probabilidade da classe alvo diminui. Isto não garante uma magnitude de gradiente específica para cada peso do modelo.
Continue aprendendo
Guias relacionados
Mais guias escolhidos para este tópico