Questionário vinculado ao guia · Médio Nível

Questionário sobre queda de peso e regularização L2

Teste penalidades L2, encolhimento para zero, equivalência SGD, desacoplamento AdamW, escalonamento adaptativo e força de declínio no treinamento.

Caminhos de guia relacionadosDecadência de peso e regularização L2
Pergunta 1 de 8

O que a regularização L2 adiciona à função de perda?

Visualize cada pergunta8 perguntas

As respostas e explicações aparecem conforme você responde ao teste.

  1. O que a regularização L2 adiciona à função de perda?
    • O número de camadas na rede
    • Uma penalidade na taxa de aprendizagem
    • A contagem de exemplos de treinamento
    • Uma penalidade proporcional à soma dos pesos quadrados
  2. Qual é o principal problema que a perda de peso ajuda a prevenir?
    • Carregamento lento de dados
    • Overfitting, onde o modelo memoriza ruído nos dados de treinamento
    • Falhas de hardware
    • Etiquetas incorretas
  3. Em que direção a redução do peso empurra os pesos do modelo?
    • Em direção ao infinito
    • Em direção ao maior peso
    • Em direção a zero
    • Em direção a valores aleatórios
  4. Por que AdamW foi introduzido?
    • Para dissociar a redução de peso da atualização do gradiente adaptativo para que a redução se comporte corretamente
    • Para remover totalmente o gradiente
    • Para tornar o treinamento mais lento de propósito
    • Para eliminar a necessidade de uma taxa de aprendizagem
  5. Para descida gradiente estocástica simples, como a regularização L2 e a queda de peso se relacionam?
    • Eles são sempre opostos
    • Eles são matematicamente equivalentes
    • A redução de peso desativa o gradiente
    • L2 só funciona para SGD com impulso
  6. O que o coeficiente lambda controla na regularização L2?
    • O tamanho do lote
    • O número de épocas
    • A função de ativação
    • A força da penalidade em pesos grandes
  7. Why can adding an L2 term to Adam’s loss differ from applying decoupled weight decay?
    • Adaptive per-parameter gradient scaling can distort the coupled penalty
    • Adam cannot train with any regularization
    • The two methods use different training labels
    • Decoupled decay removes the data loss
  8. In a simple decoupled update, what changes the fractional shrinkage of a weight?
    • Only the number of classes
    • Only the model’s input dimension
    • The learning rate and decay coefficient together
    • Only the validation-set size