Questionário de gradiente acelerado Nesterov

As respostas e explicações aparecem conforme você responde ao teste.

1. Qual é a ideia definidora do Gradiente Acelerado de Nesterov em comparação com o momento clássico?
   • Remove totalmente o impulso
   • Ele usa uma taxa de aprendizagem fixa de 1,0
   • Ele avalia o gradiente em um ponto antecipado em vez da posição atual
   • Só funciona sem minilotes
2. Que taxa de convergência demonstrável o método de Nesterov atinge em problemas convexos suaves?
   • Pedido 1/k^2
   • Pedido 1/k
   • Pedido 1/registro k
   • Sem taxa garantida
3. Quem introduziu originalmente este método de gradiente acelerado?
   • Geoffrey Hinton em 2012
   • Isaac Newton
   • John von Neumann
   • Yuri Nesterov em 1983
4. Por que o gradiente antecipado ajuda perto dos mínimos curvos?
   • Aumenta a taxa de aprendizagem
   • Antecipa o overshoot e aplica uma correção antes que aconteça
   • Ele exclui o termo de velocidade
   • Ele randomiza a direção do passo
5. Na prática, como o custo computacional do momento de Nesterov se compara ao momento clássico?
   • Praticamente o mesmo, graças a uma atualização reorganizada algebricamente
   • Cerca de dez vezes maior
   • Requer segundas derivadas a cada passo
   • Não pode ser computado em GPUs
6. Qual otimizador adaptativo combina a previsão de Nesterov com o dimensionamento no estilo Adam?
   • RMSprop
   • Adagrado
   • Nadam
   • LBFGS
7. Using the stated look-ahead form, theta = 10, learning rate = 0.1, beta = 0.9 and velocity = 2 give which evaluation point?
   • 10.18
   • 9.82
   • 8.20
   • 10.90
8. If beta is zero in the guide’s Nesterov look-ahead formula, where is the gradient evaluated?
   • At a point displaced by the full old velocity
   • At the previous validation score
   • At an arbitrary future minibatch
   • At the current parameter position