Questionário de teoria do kernel tangente neural

As respostas e explicações aparecem conforme você responde ao teste.

1. No limite de largura infinita, como o Neural Tangent Kernel se comporta durante o treinamento?
   • Permanece essencialmente constante
   • Ele muda rapidamente a cada passo
   • Torna-se nulo
   • Cresce exponencialmente
2. O que é o NTK matematicamente?
   • O Hessiano da perda
   • O produto interno dos gradientes de parâmetros da rede para duas entradas
   • O softmax das saídas
   • A variação dos pesos
3. Quem introduziu o Kernel Neural Tangente?
   • Hinton e Salakhutdinov
   • LeCun e Bengio
   • Jacot, Gabriel e Hongler (2018)
   • Vaswani e colegas
4. O que é o regime de 'treinamento preguiçoso'?
   • Quando o treino é pausado
   • Quando o otimizador não usa impulso
   • Quando os dados são alimentados lentamente
   • Quando os parâmetros mal se movem desde a inicialização e a rede se comporta linearmente
5. Uma limitação importante da teoria NTK para redes reais é que ela perde:
   • Aprendizado de recursos em redes de largura finita
   • O papel da descida gradiente
   • A existência de pesos
   • O uso de dados de treinamento
6. Como o NTK reduz o treinamento à regressão do kernel, o que se torna possível?
   • Eliminando a necessidade de quaisquer dados
   • Prever o resultado treinado sem treinar totalmente
   • Executando modelos sem parâmetros
   • Garantindo sempre zero erro de teste
7. In the infinite-width limit, what probabilistic model are neural networks equivalent to at initialization?
   • Um modelo oculto de Markov
   • Um conjunto de árvore de decisão
   • A Gaussian process
   • A finite-state game controller
8. For least-squares regression in the NTK limit, what mathematical form does the network function's training evolution follow?
   • A discrete rule that randomly changes labels
   • A decision tree that grows one branch per epoch
   • A nonlinear search over audio frames
   • A linear differential equation in function space