Cuestionario vinculado a una guía · duro Nivel

Prueba de teoría del núcleo tangente neuronal

Pruebe cómo Neural Tangent Kernel vincula el entrenamiento de redes de ancho infinito con los métodos del kernel y la dinámica del espacio funcional en un límite linealizado.

Rutas de guía relacionadasTeoría del núcleo tangente neuronal
Pregunta 1 de 8

En el límite de ancho infinito, ¿cómo se comporta el núcleo neuronal tangente durante el entrenamiento?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. En el límite de ancho infinito, ¿cómo se comporta el núcleo neuronal tangente durante el entrenamiento?
    • Se mantiene esencialmente constante
    • Cambia rápidamente a cada paso.
    • se vuelve cero
    • Crece exponencialmente
  2. ¿Qué es el NTK matemáticamente?
    • El hessiano de la pérdida
    • El producto interno de los gradientes de parámetros de la red para dos entradas.
    • El softmax de las salidas.
    • La varianza de los pesos.
  3. ¿Quién introdujo el kernel tangente neuronal?
    • Hinton y Salakhutdinov
    • LeCun y Bengio
    • Jacot, Gabriel y Hongler (2018)
    • Vaswani y colegas
  4. ¿Qué es el régimen de 'entrenamiento perezoso'?
    • Cuando el entrenamiento está en pausa
    • Cuando el optimizador no utiliza impulso
    • Cuando los datos se introducen lentamente
    • Cuando los parámetros apenas se mueven desde la inicialización y la red se comporta linealmente
  5. Una limitación clave de la teoría NTK para redes reales es que omite:
    • Aprendizaje de funciones en redes de ancho finito
    • El papel del descenso de gradiente.
    • La existencia de pesas.
    • El uso de datos de entrenamiento.
  6. Debido a que NTK reduce el entrenamiento a la regresión del núcleo, ¿qué es posible?
    • Eliminando la necesidad de cualquier dato
    • Predecir el resultado entrenado sin entrenamiento completo
    • Ejecutar modelos sin parámetros.
    • Garantizar cero errores de prueba siempre
  7. In the infinite-width limit, what probabilistic model are neural networks equivalent to at initialization?
    • Un modelo de Markov oculto
    • Un conjunto de árboles de decisión
    • A Gaussian process
    • A finite-state game controller
  8. For least-squares regression in the NTK limit, what mathematical form does the network function's training evolution follow?
    • A discrete rule that randomly changes labels
    • A decision tree that grows one branch per epoch
    • A nonlinear search over audio frames
    • A linear differential equation in function space