Теория на невронно допирателната ядро

Отговорите и обясненията се появяват, докато отговаряте на теста.

1. В ограничението на безкрайната ширина, как се държи Neural Tangent Kernel по време на тренировка?
   • Той остава по същество постоянен
   • Променя се бързо на всяка стъпка
   • Става нула
   • Тя расте експоненциално
2. Какво е NTK математически?
   • Хесианът на загубата
   • Вътрешният продукт на градиентите на параметрите на мрежата за два входа
   • Softmax на изходите
   • Дисперсията на теглата
3. Кой представи Neural Tangent Kernel?
   • Хинтън и Салахутдинов
   • Лекун и Бенджио
   • Жако, Габриел и Хонглер (2018)
   • Vaswani и колеги
4. Какво представлява режимът на „мързеливо обучение“?
   • Когато тренировката е на пауза
   • Когато оптимизаторът не използва инерция
   • Когато данните се подават бавно
   • Когато параметрите едва се движат от инициализацията и мрежата се държи линейно
5. Основно ограничение на теорията на NTK за реални мрежи е, че тя пропуска:
   • Обучение на функции в мрежи с ограничена ширина
   • Ролята на градиентното спускане
   • Наличието на тежести
   • Използване на данни за обучение
6. Тъй като NTK намалява обучението до регресия на ядрото, какво става възможно?
   • Премахване на необходимостта от всякакви данни
   • Прогнозиране на обучения резултат без пълно обучение
   • Работещи модели без параметри
   • Гарантиране на нулева тестова грешка винаги
7. In the infinite-width limit, what probabilistic model are neural networks equivalent to at initialization?
   • Скрит модел на Марков
   • Ансамбъл дърво на решенията
   • A Gaussian process
   • A finite-state game controller
8. For least-squares regression in the NTK limit, what mathematical form does the network function's training evolution follow?
   • A discrete rule that randomly changes labels
   • A decision tree that grows one branch per epoch
   • A nonlinear search over audio frames
   • A linear differential equation in function space