Викторина по теории нейронного касательного ядра

Ответы и пояснения появляются по мере прохождения теста.

1. Как в пределе бесконечной ширины ведет себя ядро ​​Neural Tangent во время обучения?
   • Он остается практически постоянным
   • Он быстро меняется на каждом шагу
   • Оно становится нулевым
   • Он растет в геометрической прогрессии
2. Что такое NTK математически?
   • Гессен потери
   • Внутренний продукт градиентов параметров сети для двух входов
   • Softmax выходов
   • Дисперсия весов
3. Кто представил Neural Tangent Kernel?
   • Хинтон и Салахутдинов
   • ЛеКун и Бенджио
   • Жако, Габриэль и Хонглер (2018)
   • Васвани и коллеги
4. Что такое режим «ленивых тренировок»?
   • Когда обучение приостановлено
   • Когда оптимизатор не использует импульс
   • Когда данные подаются медленно
   • Когда параметры почти не изменяются после инициализации и сеть ведет себя линейно
5. Ключевое ограничение теории NTK для реальных сетей заключается в том, что она не учитывает:
   • Обучение функциям в сетях конечной ширины
   • Роль градиентного спуска
   • Наличие весов
   • Использование обучающих данных
6. Что становится возможным, поскольку NTK сводит обучение к регрессу ядра?
   • Устранение необходимости в каких-либо данных
   • Прогнозирование обученного результата без полного обучения
   • Запуск моделей без параметров
   • Гарантия нулевой ошибки тестирования всегда
7. In the infinite-width limit, what probabilistic model are neural networks equivalent to at initialization?
   • Скрытая марковская модель
   • Ансамбль дерева решений
   • A Gaussian process
   • A finite-state game controller
8. For least-squares regression in the NTK limit, what mathematical form does the network function's training evolution follow?
   • A discrete rule that randomly changes labels
   • A decision tree that grows one branch per epoch
   • A nonlinear search over audio frames
   • A linear differential equation in function space