Викторина, связанная с руководством · Жесткий Уровень

Викторина «Феномен двойного спуска»

Просмотрите двойной спуск вблизи интерполяции и то, как это явление может меняться в зависимости от размера модели, размера набора данных и продолжительности обучения.

Связанные направляющие путиФеномен двойного спуска
Вопрос 1 из 8

Где на кривой двойного спуска обычно наблюдается пик ошибки теста?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Где на кривой двойного спуска обычно наблюдается пик ошибки теста?
    • На пороге интерполяции, когда модель соответствует всем обучающим данным.
    • В самом начале обучения с небольшим количеством параметров
    • Только после миллиардов параметров
    • Ошибка теста никогда не достигает пика; оно монотонно падает
  2. Что происходит с ошибкой тестирования, когда модель становится сильно параметризованной?
    • Он растет бесконечно из-за переобучения
    • Он может снова снизиться, часто ниже классического минимума.
    • Он остается абсолютно плоским
    • Оно становится случайным и непредсказуемым
  3. In which setting does the cited implicit-bias analysis characterize a minimum-norm solution?
    • Any neural network trained with gradient descent
    • Any model that reaches zero training error
    • A single-hidden-layer linear network under stated gradient-flow and initialization assumptions
    • A model trained without an optimization objective
  4. «Эпохальное» двойное нисхождение относится к эффекту, возникающему как функция чего?
    • Количество используемых графических процессоров
    • Только график обучения
    • Размер тестового набора
    • Время обучения (количество эпох)
  5. Какая классическая идея бросает вызов двойному происхождению?
    • U-образный компромисс между смещением и дисперсией
    • Обратное распространение ошибки
    • Стохастический градиентный спуск
    • Правило цепочки
  6. Кто помог популяризировать и формализовать кривую двойного спуска в 2019 году?
    • Ньютон и Лейбниц
    • Белкин, Сюй, Ма и Мандал
    • Тьюринг и Чёрч
    • Только анонимные конкуренты Kaggle
  7. Which model families did OpenAI report studying in its deep double-descent experiments?
    • Only decision trees and linear regression
    • Only recurrent speech recognizers
    • Convolutional neural networks, ResNets, and transformers
    • Only graphical game generators
  8. Besides model size and training duration, which axis can also show double-descent behavior?
    • Font size in a report
    • The number of words in a product name
    • The screen resolution of a monitor
    • Training dataset size