Тест, свързан с ръководство · Среден Ниво

Тест за изрязване на градиенти

Проверява изрязването на нормата и стойността, запазването на посоката, контрола на експлозивния градиент и изрязването на пример в различно частно обучение.

Свързани ръководни пътекиГрадиентно изрязване
Въпрос 1 на 8

Какво основно запазва градиентното изрязване по норма, като същевременно ограничава актуализацията?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какво основно запазва градиентното изрязване по норма, като същевременно ограничава актуализацията?
    • Посоката на цялостната актуализация на градиента
    • Точната величина на всеки градиент
    • Броят на параметрите на модела
    • Графикът на скоростта на обучение
  2. При клип по норма с праг c, какво се случва, когато нормата на градиента g_norm надвиши c?
    • Градиентите са зададени на нула
    • Всеки градиент се умножава по c / g_norm
    • Тренировките спират
    • Степента на обучение се удвоява
  3. За справяне с кой проблем е изрязването с градиент специално предназначено?
    • Изчезващи градиенти
    • Бавно зареждане на данни
    • Експлодиращи градиенти
    • Пренастройване на комплекта за валидиране
  4. Как се различава клипът по стойност от клипът по норма?
    • Винаги запазва посоката на актуализиране
    • Работи само върху конволюционни слоеве
    • Премахва градиентите изцяло
    • Той затяга всеки компонент на градиента независимо в диапазон, който може да промени посоката
  5. A minibatch produces an unusually large global gradient norm. What does clip-by-norm do before the optimizer update?
    • Scales the full gradient vector down to the configured threshold when the norm exceeds it
    • Changes the model’s labels
    • Drops every gradient component independently
    • Increases the learning rate until the loss recovers
  6. В различното частно обучение (DP-SGD), каква роля играе изрязването на градиент за пример?
    • Той криптира данните
    • Той ограничава влиянието на всеки пример, така че калибрираният шум може да гарантира поверителност
    • Увеличава размера на партидата
    • Премахва необходимостта от функция за загуба
  7. The global gradient norm is twice a clipping threshold c. By what factor is the gradient scaled?
    • две
    • One quarter
    • One half (c divided by 2c)
    • It is left unchanged
  8. Why does DP-SGD clip each example’s gradient before adding calibrated noise?
    • To make all examples have the same label
    • To remove the need for a privacy budget
    • To increase the norm of rare-class gradients
    • To bound an individual example’s influence on the released update