Викторина по обрезке градиента

Ответы и пояснения появляются по мере прохождения теста.

1. Что в первую очередь сохраняет обрезка градиента по норме, ограничивая при этом обновление?
   • Направление общего обновления градиента
   • Точная величина каждого градиента
   • Количество параметров модели
   • График обучения
2. Что происходит в режиме клип-по-норме с порогом c, когда норма градиента g_norm превышает c?
   • Градиенты установлены на ноль.
   • Каждый градиент умножается на c/g_norm
   • Обучение прекращается
   • Скорость обучения увеличена в два раза
3. Для решения какой проблемы специально создано обрезка градиента?
   • Исчезающие градиенты
   • Медленная загрузка данных
   • Взрывные градиенты
   • Переоснащение набора проверки
4. Чем клип по значению отличается от клипа по норме?
   • Он всегда сохраняет направление обновления
   • Он работает только на сверточных слоях.
   • Он полностью удаляет градиенты
   • Он фиксирует каждый компонент градиента независимо в диапазоне, который может изменить направление.
5. A minibatch produces an unusually large global gradient norm. What does clip-by-norm do before the optimizer update?
   • Scales the full gradient vector down to the configured threshold when the norm exceeds it
   • Changes the model’s labels
   • Drops every gradient component independently
   • Increases the learning rate until the loss recovers
6. Какую роль играет ограничение градиента для каждого примера в дифференциальном частном обучении (DP-SGD)?
   • Он шифрует данные
   • Он ограничивает влияние каждого примера, поэтому калиброванный шум может гарантировать конфиденциальность.
   • Это увеличивает размер партии
   • Это устраняет необходимость в функции потерь
7. The global gradient norm is twice a clipping threshold c. By what factor is the gradient scaled?
   • Два
   • One quarter
   • One half (c divided by 2c)
   • It is left unchanged
8. Why does DP-SGD clip each example’s gradient before adding calibrated noise?
   • To make all examples have the same label
   • To remove the need for a privacy budget
   • To increase the norm of rare-class gradients
   • To bound an individual example’s influence on the released update