Вікторина, пов’язана з посібником · Середній Рівень

Тест із відсіканням градієнта

Перевіряє відсікання норми та значення, збереження напрямку, керування градієнтом рознесення та відсікання для кожного прикладу в диференціальному приватному навчанні.

Пов'язані напрямні шляхиГрадієнтне відсікання
Питання 1 з 8

Що в першу чергу зберігає градієнтне відсікання кліпу за нормою, обмежуючи оновлення?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Що в першу чергу зберігає градієнтне відсікання кліпу за нормою, обмежуючи оновлення?
    • Напрямок оновлення загального градієнта
    • Точна величина кожного градієнта
    • Кількість параметрів моделі
    • Розклад курсу навчання
  2. У кліп-за-нормою з порогом c, що відбувається, коли норма градієнта g_norm перевищує c?
    • Градієнти встановлені на нуль
    • Кожен градієнт множиться на c / g_norm
    • Тренування припиняються
    • Швидкість навчання подвоюється
  3. Для боротьби з якою проблемою спеціально розроблено обрізання градієнта?
    • Зникаючі градієнти
    • Повільне завантаження даних
    • Вибухові градієнти
    • Переобладнання до набору перевірки
  4. Чим кліп за значенням відрізняється від кліпу за нормою?
    • Він завжди зберігає напрямок оновлення
    • Він працює лише на згорткових шарах
    • Він повністю видаляє градієнти
    • Він об’єднує кожен компонент градієнта окремо в діапазон, який може змінювати напрямок
  5. A minibatch produces an unusually large global gradient norm. What does clip-by-norm do before the optimizer update?
    • Scales the full gradient vector down to the configured threshold when the norm exceeds it
    • Changes the model’s labels
    • Drops every gradient component independently
    • Increases the learning rate until the loss recovers
  6. У диференціальному приватному навчанні (DP-SGD) яку роль відіграє відсікання градієнта для кожного прикладу?
    • Він шифрує дані
    • Він обмежує вплив кожного прикладу, тому відкалібрований шум може гарантувати конфіденційність
    • Це збільшує розмір партії
    • Це усуває потребу у функції втрат
  7. The global gradient norm is twice a clipping threshold c. By what factor is the gradient scaled?
    • Два
    • One quarter
    • One half (c divided by 2c)
    • It is left unchanged
  8. Why does DP-SGD clip each example’s gradient before adding calibrated noise?
    • To make all examples have the same label
    • To remove the need for a privacy budget
    • To increase the norm of rare-class gradients
    • To bound an individual example’s influence on the released update