Вікторина, пов’язана з посібником · важко Рівень
Вікторина з нормалізації пакетів
Перевіряє статистику партій, афінний масштаб і зсув, поточні середні значення, нестабільність малих партій і чим BatchNorm відрізняється від LayerNorm.
Питання 1 з 8
Що нормалізує пакетна нормалізація?
Перегляньте кожне запитання8 запитання
Відповіді та пояснення з’являються під час виконання тесту.
- Що нормалізує пакетна нормалізація?
- Вхідні дані для шару в прикладах у поточному міні-пакеті
- Кінцеві вихідні мітки мережі
- Графік навчання в часі
- Розмір навчального набору даних
- Чому пакетна нормалізація включає гамма- та бета-параметри, які можна вивчати?
- Щоб збільшити розмір набору даних
- Дозволити масштабувати мережу та зміщувати нормалізовані значення, зберігаючи потужність представлення
- Для випадкового скидання нейронів під час навчання
- Щоб обчислити функцію втрат
- Яка практична перевага пакетної нормалізації зазвичай згадується?
- Це усуває потребу в будь-яких навчальних даних
- Це гарантує, що модель не підійде
- Це забезпечує вищі темпи навчання та швидшу та стабільнішу конвергенцію
- Це усуває потребу у функції активації
- Під час висновку (прогнозування на основі нових даних), яку статистику використовує пакетна нормалізація?
- Середнє значення та дисперсія лише поточного єдиного вхідного сигналу
- Кожен раз випадково генерується статистика
- Статистика тестового набору обчислюється заздалегідь
- Змінні середні значення та дисперсія, накопичені під час навчання
- Чому нормалізація партії може працювати погано з дуже малими розмірами партії?
- Пакетна статистика стає шумною та ненадійною оцінкою справжнього розподілу
- Невеликі партії роблять модель занадто великою, щоб вона помістилася в пам’яті
- Він вимикає функції активації
- Невеликі партії змушують використовувати регулярізацію L1
- Який метод нормалізації найчастіше використовується в трансформаторних архітектурах як альтернатива пакетній нормалізації?
- Нормалізація випадання
- Нормалізація шару
- L2 нормалізація втрат
- Градієнтне обрізання
- Why does BatchNorm use running averages during inference instead of the current test batch’s statistics?
- To retrain the model on test data
- To make all activations exactly zero
- So a prediction does not depend on which other examples happen to share the batch
- To eliminate learned gamma and beta
- Where is BatchNorm commonly placed within a layer block according to the guide?
- Only after the final prediction
- Before the input data are loaded
- Inside the optimizer update
- Between the linear transformation and its activation function