Тест, свързан с ръководство · трудно Ниво
Тест за нормализиране на партиди
Проверява статистическите данни за партидите, афинния мащаб и изместването, текущите средни стойности, нестабилността на малки партиди и как BatchNorm се различава от LayerNorm.
Въпрос 1 на 8
Какво нормализира партидната нормализация?
Визуализирайте всеки въпрос8 въпроси
Отговорите и обясненията се появяват, докато отговаряте на теста.
- Какво нормализира партидната нормализация?
- Входящите данни за слой, в примерите в текущата мини-група
- Крайните изходни етикети на мрежата
- Графикът на скоростта на обучение във времето
- Размерът на набора от данни за обучение
- Защо пакетната нормализация включва параметри, които могат да се научат гама и бета?
- За да увеличите размера на набора от данни
- Да позволи на мрежата да мащабира и измества нормализираните стойности, запазвайки представителната сила
- За произволно изпускане на неврони по време на тренировка
- За изчисляване на функцията на загубата
- Каква е често цитираната практическа полза от нормализирането на партиди?
- Това елиминира необходимостта от каквито и да било данни за обучение
- Гарантира, че моделът няма да прекалява
- Позволява по-високи скорости на обучение и по-бърза, по-стабилна конвергенция
- Премахва необходимостта от функция за активиране
- По време на извод (предсказване на нови данни), какви статистики използва партидната нормализация?
- Средната стойност и дисперсията само на текущия единичен вход
- Произволно генерирани статистики всеки път
- Статистиката на набора от тестове, изчислена предварително
- Текущи средни стойности на средната стойност и дисперсията, натрупани по време на тренировка
- Защо нормализирането на партиди може да се държи лошо с много малки размери на партиди?
- Пакетните статистики стават шумни и ненадеждни оценки на истинското разпределение
- Малките партиди правят модела твърде голям, за да се побере в паметта
- Деактивира функциите за активиране
- Малките партиди налагат използването на L1 регулация
- Коя техника за нормализиране се използва най-често в трансформаторните архитектури като алтернатива на груповата нормализация?
- Нормализация на отпадането
- Нормализация на слоя
- L2 нормализиране на загубата
- Градиентно изрязване
- Why does BatchNorm use running averages during inference instead of the current test batch’s statistics?
- To retrain the model on test data
- To make all activations exactly zero
- So a prediction does not depend on which other examples happen to share the batch
- To eliminate learned gamma and beta
- Where is BatchNorm commonly placed within a layer block according to the guide?
- Only after the final prediction
- Before the input data are loaded
- Inside the optimizer update
- Between the linear transformation and its activation function