Тест, свързан с ръководство · Среден Ниво
Тест за нормализиране на слоя
Проверява статистическите данни на LayerNorm и афинните параметри, неговото поведение на размера на партидата, епсилон, RMSNorm и разположението преди нормата. в дълбоки мрежи.
Въпрос 1 на 8
В какво нормализирането на слоя изчислява неговата средна стойност и дисперсия?
Визуализирайте всеки въпрос8 въпроси
Отговорите и обясненията се появяват, докато отговаряте на теста.
- В какво нормализирането на слоя изчислява неговата средна стойност и дисперсия?
- През характеристиките на един пример
- Във всички примери в минипартидата
- Във всички тежести в мрежата
- В множество епохи на обучение
- Защо нормализирането на слоевете е предпочитано пред нормализирането на партиди в трансформаторите?
- Това изисква много голям размер на партидата
- Той е независим от размера на партидата и обработва последователности с променлива дължина
- Това елиминира необходимостта от каквито и да било параметри, които могат да се научат
- Работи само по време на извод
- Какво позволяват на научаемите параметри гама и бета да правят LayerNorm?
- Изберете скоростта на обучение
- Задайте броя на слоевете
- Премащабирайте и изместете нормализирания изход, така че мрежата да може да възстанови полезни представяния
- Премахнете необходимостта от функция за активиране
- Как се различава RMSNorm от стандартния LayerNorm?
- Вместо това се нормализира в партидата
- Не използва параметри и разделение
- Работи само върху изображения
- Пропуска средното изваждане и дели само на средноквадратичното
- Какъв проблем основно помага за решаването на нормализирането на слоя в дълбоки мрежи?
- Активациите преминават в много различни мащаби, което дестабилизира обучението
- Свършва дисковото пространство
- Избор на правилния набор от данни
- Шифроване на теглата на модела
- Защо поставянето "пред норма" често се използва в много дълбоки трансформатори?
- Прави модела по-малък
- Нормализирането преди всеки подслой прави дълбоките стекове по-лесни и по-стабилни за обучение
- Премахва механизма на вниманието
- Автоматично удвоява скоростта на обучение
- Why is a small epsilon added to LayerNorm’s variance before taking its square root?
- To make the batch size larger
- To replace the learnable scale
- To avoid division by zero and improve numerical stability
- To compute the sequence length
- If gamma is all ones and beta is all zeros, what does LayerNorm’s affine stage do?
- It restores the original unnormalized inputs exactly
- It applies a softmax over features
- It changes the statistics to be batch-dependent
- It leaves the normalized values unchanged after the mean-and-variance scaling