Тест із функціями активації

Відповіді та пояснення з’являються під час виконання тесту.

1. Чому стекування лише лінійних шарів не може засвоїти вигнуту межу рішення?
   • Each layer deletes all input features
   • The output becomes a probability distribution
   • Linear layers cannot be trained with backpropagation
   • Their composition is still a single linear transformation
2. What is the output of ReLU for an input of −3?
   • −3
   • 0
   • 3
   • A class probability
3. Чому sigmoid і tanh можуть зупинити навчання в глибоких мережах, коли вхідні дані досягають крайніх значень?
   • Their gradients approach zero in saturated regions
   • They force every weight to be identical
   • They cannot represent bounded values
   • They always produce an undefined output
4. Мультикласовий класифікатор потребує вихідних значень, які в класах дорівнюють одиниці. Яку функцію використовує посібник?
   • Діряве ReLU
   • Танх
   • Softmax
   • ReLU
5. Що означає проблема «вмираючого ReLU» в посібнику?
   • The training dataset loses labels
   • A unit stays on its zero-output side and receives no useful gradient there
   • The softmax outputs fail to sum to one
   • All positive inputs become negative
6. Який варіант пропонується, коли багато одиниць ReLU залишаються неактивними?
   • Softmax
   • A purely linear hidden layer
   • Sigmoid at every hidden layer
   • Leaky ReLU, which allows a small negative-side response
7. What feature of GELU does the guide associate with its use in transformer models?
   • It removes all nonlinear behavior
   • It always yields exact class probabilities
   • A smooth response rather than ReLU’s hard cutoff
   • It fixes every training instability
8. For positive inputs, what ReLU gradient property helps preserve a backpropagated signal?
   • Its slope is 1 on the positive side
   • Its slope is always zero
   • It has no derivative anywhere
   • It normalizes gradients to class probabilities