Quiz collegato alla guida · Medio Livello
Quiz sulle funzioni di attivazione
Scopri perché le reti necessitano di non linearità e come si comportano ReLU, sigmoid, tanh, softmax, Leaky ReLU e GELU tra i livelli nascosti e di output.
Domanda 1 di 8
Perché l'impilamento di soli strati lineari non può apprendere un confine decisionale curvo?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Perché l'impilamento di soli strati lineari non può apprendere un confine decisionale curvo?
- Ciascun livello elimina tutte le funzionalità di input
- L'output diventa una distribuzione di probabilità
- Gli strati lineari non possono essere addestrati con la backpropagation
- La loro composizione è ancora un'unica trasformazione lineare
- Qual è l'output di ReLU per un input di −3?
- −3
- 0
- 3
- Una probabilità di classe
- Perché il sigmoide e il tanh possono bloccare l’apprendimento nelle reti profonde quando gli input raggiungono i loro estremi?
- I loro gradienti si avvicinano allo zero nelle regioni sature
- Costringono ogni peso ad essere identico
- Non possono rappresentare valori limitati
- Producono sempre un output indefinito
- Un classificatore multiclasse necessita di valori di output che si sommano a uno tra le classi. Quale funzione utilizza la guida?
- ReLU che perde
- Va bene
- Softmax
- ReLU
- Cosa significa nella guida il problema della “morire ReLU”?
- Il set di dati di addestramento perde le etichette
- Un'unità rimane sul lato con output zero e lì non riceve alcun gradiente utile
- Gli output softmax non riescono a sommarsi a uno
- Tutti gli input positivi diventano negativi
- Quale variante è suggerita quando molte unità ReLU rimangono inattive?
- Softmax
- Uno strato nascosto puramente lineare
- Sigmoide ad ogni strato nascosto
- Leaky ReLU, che consente una piccola risposta negativa
- Quale caratteristica di GELU associa la guida al suo utilizzo nei modelli di trasformatori?
- Rimuove tutto il comportamento non lineare
- Fornisce sempre probabilità di classe esatte
- Una risposta fluida piuttosto che il taglio netto di ReLU
- Risolve ogni instabilità dell'allenamento
- Per gli input positivi, quale proprietà del gradiente ReLU aiuta a preservare un segnale propagato all'indietro?
- La sua pendenza è 1 sul lato positivo
- La sua pendenza è sempre zero
- Non ha derivati da nessuna parte
- Normalizza i gradienti alle probabilità di classe