Quiz collegato alla guida · Medio Livello

Quiz sulle funzioni di attivazione

Scopri perché le reti necessitano di non linearità e come si comportano ReLU, sigmoid, tanh, softmax, Leaky ReLU e GELU tra i livelli nascosti e di output.

Percorsi guida correlatiFunzioni di attivazione
Domanda 1 di 8

Perché l'impilamento di soli strati lineari non può apprendere un confine decisionale curvo?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Perché l'impilamento di soli strati lineari non può apprendere un confine decisionale curvo?
    • Ciascun livello elimina tutte le funzionalità di input
    • L'output diventa una distribuzione di probabilità
    • Gli strati lineari non possono essere addestrati con la backpropagation
    • La loro composizione è ancora un'unica trasformazione lineare
  2. Qual è l'output di ReLU per un input di −3?
    • −3
    • 0
    • 3
    • Una probabilità di classe
  3. Perché il sigmoide e il tanh possono bloccare l’apprendimento nelle reti profonde quando gli input raggiungono i loro estremi?
    • I loro gradienti si avvicinano allo zero nelle regioni sature
    • Costringono ogni peso ad essere identico
    • Non possono rappresentare valori limitati
    • Producono sempre un output indefinito
  4. Un classificatore multiclasse necessita di valori di output che si sommano a uno tra le classi. Quale funzione utilizza la guida?
    • ReLU che perde
    • Va bene
    • Softmax
    • ReLU
  5. Cosa significa nella guida il problema della “morire ReLU”?
    • Il set di dati di addestramento perde le etichette
    • Un'unità rimane sul lato con output zero e lì non riceve alcun gradiente utile
    • Gli output softmax non riescono a sommarsi a uno
    • Tutti gli input positivi diventano negativi
  6. Quale variante è suggerita quando molte unità ReLU rimangono inattive?
    • Softmax
    • Uno strato nascosto puramente lineare
    • Sigmoide ad ogni strato nascosto
    • Leaky ReLU, che consente una piccola risposta negativa
  7. Quale caratteristica di GELU associa la guida al suo utilizzo nei modelli di trasformatori?
    • Rimuove tutto il comportamento non lineare
    • Fornisce sempre probabilità di classe esatte
    • Una risposta fluida piuttosto che il taglio netto di ReLU
    • Risolve ogni instabilità dell'allenamento
  8. Per gli input positivi, quale proprietà del gradiente ReLU aiuta a preservare un segnale propagato all'indietro?
    • La sua pendenza è 1 sul lato positivo
    • La sua pendenza è sempre zero
    • Non ha derivati da nessuna parte
    • Normalizza i gradienti alle probabilità di classe