Quiz collegato alla guida · Medio Livello

Quiz sull'apprendimento autogestito

Esamina i target derivati ​​dai dati, il mascheramento BERT, le coppie SimCLR, le esigenze di annotazione, l'adattamento, le attività del token successivo, le teste di proiezione e i target del token danneggiato.

Percorsi guida correlatiApprendimento autosupervisionato
Domanda 1 di 8

Da dove proviene il segnale di supervisione negli esempi di autosupervisione descritti?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Da dove proviene il segnale di supervisione negli esempi di autosupervisione descritti?
    • Un requisito per nessun obiettivo formativo
    • Solo nuove etichette semantiche umane per ogni esempio di pre-addestramento
    • Una regola secondo cui gli esempi non contengono informazioni utili
    • I dati e le trasformazioni definite degli stessi
  2. Quali posizioni di input contribuiscono agli obiettivi di previsione alla perdita originale del modello linguistico mascherato BERT?
    • Le posizioni selezionate per l'attività di previsione MLM
    • Ogni posizione nell'intero input indipendentemente dalla selezione
    • Solo la prima posizione di ogni nuova frase
    • Solo le posizioni che compaiono dopo il limite finale della frase
  3. Nell'apprendimento contrastivo come SimCLR, una "coppia positiva" è:
    • Due immagini completamente indipendenti
    • Un paio di etichette scritte da umani
    • Due viste aumentate della stessa immagine che dovrebbero essere vicine nello spazio di incorporamento
    • Due copie del set di dati
  4. Quali requisiti di annotazione può ridurre la preformazione autosupervisionata negli esempi descritti?
    • La necessità di eventuali dati di input utilizzabili
    • Etichette semantiche specifiche dell'attività separate per ogni esempio di pre-addestramento
    • Tutti i costi computazionali per definizione
    • La necessità di valutare le prestazioni a valle
  5. Come può una rappresentazione appresa attraverso l'autosupervisione essere utilizzata per un compito successivo?
    • Valutando un responsabile del compito o adattando la rappresentazione attraverso il fine tuning
    • Supponendo che ogni attività di destinazione non richieda etichette o convalida
    • Scartando tutte le rappresentazioni prima di fare previsioni
    • Considerando la perdita di pre-addestramento come prova dell'accuratezza di ogni applicazione
  6. In che modo l'attività autosupervisionata di un modello in stile GPT differisce da quella di BERT?
    • Non utilizza alcun testo
    • Richiede etichette manuali per ogni parola
    • Prevede solo la prima parola di un documento
    • Prevede il token successivo anziché compilare i token mascherati
  7. Nel framework SimCLR originale, quale componente viene scartato per l'utilizzo della rappresentazione a valle riportata?
    • La rappresentazione dell'encoder stessa
    • La testa di proiezione contrastiva
    • Tutti gli input di formazione prima dell'inizio della formazione preliminare
    • La relazione della coppia positiva immagine sorgente
  8. Quando il pre-addestramento BERT originale sostituisce una posizione di input selezionata con un token casuale, quale rimane il suo obiettivo di perdita?
    • Il token casuale appena inserito
    • Il primo token della frase successiva in ogni caso
    • Il token originale prima della sostituzione
    • Nessun obiettivo, perché ogni sostituzione casuale viene omessa dall'addestramento