Quiz collegato alla guida · Medio Livello
Quiz sull'apprendimento autogestito
Esamina i target derivati dai dati, il mascheramento BERT, le coppie SimCLR, le esigenze di annotazione, l'adattamento, le attività del token successivo, le teste di proiezione e i target del token danneggiato.
Domanda 1 di 8
Da dove proviene il segnale di supervisione negli esempi di autosupervisione descritti?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Da dove proviene il segnale di supervisione negli esempi di autosupervisione descritti?
- Un requisito per nessun obiettivo formativo
- Solo nuove etichette semantiche umane per ogni esempio di pre-addestramento
- Una regola secondo cui gli esempi non contengono informazioni utili
- I dati e le trasformazioni definite degli stessi
- Quali posizioni di input contribuiscono agli obiettivi di previsione alla perdita originale del modello linguistico mascherato BERT?
- Le posizioni selezionate per l'attività di previsione MLM
- Ogni posizione nell'intero input indipendentemente dalla selezione
- Solo la prima posizione di ogni nuova frase
- Solo le posizioni che compaiono dopo il limite finale della frase
- Nell'apprendimento contrastivo come SimCLR, una "coppia positiva" è:
- Due immagini completamente indipendenti
- Un paio di etichette scritte da umani
- Due viste aumentate della stessa immagine che dovrebbero essere vicine nello spazio di incorporamento
- Due copie del set di dati
- Quali requisiti di annotazione può ridurre la preformazione autosupervisionata negli esempi descritti?
- La necessità di eventuali dati di input utilizzabili
- Etichette semantiche specifiche dell'attività separate per ogni esempio di pre-addestramento
- Tutti i costi computazionali per definizione
- La necessità di valutare le prestazioni a valle
- Come può una rappresentazione appresa attraverso l'autosupervisione essere utilizzata per un compito successivo?
- Valutando un responsabile del compito o adattando la rappresentazione attraverso il fine tuning
- Supponendo che ogni attività di destinazione non richieda etichette o convalida
- Scartando tutte le rappresentazioni prima di fare previsioni
- Considerando la perdita di pre-addestramento come prova dell'accuratezza di ogni applicazione
- In che modo l'attività autosupervisionata di un modello in stile GPT differisce da quella di BERT?
- Non utilizza alcun testo
- Richiede etichette manuali per ogni parola
- Prevede solo la prima parola di un documento
- Prevede il token successivo anziché compilare i token mascherati
- Nel framework SimCLR originale, quale componente viene scartato per l'utilizzo della rappresentazione a valle riportata?
- La rappresentazione dell'encoder stessa
- La testa di proiezione contrastiva
- Tutti gli input di formazione prima dell'inizio della formazione preliminare
- La relazione della coppia positiva immagine sorgente
- Quando il pre-addestramento BERT originale sostituisce una posizione di input selezionata con un token casuale, quale rimane il suo obiettivo di perdita?
- Il token casuale appena inserito
- Il primo token della frase successiva in ogni caso
- Il token originale prima della sostituzione
- Nessun obiettivo, perché ogni sostituzione casuale viene omessa dall'addestramento