Quiz collegato alla guida · Medio Livello

Quiz sulla modellazione del linguaggio mascherato

Comprendere la modellazione del linguaggio mascherato, lo schema di selezione dei token di BERT e le alternative successive per il pre-addestramento bidirezionale.

Domanda 1 di 8

Qual è il compito formativo principale nella modellazione del linguaggio mascherato?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Qual è il compito formativo principale nella modellazione del linguaggio mascherato?
    • Predire parole deliberatamente nascoste dal contesto circostante
    • Predire la parola successiva dopo una frase
    • Traduzione di testo tra due lingue
    • Classificare le frasi in base alla correttezza grammaticale
  2. Approssimativamente quale percentuale di token BERT maschera tipicamente durante il pre-addestramento?
    • Circa il 50%
    • Circa il 15%
    • Circa l'1%
    • Circa il 90%
  3. Perché il MLM fornisce un modello di comprensione bidirezionale?
    • Legge le frasi al contrario
    • Utilizza due modelli separati
    • Ogni gettone si occupa delle parole sia a sinistra che a destra
    • Guarda solo la parola precedente
  4. Nello schema di mascheramento di BERT, cosa succede a circa il 10% delle posizioni selezionate invece di diventare [MASK]?
    • Vengono eliminati completamente
    • Sono duplicati
    • Sono in maiuscolo
    • Vengono sostituiti con una parola casuale
  5. Su quali posizioni viene calcolata la perdita MLM?
    • Solo le posizioni mascherate
    • Ogni segno nella frase
    • Solo il primo e l'ultimo token
    • Solo segni di punteggiatura
  6. Rispetto alla previsione del token successivo, cosa perde il MLM?
    • La capacità di utilizzare il contesto
    • La capacità di generare testo fluido da sinistra a destra
    • Accesso a un vocabolario
    • L'uso dell'attenzione
  7. In che modo il mascheramento dinamico di RoBERTa differisce dalla configurazione originale di BERT?
    • Maschera solo il primo segno di ogni frase
    • Prevede i token futuri con un decodificatore causale
    • Le posizioni mascherate possono essere rigenerate durante i passaggi di allenamento invece di rimanere fisse
    • Sostituisce tutti i token mascherati con numeri casuali
  8. Quale obiettivo ausiliario ha combinato la ricetta originale di preformazione BERT con il MLM?
    • Ricostruzione di patch di immagini
    • Diarizzazione audio degli altoparlanti
    • Un modello di ricompensa per la generazione del codice
    • Previsione della frase successiva