Quiz collegato alla guida · Difficile Livello

Quiz sul campionamento programmato e sui bias di esposizione

Controlla il modo in cui il campionamento programmato modifica il contesto del decodificatore, il motivo per cui la probabilità del token d'oro decade e i compromessi del gradiente del campionamento.

Domanda 1 di 8

I bias di esposizione si verificano perché i modelli addestrati con l'insegnante impongono solo condizioni su:

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. I bias di esposizione si verificano perché i modelli addestrati con l'insegnante impongono solo condizioni su:
    • Token di verità, ma devono usare i propri durante l'inferenza
    • I propri gettoni previsti
    • Segnalini rumore casuali
    • Gettoni futuri
  2. Cosa fa il campionamento programmato durante la formazione?
    • Nutre sempre il vero token
    • Sceglie casualmente tra il token vero e la previsione del modello
    • Disabilita periodicamente la funzione di perdita
    • Raddoppia il tasso di apprendimento nel tempo
  3. Come cambia la probabilità di utilizzare il token di verità durante l'addestramento nel campionamento programmato?
    • Rimane costante
    • Inizia basso e aumenta
    • Inizia in alto e decade verso lo zero
    • Oscilla in modo casuale
  4. Chi ha introdotto il campionamento programmato, e più o meno quando?
    • Vaswani et al., 2017
    • Hinton et al., 2006
    • LeCun et al., 1998
    • Bengio et al., 2015
  5. Uno svantaggio tecnico riconosciuto nel reintegrare i token campionati durante l'addestramento è che:
    • La fase di campionamento discreto non è differenziabile, complicando i gradienti
    • Rende la formazione completamente deterministica
    • Non richiede dati di convalida
    • Elimina la necessità di incorporamenti
  6. Quale forma di programma è comunemente citata per far decadere la probabilità di forzatura dell'insegnante?
    • Costante
    • Decadimento del sigmoide inverso
    • Incremento lineare step-up
    • Passeggiata casuale
  7. At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
    • The next ground-truth token every time
    • A token from a separate validation sequence
    • A token sampled from the model’s predicted distribution
    • The average of all vocabulary embeddings
  8. Why does scheduled sampling usually begin with a high probability of using ground truth?
    • It guarantees unbiased gradients
    • It removes the need for a training schedule
    • It makes inference use ground-truth tokens
    • Early predictions are poor, so a correct prefix can stabilize initial learning