Quiz collegato alla guida · Difficile Livello
Quiz sul campionamento programmato e sui bias di esposizione
Controlla il modo in cui il campionamento programmato modifica il contesto del decodificatore, il motivo per cui la probabilità del token d'oro decade e i compromessi del gradiente del campionamento.
Domanda 1 di 8
I bias di esposizione si verificano perché i modelli addestrati con l'insegnante impongono solo condizioni su:
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- I bias di esposizione si verificano perché i modelli addestrati con l'insegnante impongono solo condizioni su:
- Token di verità, ma devono usare i propri durante l'inferenza
- I propri gettoni previsti
- Segnalini rumore casuali
- Gettoni futuri
- Cosa fa il campionamento programmato durante la formazione?
- Nutre sempre il vero token
- Sceglie casualmente tra il token vero e la previsione del modello
- Disabilita periodicamente la funzione di perdita
- Raddoppia il tasso di apprendimento nel tempo
- Come cambia la probabilità di utilizzare il token di verità durante l'addestramento nel campionamento programmato?
- Rimane costante
- Inizia basso e aumenta
- Inizia in alto e decade verso lo zero
- Oscilla in modo casuale
- Chi ha introdotto il campionamento programmato, e più o meno quando?
- Vaswani et al., 2017
- Hinton et al., 2006
- LeCun et al., 1998
- Bengio et al., 2015
- Uno svantaggio tecnico riconosciuto nel reintegrare i token campionati durante l'addestramento è che:
- La fase di campionamento discreto non è differenziabile, complicando i gradienti
- Rende la formazione completamente deterministica
- Non richiede dati di convalida
- Elimina la necessità di incorporamenti
- Quale forma di programma è comunemente citata per far decadere la probabilità di forzatura dell'insegnante?
- Costante
- Decadimento del sigmoide inverso
- Incremento lineare step-up
- Passeggiata casuale
- At a decoding step where scheduled sampling chooses the model-output branch, what is fed as the next context token?
- The next ground-truth token every time
- A token from a separate validation sequence
- A token sampled from the model’s predicted distribution
- The average of all vocabulary embeddings
- Why does scheduled sampling usually begin with a high probability of using ground truth?
- It guarantees unbiased gradients
- It removes the need for a training schedule
- It makes inference use ground-truth tokens
- Early predictions are poor, so a correct prefix can stabilize initial learning