Quiz collegato alla guida · Medio Livello
Quiz sulla decodifica contrastiva
Verifica il punteggio tra esperti e dilettanti, la soppressione dei token condivisi, il filtraggio della plausibilità, l'uso del tempo di decodifica e la valutazione della generazione contrastiva.
Domanda 1 di 8
Nella decodifica contrastiva che ruolo gioca il piccolo modello 'amatoriale'?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Nella decodifica contrastiva che ruolo gioca il piccolo modello 'amatoriale'?
- Le sue probabilità di registro vengono sottratte per sopprimere le modalità di fallimento condivise
- Genera direttamente il testo di output finale
- È messo a punto sugli errori dell'esperto
- Sostituisce l'esperto quando l'esperto è incerto
- Perché sottrarre le probabilità del dilettante riduce la ripetizione e il risultato blando?
- Il dilettante è addestrato a non ripetere mai le parole
- Entrambi i modelli prediligono gettoni generici e ripetitivi, quindi il contrasto li annulla
- Il dilettante cancella i token duplicati dopo la generazione
- La ripetizione è impossibile una volta votati due modelli
- What does the adaptive plausibility constraint do in contrastive decoding?
- It guarantees every remaining continuation is coherent and true
- It replaces the expert distribution with the amateur distribution
- It filters out candidates whose expert probability is too low relative to the expert’s top token
- It forces every token to have equal probability
- Qual è all'incirca la formula del punteggio nella decodifica contrastiva?
- log p_amatore meno log p_esperto
- p_esperto volte p_amatore
- La media delle due probabilità
- log p_esperto meno un coefficiente per log p_amatore
- Un vantaggio pratico fondamentale della decodifica contrastiva è che:
- Funziona al momento dell'inferenza senza formazione aggiuntiva
- Richiede la riqualificazione congiunta di entrambi i modelli
- Funziona solo su attività di classificazione
- Elimina la necessità di un modello di grandi dimensioni
- Quale metodo successivo estende l'idea contrastiva agli strati di un singolo modello?
- Ricerca del raggio
- DoLa, che contrappone gli strati precoci a quelli tardivi
- Decodifica avida
- Scalatura della temperatura
- The expert assigns probability 0.4 to its top token and the plausibility threshold is 0.1 of that value. What is the minimum probability for a candidate to remain eligible?
- 0.4
- 0,1
- 0.04
- 0.004
- Why can contrastive decoding require more inference work than using the expert model alone?
- It must retrain both models for every prompt
- It replaces the vocabulary with image patches
- It runs only the amateur model
- It scores candidates with both an expert and an amateur model at inference time