Quiz collegato alla guida · Medio Livello
Quiz di campionamento Nucleus e Top-k
Comprendi come top-k, top-p e la temperatura modificano il campionamento dei token e perché le scelte di decodifica cambiano il comportamento del testo generato.
Domanda 1 di 8
In che modo il campionamento top-k limita le scelte dei token?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- In che modo il campionamento top-k limita le scelte dei token?
- Mantiene solo i k token con la probabilità più alta, quindi li campiona
- Mantiene i token finché la probabilità cumulativa non supera k
- Seleziona sempre il singolo token più probabile
- Rimuove solo i token meno probabili
- Cosa definisce il "nucleo" nel campionamento del nucleo (in alto)?
- Le k parole più frequenti nei dati di addestramento
- L'insieme più piccolo di token la cui somma delle probabilità è almeno p
- Il singolo token con la più alta probabilità
- Tutti i token con probabilità superiore al 50%
- Qual è il vantaggio principale di top-p rispetto a top-k?
- È sempre più veloce da calcolare
- Non produce mai output casuale
- Il numero di token candidati si adatta alla confidenza del modello
- Ignora le probabilità simboliche
- Cosa fa il parametro della temperatura prima del campionamento?
- Imposta la lunghezza massima della sequenza
- Seleziona la lingua di output
- Conta la dimensione del vocabolario
- Ridimensiona la distribuzione di probabilità per renderla più nitida o più piatta
- What result did the nucleus-sampling paper report for its tested open-ended generation tasks?
- It improved diversity without sacrificing fluency and coherence in the reported comparisons
- It guaranteed factual correctness in every output
- It eliminated all sampling randomness
- It improved translation quality on every benchmark
- For a greedy decoding baseline with no token sampling, how should generation be configured?
- Disable sampling and use greedy decoding to select the highest-probability token at each step
- Use high temperature and a large nucleus threshold
- Randomize the temperature at every step
- Keep sampling enabled but increase top-p
- After top-k truncation removes tokens, what happens to the remaining sampling probabilities?
- They remain assigned their original total mass below one
- They are replaced with equal probabilities
- They are renormalized over the retained top-k tokens
- They are converted into beam-search scores
- What did Holtzman et al. report about likelihood-maximizing decoding for open-ended text?
- It always yields the most diverse human-like passages
- Elimina la necessità di un modello linguistico
- It guarantees factual correctness
- It can produce bland and repetitive text despite strong likelihood scores