Quiz collegato alla guida · Medio Livello

Quiz di campionamento Nucleus e Top-k

Comprendi come top-k, top-p e la temperatura modificano il campionamento dei token e perché le scelte di decodifica cambiano il comportamento del testo generato.

Domanda 1 di 8

In che modo il campionamento top-k limita le scelte dei token?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. In che modo il campionamento top-k limita le scelte dei token?
    • Mantiene solo i k token con la probabilità più alta, quindi li campiona
    • Mantiene i token finché la probabilità cumulativa non supera k
    • Seleziona sempre il singolo token più probabile
    • Rimuove solo i token meno probabili
  2. Cosa definisce il "nucleo" nel campionamento del nucleo (in alto)?
    • Le k parole più frequenti nei dati di addestramento
    • L'insieme più piccolo di token la cui somma delle probabilità è almeno p
    • Il singolo token con la più alta probabilità
    • Tutti i token con probabilità superiore al 50%
  3. Qual è il vantaggio principale di top-p rispetto a top-k?
    • È sempre più veloce da calcolare
    • Non produce mai output casuale
    • Il numero di token candidati si adatta alla confidenza del modello
    • Ignora le probabilità simboliche
  4. Cosa fa il parametro della temperatura prima del campionamento?
    • Imposta la lunghezza massima della sequenza
    • Seleziona la lingua di output
    • Conta la dimensione del vocabolario
    • Ridimensiona la distribuzione di probabilità per renderla più nitida o più piatta
  5. What result did the nucleus-sampling paper report for its tested open-ended generation tasks?
    • It improved diversity without sacrificing fluency and coherence in the reported comparisons
    • It guaranteed factual correctness in every output
    • It eliminated all sampling randomness
    • It improved translation quality on every benchmark
  6. For a greedy decoding baseline with no token sampling, how should generation be configured?
    • Disable sampling and use greedy decoding to select the highest-probability token at each step
    • Use high temperature and a large nucleus threshold
    • Randomize the temperature at every step
    • Keep sampling enabled but increase top-p
  7. After top-k truncation removes tokens, what happens to the remaining sampling probabilities?
    • They remain assigned their original total mass below one
    • They are replaced with equal probabilities
    • They are renormalized over the retained top-k tokens
    • They are converted into beam-search scores
  8. What did Holtzman et al. report about likelihood-maximizing decoding for open-ended text?
    • It always yields the most diverse human-like passages
    • Elimina la necessità di un modello linguistico
    • It guarantees factual correctness
    • It can produce bland and repetitive text despite strong likelihood scores