Quiz collegato alla guida · Medio Livello

Quiz sulle penalità di ripetizione e sui controlli di decodifica

Confronta le penalità di temperatura, top-k, top-p e ripetizione, incluso il modo in cui cambiano i logit prima del campionamento nei flussi di lavoro di generazione LLM.

Domanda 1 di 8

Che cosa comporta l'aumento del parametro "temperatura" sull'output di un modello?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Che cosa comporta l'aumento del parametro "temperatura" sull'output di un modello?
    • Lo rende più casuale e diversificato
    • Lo rende più deterministico e mirato
    • Modifica in modo permanente i pesi del modello
    • Accelera la generazione
  2. In che modo il campionamento top-p (nucleo) decide quali token considerare?
    • Mantiene un numero fisso di token indipendentemente dalla probabilità
    • Mantiene il set più piccolo di token le cui probabilità si sommano a una soglia
    • Mantiene solo il singolo token più probabile
    • Mantiene i token con probabilità superiore al 50%
  3. In quale fase agisce tipicamente una sanzione di ripetizione?
    • Sul testo grezzo dopo generazione
    • Sui dati di allenamento
    • Sui logit prima del softmax
    • Sul vocabolario del tokenizzatore
  4. In OpenAI’s text-generation API, how do presence and frequency penalties differ?
    • Scale di penalità di presenza con conteggio gettoni; la penalità di frequenza è piatta
    • Sono identici
    • Entrambi si applicano solo al primo token
    • Frequency penalty scales with how often a token appeared; presence penalty applies once if it appeared at all
  5. For code completion where deterministic sampling is desired, which setting best matches the guide?
    • Temperatura prossima allo zero
    • Temperatura molto elevata
    • Penalità di ripetizione elevata superiore a 2,0
    • Top-p di 1.0 con temperatura elevata
  6. Cosa fa il campionamento top-k?
    • Mantiene la somma dei token alla probabilità k
    • Mantiene solo i k token più probabili come candidati
    • Moltiplica tutti i logit per k
    • Rimuove dall'addestramento i k gettoni meno probabili
  7. With a repetition penalty above 1, how does a standard logits processor adjust a previously seen token?
    • It sets every repeated-token logit to zero
    • It adds the penalty to every token equally
    • It divides a positive logit by the penalty and multiplies a negative logit by it
    • It removes the token from the vocabulary permanently
  8. How does top-k differ from top-p sampling?
    • Top-k uses cumulative probability while top-p fixes a count
    • Top-k changes model weights while top-p changes the tokenizer
    • They are both deterministic decoding methods
    • Top-k keeps a fixed number of candidates; top-p keeps a probability-mass-based set