Quiz collegato alla guida · Medio Livello
Quiz sulle penalità di ripetizione e sui controlli di decodifica
Confronta le penalità di temperatura, top-k, top-p e ripetizione, incluso il modo in cui cambiano i logit prima del campionamento nei flussi di lavoro di generazione LLM.
Domanda 1 di 8
Che cosa comporta l'aumento del parametro "temperatura" sull'output di un modello?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Che cosa comporta l'aumento del parametro "temperatura" sull'output di un modello?
- Lo rende più casuale e diversificato
- Lo rende più deterministico e mirato
- Modifica in modo permanente i pesi del modello
- Accelera la generazione
- In che modo il campionamento top-p (nucleo) decide quali token considerare?
- Mantiene un numero fisso di token indipendentemente dalla probabilità
- Mantiene il set più piccolo di token le cui probabilità si sommano a una soglia
- Mantiene solo il singolo token più probabile
- Mantiene i token con probabilità superiore al 50%
- In quale fase agisce tipicamente una sanzione di ripetizione?
- Sul testo grezzo dopo generazione
- Sui dati di allenamento
- Sui logit prima del softmax
- Sul vocabolario del tokenizzatore
- In OpenAI’s text-generation API, how do presence and frequency penalties differ?
- Scale di penalità di presenza con conteggio gettoni; la penalità di frequenza è piatta
- Sono identici
- Entrambi si applicano solo al primo token
- Frequency penalty scales with how often a token appeared; presence penalty applies once if it appeared at all
- For code completion where deterministic sampling is desired, which setting best matches the guide?
- Temperatura prossima allo zero
- Temperatura molto elevata
- Penalità di ripetizione elevata superiore a 2,0
- Top-p di 1.0 con temperatura elevata
- Cosa fa il campionamento top-k?
- Mantiene la somma dei token alla probabilità k
- Mantiene solo i k token più probabili come candidati
- Moltiplica tutti i logit per k
- Rimuove dall'addestramento i k gettoni meno probabili
- With a repetition penalty above 1, how does a standard logits processor adjust a previously seen token?
- It sets every repeated-token logit to zero
- It adds the penalty to every token equally
- It divides a positive logit by the penalty and multiplies a negative logit by it
- It removes the token from the vocabulary permanently
- How does top-k differ from top-p sampling?
- Top-k uses cumulative probability while top-p fixes a count
- Top-k changes model weights while top-p changes the tokenizer
- They are both deterministic decoding methods
- Top-k keeps a fixed number of candidates; top-p keeps a probability-mass-based set