Quiz collegato alla guida · Medio Livello

Quiz di campionamento e riclassificazione al meglio della serie

Comprendere la selezione del migliore degli N, i limiti del punteggio, i costi del tempo di inferenza e le ipotesi di probabilità alla base del campionamento di più candidati.

Domanda 1 di 8

Qual è l’idea centrale del campionamento al meglio di N?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Qual è l’idea centrale del campionamento al meglio di N?
    • Genera N output candidati e scegli quello migliore con un punteggio
    • Addestra il modello N volte e calcola la media dei pesi
    • Utilizza solo il primo output prodotto dal modello
    • Riduci il vocabolario a N gettoni
  2. When is best-of-N most likely to help?
    • When every output is equally good
    • When the model sometimes samples a correct candidate and a reliable verifier can identify it
    • When the task has no way to assess candidates
    • When sampling is disabled
  3. Cosa determina in gran parte se il meglio di N migliora effettivamente i risultati?
    • Il colore dell'interfaccia utente
    • Solo la lunghezza del prompt
    • La qualità e la robustezza del valutatore o del verificatore
    • La dimensione del vocabolario del modello
  4. What can happen when N becomes large and the reward model is an imperfect proxy?
    • The model’s tokenizer is removed
    • The model forgets its training weights
    • All candidates become identical
    • Selection can favor outputs that exploit scorer errors and reduce true quality
  5. Quale semplice strategia di riclassificazione è nota anche come autoconsistenza?
    • Voto a maggioranza tra le risposte campionate
    • Scegliere la risposta più lunga
    • Scelta di un campione casuale
    • Prendendo sempre l'output con la probabilità più bassa
  6. What mainly drives the generation cost of best-of-N?
    • Only the number of vocabulary entries
    • The total amount of text generated across the sampled candidates
    • The user interface color
    • The number of model training runs
  7. If each independent sample succeeds with probability p and a perfect verifier picks any success, what is the chance at least one of N samples succeeds?
    • p/N
    • N−p
    • 1−(1−p)^N
    • 1−p^N
  8. Which assumption is needed for the simple 1−(1−p)^N success formula?
    • Every response has a different length
    • The model is retrained after each sample
    • The reward model has no parameters
    • The candidate samples are independent and the verifier recognizes success perfectly