Κουίζ θερμοκρασίας και δειγματοληψίας

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Τι κάνει η αύξηση της θερμοκρασίας στην έξοδο ενός μοντέλου;
   • Το κάνει πιο ντετερμινιστικό και επαναλαμβανόμενο
   • Αλλάζει μόνιμα τα βάρη του μοντέλου
   • Απενεργοποιεί τη λειτουργία softmax
   • Το κάνει πιο τυχαίο και ποικίλο, με περισσότερες πιθανότητες για ασυνήθιστα διακριτικά
2. Πριν από τη δειγματοληψία, οι ακατέργαστες βαθμολογίες του μοντέλου (logits) μετατρέπονται σε πιθανότητες ως εξής:
   • Το φίλτρο top-k
   • Η λειτουργία softmax
   • Ο πίσω πολλαπλασιασμός
   • Το tokenizer
3. What determines the candidate set in top-p sampling, compared with top-k?
   • Top-p always keeps exactly ten tokens
   • Both methods always keep every vocabulary token
   • Top-p uses the smallest leading set reaching a cumulative probability threshold; top-k uses a count
   • Top-k uses a cumulative threshold while top-p uses a fixed count
4. Μηχανικά, τι κάνει πραγματικά η θερμοκρασία στα logits;
   • Διαιρεί κάθε logit με T πριν από το softmax
   • Προσθέτει έναν τυχαίο αριθμό σε κάθε logit
   • Διαγράφει τα χαμηλότερα logit
   • Πολλαπλασιάζει τις τελικές πιθανότητες επί Τ
5. For a structured-data task, what does choosing more predictable token selection fail to establish?
   • That a decoding setting was chosen
   • That the generated content is correct or valid
   • That token scores can be compared
   • That a model can produce an output
6. How does greedy decoding choose the next token?
   • It literally divides every logit by zero
   • It uniformly samples every vocabulary token
   • It permanently retrains the model
   • It selects a highest-scoring eligible token rather than sampling
7. Two token logits differ by six before temperature scaling. With positive temperature two, what is their scaled difference?
   • Τρεις
   • Δώδεκα
   • Έξι
   • Μηδέν
8. For probabilities 0.55, 0.30, 0.10, and 0.05, how many leading tokens does top-p 0.80 keep?
   • Ένα
   • Τρεις
   • Δύο
   • Τέσσερα