Κουίζ δειγματοληψίας πυρήνα και Top-k

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Πώς η δειγματοληψία top-k περιορίζει τις επιλογές διακριτικών;
   • Διατηρεί μόνο τα k κουπόνια υψηλότερης πιθανότητας και, στη συνέχεια, δείγματα μεταξύ τους
   • Διατηρεί μάρκες έως ότου η αθροιστική πιθανότητα υπερβεί το k
   • Επιλέγει πάντα το πιο πιθανό διακριτικό
   • Καταργεί μόνο τα k λιγότερο πιθανά διακριτικά
2. Τι ορίζει τον «πυρήνα» στη δειγματοληψία πυρήνα (top-p);
   • Οι κ πιο συχνές λέξεις στα δεδομένα προπόνησης
   • Το μικρότερο σύνολο κουπονιών των οποίων οι πιθανότητες αθροίζονται σε τουλάχιστον p
   • Το μοναδικό διακριτικό με την υψηλότερη πιθανότητα
   • Όλα τα διακριτικά με πιθανότητα άνω του 50%
3. Ποιο είναι το βασικό πλεονέκτημα του top-p έναντι του top-k;
   • Ο υπολογισμός είναι πάντα πιο γρήγορος
   • Δεν παράγει ποτέ τυχαία έξοδο
   • Ο αριθμός των υποψηφίων διακριτικών προσαρμόζεται στην εμπιστοσύνη του μοντέλου
   • Αγνοεί τις συμβολικές πιθανότητες
4. Τι κάνει η παράμετρος θερμοκρασίας πριν από τη δειγματοληψία;
   • Ορίζει το μέγιστο μήκος ακολουθίας
   • Επιλέγει τη γλώσσα εξόδου
   • Μετράει το μέγεθος του λεξιλογίου
   • Επανακλιμακώνει την κατανομή πιθανότητας να είναι πιο έντονη ή πιο επίπεδη
5. What result did the nucleus-sampling paper report for its tested open-ended generation tasks?
   • It improved diversity without sacrificing fluency and coherence in the reported comparisons
   • It guaranteed factual correctness in every output
   • It eliminated all sampling randomness
   • It improved translation quality on every benchmark
6. For a greedy decoding baseline with no token sampling, how should generation be configured?
   • Disable sampling and use greedy decoding to select the highest-probability token at each step
   • Use high temperature and a large nucleus threshold
   • Randomize the temperature at every step
   • Keep sampling enabled but increase top-p
7. After top-k truncation removes tokens, what happens to the remaining sampling probabilities?
   • They remain assigned their original total mass below one
   • They are replaced with equal probabilities
   • They are renormalized over the retained top-k tokens
   • They are converted into beam-search scores
8. What did Holtzman et al. report about likelihood-maximizing decoding for open-ended text?
   • It always yields the most diverse human-like passages
   • Εξαλείφει την ανάγκη για γλωσσικό μοντέλο
   • It guarantees factual correctness
   • It can produce bland and repetitive text despite strong likelihood scores