Κουίζ λεπτομέρειας δειγματοληψίας απόρριψης

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Ποιος βρόχος περιγράφει καλύτερα τον τρόπο με τον οποίο η λεπτομέρεια δειγματοληψίας απόρριψης βελτιώνει ένα μοντέλο;
   • Δημιουργήστε πολλές απαντήσεις υποψηφίων, διατηρήστε αυτές με τις καλύτερες βαθμολογίες και επανεκπαιδευτείτε σε αυτές
   • Διαγράψτε τα επίπεδα μοντέλου με τη χειρότερη απόδοση
   • Απορρίψτε όλα τα δεδομένα εκπαίδευσης και ξεκινήστε από την αρχή
   • Δείγμα μία φορά και αποδέχεστε πάντα την έξοδο
2. Σε επαληθεύσιμους τομείς όπως τα μαθηματικά ή ο κώδικας, τι μπορεί να χρησιμεύσει ως ανταμοιβή;
   • Μόνο ένα μαθημένο μοντέλο ανταμοιβής
   • Είτε η απάντηση είναι σωστή είτε τα τεστ περνούν
   • Η διάρκεια της απάντησης
   • Ο αριθμός των κουπονιών που δημιουργούνται
3. Which model family does the cited paper describe using rejection sampling in its alignment pipeline?
   • GPT-4o
   • BERT Base
   • Meta’s Llama 2-Chat
   • Whisper Large
4. Why might a team choose rejection-sampling fine-tuning over a policy-gradient approach for some tasks?
   • It never needs a candidate generator or scoring rule
   • It guarantees no reward hacking
   • It always requires less compute than every RL method
   • It can use supervised learning on selected generations instead of updating through policy-gradient RL
5. Τι κάνει αποτελεσματικά η εκπαίδευση στα δείγματα μέγιστης ανταμοιβής;
   • Αποστάζει την καλύτερη ποιότητα N στις εξόδους ενός δείγματος του μοντέλου
   • Αυξάνει το μέγεθος του λεξιλογίου
   • Καταργεί την ικανότητα του μοντέλου να δημιουργεί κείμενο
   • Διπλασιάζει τον αριθμό των παραμέτρων
6. What should teams monitor when repeatedly fine-tuning on filtered model-generated outputs?
   • Μόνο ο αριθμός των παραμέτρων του μοντέλου
   • Output diversity alongside held-out correctness
   • Whether every answer uses the same wording
   • Only the training loss on selected samples
7. What is a limitation of rejection-sampling fine-tuning’s candidate selection?
   • It can only be used with image labels
   • It always changes the tokenizer
   • It cannot train on a high-quality answer that was never generated or retained
   • It makes the scoring function unnecessary
8. What risk arises if the scoring model used to filter candidates is flawed?
   • The policy becomes unable to generate any text
   • The tokenizer automatically changes vocabulary
   • The reference labels become unnecessary
   • The policy may learn to exploit the scorer rather than improve the intended quality