Εποπτεία Διαδικασίας για Μαθηματικό Συλλογισμό Κουίζ

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Where does process supervision provide feedback compared with outcome supervision?
   • Only at the physical GPU temperature
   • At intermediate reasoning steps rather than only the final result
   • Only at the document filename
   • Only at an increased vocabulary size
2. Γιατί η επίβλεψη μόνο για το αποτέλεσμα μπορεί να είναι παραπλανητική για μαθηματικά προβλήματα;
   • Είναι πολύ αργός για να υπολογιστεί
   • Δεν μπορεί να χειριστεί δεκαδικά
   • Απαιτεί ανθρώπους βαθμολογητές για κάθε πρόβλημα
   • Ένα μοντέλο μπορεί να φτάσει στη σωστή απάντηση μέσα από ελαττωματικά βήματα που τυχαίνει να ακυρωθούν
3. Τι κυκλοφόρησε η OpenAI μαζί με το έργο "Ας επαληθεύσουμε βήμα προς βήμα";
   • PRM800K, ένα σύνολο δεδομένων ~800.000 ετικετών σε επίπεδο βήματος
   • Μια νέα αρχιτεκτονική GPU
   • Το σετ δοκιμής GSM8K
   • Μηχανή σκακιού
4. In best-of-N math selection with a process reward model, what does the verifier do?
   • Guarantees that a correct candidate was generated
   • Changes every tokenizer token into a proof axiom
   • Scores generated candidate solutions under the chosen aggregation rule
   • Replaces the original problem with a translation
5. Ποια προσέγγιση μειώνει την ανάγκη για ακριβές ετικέτες ανθρώπινων βημάτων;
   • Πλήρης απενεργοποίηση του μοντέλου ανταμοιβής
   • Διαφημίσεις Monte Carlo που εκτιμούν αυτόματα την αξία κάθε βήματος (π.χ. Math-Shepherd)
   • Χρησιμοποιώντας μόνο την τελική απάντηση
   • Εκπαίδευση σε περισσότερες γλώσσες
6. What can low step-level verifier scores usefully indicate to someone reviewing a solution?
   • Steps that merit closer inspection
   • An infallible location of the first actual error
   • A mathematical proof that all other steps are correct
   • The exact temperature used to sample every token
7. For step scores 0.9 and 0.8, what is the solution score under a product aggregation rule?
   • 0.8
   • 0.85
   • 1.7
   • 0.72
8. Which data-selection strategy did Let’s Verify Step by Step study to improve labeling efficiency?
   • Choosing examples only by alphabetical filename order
   • Removing every incorrect-answer candidate from the labeling pool
   • Active learning that selected informative candidate solutions
   • Using an unlabeled test answer as the final human label