Κουίζ μοντέλων ανταμοιβής διαδικασίας

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Τι διακρίνει πρωτίστως ένα μοντέλο ανταμοιβής διαδικασίας από ένα μοντέλο ανταμοιβής αποτελέσματος;
   • Βαθμολογεί κάθε ενδιάμεσο συλλογιστικό βήμα, όχι μόνο την τελική απάντηση
   • Λειτουργεί πιο γρήγορα στο χρόνο συμπερασμάτων
   • Δεν απαιτεί δεδομένα εκπαίδευσης
   • Λειτουργεί μόνο σε εισόδους εικόνας
2. Ποιο γνωστό σύνολο δεδομένων μαθηματικών ετικετών σε επίπεδο ανθρώπου σχετίζεται με την έρευνα PRM;
   • ImageNet
   • PRM800K
   • SQUAD
   • WikiText
3. Γιατί ένα σήμα ανταμοιβής μόνο για το αποτέλεσμα μπορεί να είναι παραπλανητικό;
   • Οι τελικές απαντήσεις δεν είναι ποτέ σωστές
   • Τα μοντέλα αποτελεσμάτων δεν μπορούν να διαβάσουν κείμενο
   • Μια σωστή τελική απάντηση μπορεί να προκύψει από εσφαλμένο συλλογισμό ή μια λάθος απάντηση από ως επί το πλείστον ορθό συλλογισμό
   • Ταιριάζει πάντα στη γραμματική
4. Ένας συνηθισμένος τρόπος για να μετατρέψετε τις βαθμολογίες ανά βήμα σε μια μοναδική βαθμολογία αλυσίδας είναι:
   • Προσθέστε έναν τυχαίο αριθμό σε κάθε βήμα
   • Αγνοήστε όλα εκτός από το πρώτο βήμα
   • Χρησιμοποιήστε μόνο τον αριθμό συμβολικών
   • Κάντε την ελάχιστη πιθανότητα βήματος σε όλη την αλυσίδα
5. Τι χρησιμοποιεί η προσέγγιση Math-Shepherd για να επισημαίνει αυτόματα τα βήματα;
   • Το Μόντε Κάρλο κυκλοφορεί εκτιμώντας πόσο συχνά ένα βήμα οδηγεί σε μια σωστή απάντηση
   • Χειροκίνητη επισκόπηση κάθε βήματος από ειδικούς
   • Μετάφραση βημάτων σε άλλη γλώσσα
   • Μετρώντας τα σημεία στίξης
6. Ποιος κίνδυνος είναι ιδιαίτερα σημαντικός όταν τα μοντέλα εκπαίδευσης ενάντια σε ένα PRM;
   • Το μοντέλο ξεχνά να διαβάζει
   • Επιβράβευση hacking, όπου τα βήματα φαίνονται καλά στο PRM χωρίς να είναι πραγματικά σωστά
   • Το PRM δεν καταναλώνει υπολογισμούς
   • Τα βήματα είναι αδύνατο να δημιουργηθούν
7. How can a process reward model guide a tree search over reasoning?
   • Expand every branch equally without scoring
   • Choose branches by their final token length
   • Prioritize expanding partial solutions whose intermediate steps receive stronger scores
   • Replace all branches with one randomly selected answer
8. What does the PRM800K dataset contain?
   • Only final answer labels for image captions
   • Audio recordings of spoken explanations
   • A corpus of code commits with no reasoning labels
   • Human labels for intermediate steps in mathematical reasoning solutions