Matematik Muhakeme Sınavı için Süreç Denetimi

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Where does process supervision provide feedback compared with outcome supervision?
   • Only at the physical GPU temperature
   • At intermediate reasoning steps rather than only the final result
   • Only at the document filename
   • Only at an increased vocabulary size
2. Neden sadece sonuç odaklı denetim matematik problemlerinde yanıltıcı olabilir?
   • Hesaplamak çok yavaş
   • Ondalık sayıları işleyemez
   • Her problem için insan tasnif edicilere ihtiyaç vardır
   • Bir model, birbirini götüren hatalı adımlarla doğru cevaba ulaşabilir.
3. OpenAI 'Adım Adım Doğrulayalım' çalışmasının yanı sıra neyi yayınladı?
   • PRM800K, ~800.000 adım düzeyinde etiketten oluşan bir veri kümesi
   • Yeni bir GPU mimarisi
   • GSM8K test seti
   • Bir satranç motoru
4. In best-of-N math selection with a process reward model, what does the verifier do?
   • Guarantees that a correct candidate was generated
   • Changes every tokenizer token into a proof axiom
   • Scores generated candidate solutions under the chosen aggregation rule
   • Replaces the original problem with a translation
5. Hangi yaklaşım pahalı insan basamağı etiketlerine olan ihtiyacı azaltır?
   • Ödül modelini tamamen devre dışı bırakma
   • Her adımın değerini otomatik olarak tahmin eden Monte Carlo sunumları (ör. Math-Shepherd)
   • Yalnızca son cevabı kullanma
   • Daha fazla dil eğitimi
6. What can low step-level verifier scores usefully indicate to someone reviewing a solution?
   • Steps that merit closer inspection
   • An infallible location of the first actual error
   • A mathematical proof that all other steps are correct
   • The exact temperature used to sample every token
7. For step scores 0.9 and 0.8, what is the solution score under a product aggregation rule?
   • 0.8
   • 0.85
   • 1.7
   • 0.72
8. Which data-selection strategy did Let’s Verify Step by Step study to improve labeling efficiency?
   • Choosing examples only by alphabetical filename order
   • Removing every incorrect-answer candidate from the labeling pool
   • Active learning that selected informative candidate solutions
   • Using an unlabeled test answer as the final human label