Kuis Penskalaan Komputasi Waktu Uji

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa yang dimaksud dengan 'komputasi waktu uji'?
   • Komputasi dihabiskan untuk melatih model pada data
   • Waktu yang diperlukan untuk mengunduh model
   • Komputasi dilakukan saat model menjawab kueri pada inferensi
   • Listrik digunakan untuk mendinginkan pusat data
2. In test-time scaling studies, what can extra inference compute be used for?
   • Changing the model’s training data during the request
   • Increasing the number of model parameters automatically
   • Guaranteeing correctness without evaluation
   • Searching or revising candidate solutions and checking their quality
3. Apa inti trade-off dari penskalaan komputasi waktu pengujian?
   • Akurasi lebih tinggi dengan imbalan latensi dan biaya yang lebih besar
   • Lebih sedikit memori tetapi pelatihan lebih lambat
   • Lebih banyak data tetapi model lebih kecil
   • Grafik yang lebih baik untuk resolusi lebih rendah
4. Apa yang dimaksud dengan pengambilan sampel 'best-of-N'?
   • Pelatihan pada N kumpulan data terbesar
   • Menghasilkan N jawaban kandidat dan memilih yang terbaik
   • Hanya menggunakan N kata pertama dari sebuah prompt
   • Menjalankan model di N komputer berbeda untuk kecepatan
5. Mengapa komputasi waktu pengujian dianggap sebagai 'sumbu penskalaan' baru?
   • Ini menggantikan kebutuhan akan pelatihan apa pun
   • Ini hanya berfungsi pada model kecil
   • Ini meningkatkan kinerja dengan menambahkan komputasi inferensi, bukan hanya meningkatkan ukuran model
   • Ini mengurangi jumlah pengguna yang dapat dilayani oleh suatu model
6. Hasil mengejutkan apa yang dimungkinkan oleh komputasi waktu pengujian?
   • Model dapat berjalan tanpa GPU apa pun
   • Data pelatihan menjadi tidak diperlukan
   • Model selalu menjawab lebih cepat
   • Model yang lebih kecil yang berpikir lebih lama dapat menyaingi model yang jauh lebih besar yang menjawab secara instan
7. What is one reason a fixed best-of-N strategy may waste inference compute?
   • It spends the same candidate budget on easy and difficult prompts
   • It modifies model weights on every query
   • It cannot generate multiple candidates
   • It eliminates the need for scoring
8. What did the test-time compute paper compare with best-of-N sampling?
   • A strategy that disables inference
   • A compute-optimal strategy that allocates effort based on expected solution quality
   • A larger tokenizer vocabulary
   • A method that changes image resolution