Kuiz Penskalaan Pengiraan Masa Ujian

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

1. Apakah yang dimaksudkan dengan 'pengiraan masa ujian'?
   • Pengiraan yang dibelanjakan untuk melatih model pada data
   • Masa yang diambil untuk memuat turun model
   • Pengiraan yang dibelanjakan apabila model menjawab pertanyaan pada inferens
   • Elektrik yang digunakan untuk menyejukkan pusat data
2. In test-time scaling studies, what can extra inference compute be used for?
   • Changing the model’s training data during the request
   • Increasing the number of model parameters automatically
   • Guaranteeing correctness without evaluation
   • Searching or revising candidate solutions and checking their quality
3. Apakah pertukaran teras bagi penskalaan pengiraan masa ujian?
   • Ketepatan yang lebih tinggi sebagai pertukaran untuk lebih latensi dan kos
   • Kurang ingatan tetapi latihan lebih perlahan
   • Lebih banyak data tetapi model yang lebih kecil
   • Grafik yang lebih baik untuk resolusi yang lebih rendah
4. Apakah persampelan 'best-of-N'?
   • Latihan mengenai N set data terbesar
   • Menjana N jawapan calon dan memilih yang terbaik
   • Hanya menggunakan N perkataan pertama bagi gesaan
   • Menjalankan model pada N komputer yang berbeza untuk kelajuan
5. Mengapakah pengiraan masa ujian dianggap sebagai 'paksi penskalaan' baharu?
   • Ia menggantikan keperluan untuk sebarang latihan
   • Ia hanya berfungsi pada model kecil
   • Ia meningkatkan prestasi dengan menambah pengiraan inferens dan bukan hanya membesarkan saiz model
   • Ia mengurangkan bilangan pengguna model boleh berkhidmat
6. Apakah hasil yang mengejutkan yang didayakan oleh pengiraan masa ujian?
   • Model boleh dijalankan tanpa sebarang GPU
   • Data latihan menjadi tidak diperlukan
   • Model sentiasa menjawab lebih cepat
   • Model yang lebih kecil berfikir lebih lama boleh menandingi model yang lebih besar menjawab serta-merta
7. What is one reason a fixed best-of-N strategy may waste inference compute?
   • It spends the same candidate budget on easy and difficult prompts
   • It modifies model weights on every query
   • It cannot generate multiple candidates
   • It eliminates the need for scoring
8. What did the test-time compute paper compare with best-of-N sampling?
   • A strategy that disables inference
   • A compute-optimal strategy that allocates effort based on expected solution quality
   • A larger tokenizer vocabulary
   • A method that changes image resolution