Kuis Pemodelan Konteks Panjang

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa yang dimaksud dengan 'jendela konteks' model?
   • Jumlah maksimum token yang dapat dilayani dalam satu pass
   • Ukuran layar antarmuka obrolan
   • Jumlah pengguna yang diizinkan sekaligus
   • Berapa lama model telah dilatih
2. Mengapa perhatian diri standar menjadi mahal untuk masukan yang panjang?
   • Tumbuh secara linier dan selalu murah
   • Komputasi dan memorinya tumbuh secara kuadrat dengan panjang urutan
   • Itu tidak dapat membaca lebih dari satu token
   • Ini hanya berfungsi pada gambar
3. Apa yang dimaksud dengan masalah 'tersesat di tengah'?
   • Model melupakan pelatihan mereka sepenuhnya
   • Model hanya dapat membaca bagian tengah dokumen
   • Model mengingat informasi pada awal dan akhir masukan yang panjang dengan lebih baik daripada fakta yang terkubur di tengah
   • Model menerjemahkan bagian tengah ke dalam bahasa lain
4. Apa yang terutama ditingkatkan oleh FlashAttention?
   • Itu membuat model mengeluarkan teks yang lebih panjang
   • Ini menambahkan lebih banyak data pelatihan secara otomatis
   • Ini menghilangkan kebutuhan akan perhatian apa pun
   • Ini mengurangi kemacetan memori dengan komputasi ubin yang mendukung IO
5. Apa peran yang dimainkan oleh penyematan posisi putar (RoPE) dalam model konteks panjang?
   • Mereka mengkodekan posisi token dan, dengan interpolasi, membantu menggeneralisasi ke urutan yang lebih panjang
   • Mereka menghapus token dari masukan
   • Mereka menerjemahkan teks antar bahasa
   • Mereka menyimpan bobot model
6. What does prompt-cache research reuse across compatible requests?
   • The final answer regardless of the new query
   • Computed attention state for reusable prompt segments
   • A fixed set of token IDs without model computation
   • The model’s training data
7. What does the RULER benchmark add beyond locating one isolated “needle” fact?
   • Hanya klasifikasi gambar
   • Audio transcription from waveforms
   • Tasks such as multi-hop tracing and aggregation over long contexts
   • GPU memory allocation benchmarks
8. Why test several task types when measuring a model’s effective context length?
   • Every task uses the same computation
   • The advertised window guarantees all tasks work
   • Task type never affects context use
   • A model may handle simple retrieval yet fail to combine or track information across a long input