Kuiz berkaitan panduan · Keras Tahap
Kuiz Sambungan Panjang YaRN dan Konteks
Menyemak cara YaRN melaraskan frekuensi RoPE, mengekalkan perincian setempat, menskalakan suhu perhatian dan memanjangkan konteks dengan penalaan halus.
soalan 1 daripada 8
Apakah kaedah pengekodan kedudukan yang YaRN ubah suai untuk melanjutkan konteks?
Pratonton setiap soalan8 soalan
Jawapan dan penjelasan muncul semasa anda mengambil kuiz.
- Apakah kaedah pengekodan kedudukan yang YaRN ubah suai untuk melanjutkan konteks?
- Pembenaman Kedudukan Putar (RoPE)
- Embeddings sinusoidal mutlak
- Jadual carian kedudukan yang dipelajari
- Matriks bias relatif sahaja
- Apakah yang salah apabila model RoPE melihat urutan lebih panjang daripada panjang latihannya?
- Tokenizer rosak
- Sudut putaran memasuki julat yang tidak kelihatan dan prestasi runtuh
- Model hanya mengeluarkan sifar
- Kecerunan menjadi tepat satu
- Bagaimanakah YaRN merawat dimensi kekerapan RoPE yang berbeza?
- Ia menginterpolasi semua dimensi secara sama rata
- Ia memadamkan dimensi frekuensi tinggi
- Ia menginterpolasi dimensi frekuensi rendah sementara sebahagian besarnya mengekalkan dimensi frekuensi tinggi
- Ia secara rawak setiap dimensi
- Selain menskala semula frekuensi, apakah pelarasan tambahan yang digunakan oleh YaRN?
- Tokenizer baru
- Menggandakan bilangan lapisan
- Mengeluarkan normalisasi lapisan
- Pelarasan suhu perhatian (skala softmax).
- Apakah kelebihan praktikal utama YaRN berbanding interpolasi naif?
- Ia mencapai konteks yang panjang dengan data dan langkah yang jauh lebih halus
- Ia tidak memerlukan model sama sekali
- Ia hanya berfungsi di bawah 512 token
- Ia menghapuskan keperluan untuk GPU
- Mengapakah interpolasi linear naif bagi semua frekuensi RoPE berbahaya?
- Ia hanya menjejaskan syarat berat sebelah
- Ia memampatkan dimensi frekuensi tinggi yang mengekod butiran setempat
- Ia menjadikan model lebih besar
- Ia mengubah saiz perbendaharaan kata
- In RoPE, which vectors receive position-dependent rotations?
- Only the value vectors
- Only the model’s token IDs
- The query and key vectors
- The optimizer’s gradient and momentum
- What does YaRN’s attention-temperature adjustment address when context length is extended?
- The number of GPU layers
- The dimensions of the token vocabulary
- The weight decay coefficient
- Changes in attention entropy or softmax sharpness caused by the longer context