Kuis terkait panduan · Keras Tingkat

Kuis Ekstensi Panjang Konteks dan YaRN

Memeriksa bagaimana YaRN menyesuaikan frekuensi RoPE, mempertahankan detail lokal, menskalakan suhu perhatian, dan memperluas konteks dengan penyesuaian.

Jalur panduan terkaitEkstensi Panjang Benang Dan Konteks
Pertanyaan 1 dari 8

Metode pengkodean posisi apa yang dimodifikasi YaRN untuk memperluas konteks?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Metode pengkodean posisi apa yang dimodifikasi YaRN untuk memperluas konteks?
    • Penyematan Posisi Putar (Tali)
    • Penyematan sinusoidal absolut
    • Tabel pencarian posisi yang dipelajari
    • Hanya matriks bias relatif
  2. Apa yang salah jika model RoPE melihat urutan lebih panjang dari panjang pelatihannya?
    • Tokenizernya mogok
    • Sudut rotasi memasuki rentang yang tidak terlihat dan kinerja menurun
    • Model hanya mengeluarkan angka nol
    • Gradien menjadi satu
  3. Bagaimana YaRN menangani dimensi frekuensi RoPE yang berbeda?
    • Ini menginterpolasi semua dimensi secara merata
    • Ini menghapus dimensi frekuensi tinggi
    • Ini menginterpolasi dimensi frekuensi rendah sambil mempertahankan dimensi frekuensi tinggi
    • Ini mengacak setiap dimensi
  4. Selain mengubah skala frekuensi, penyesuaian tambahan apa yang diterapkan YaRN?
    • Tokenizer baru
    • Menggandakan jumlah lapisan
    • Menghapus normalisasi lapisan
    • Penyesuaian suhu perhatian (skala softmax).
  5. Apa keuntungan praktis utama YaRN dibandingkan interpolasi naif?
    • Ini mencapai konteks yang panjang dengan lebih sedikit data dan langkah-langkah penyesuaian
    • Tidak memerlukan model sama sekali
    • Ini hanya berfungsi di bawah 512 token
    • Ini menghilangkan kebutuhan akan GPU
  6. Mengapa interpolasi linier yang naif pada semua frekuensi RoPE berbahaya?
    • Itu hanya mempengaruhi istilah bias
    • Ini memampatkan dimensi frekuensi tinggi yang mengkodekan detail lokal
    • Itu membuat modelnya lebih besar
    • Ini mengubah ukuran kosakata
  7. Di RoPE, vektor manakah yang menerima rotasi yang bergantung pada posisi?
    • Hanya vektor nilai
    • Hanya ID token model
    • Kueri dan vektor kunci
    • Gradien dan momentum pengoptimal
  8. Apa yang ditangani oleh penyesuaian suhu perhatian YaRN ketika panjang konteks diperpanjang?
    • Jumlah lapisan GPU
    • Dimensi kosakata token
    • Koefisien peluruhan berat
    • Perubahan entropi perhatian atau ketajaman softmax disebabkan oleh konteks yang lebih panjang