Kuiz berkaitan panduan · Keras Tahap

Kuiz Sambungan Panjang YaRN dan Konteks

Menyemak cara YaRN melaraskan frekuensi RoPE, mengekalkan perincian setempat, menskalakan suhu perhatian dan memanjangkan konteks dengan penalaan halus.

Laluan panduan yang berkaitanSambungan Panjang Benang Dan Konteks
soalan 1 daripada 8

Apakah kaedah pengekodan kedudukan yang YaRN ubah suai untuk melanjutkan konteks?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah kaedah pengekodan kedudukan yang YaRN ubah suai untuk melanjutkan konteks?
    • Pembenaman Kedudukan Putar (RoPE)
    • Embeddings sinusoidal mutlak
    • Jadual carian kedudukan yang dipelajari
    • Matriks bias relatif sahaja
  2. Apakah yang salah apabila model RoPE melihat urutan lebih panjang daripada panjang latihannya?
    • Tokenizer rosak
    • Sudut putaran memasuki julat yang tidak kelihatan dan prestasi runtuh
    • Model hanya mengeluarkan sifar
    • Kecerunan menjadi tepat satu
  3. Bagaimanakah YaRN merawat dimensi kekerapan RoPE yang berbeza?
    • Ia menginterpolasi semua dimensi secara sama rata
    • Ia memadamkan dimensi frekuensi tinggi
    • Ia menginterpolasi dimensi frekuensi rendah sementara sebahagian besarnya mengekalkan dimensi frekuensi tinggi
    • Ia secara rawak setiap dimensi
  4. Selain menskala semula frekuensi, apakah pelarasan tambahan yang digunakan oleh YaRN?
    • Tokenizer baru
    • Menggandakan bilangan lapisan
    • Mengeluarkan normalisasi lapisan
    • Pelarasan suhu perhatian (skala softmax).
  5. Apakah kelebihan praktikal utama YaRN berbanding interpolasi naif?
    • Ia mencapai konteks yang panjang dengan data dan langkah yang jauh lebih halus
    • Ia tidak memerlukan model sama sekali
    • Ia hanya berfungsi di bawah 512 token
    • Ia menghapuskan keperluan untuk GPU
  6. Mengapakah interpolasi linear naif bagi semua frekuensi RoPE berbahaya?
    • Ia hanya menjejaskan syarat berat sebelah
    • Ia memampatkan dimensi frekuensi tinggi yang mengekod butiran setempat
    • Ia menjadikan model lebih besar
    • Ia mengubah saiz perbendaharaan kata
  7. In RoPE, which vectors receive position-dependent rotations?
    • Only the value vectors
    • Only the model’s token IDs
    • The query and key vectors
    • The optimizer’s gradient and momentum
  8. What does YaRN’s attention-temperature adjustment address when context length is extended?
    • The number of GPU layers
    • The dimensions of the token vocabulary
    • The weight decay coefficient
    • Changes in attention entropy or softmax sharpness caused by the longer context