Rehber bağlantılı sınav · Sert Seviye

YaRN ve Bağlam Uzunluğu Uzatma Testi

YaRN'nin RoPE frekanslarını nasıl ayarladığını, yerel ayrıntıları nasıl koruduğunu, dikkat sıcaklığını nasıl ölçeklendirdiğini ve ince ayar ile bağlamı nasıl genişlettiğini kontrol eder.

İlgili kılavuz yollarıİplik ve Bağlam Uzunluğu Uzatma
Soru 1 arasında 8

YaRN, bağlamı genişletmek için hangi konum kodlama yöntemini değiştirir?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. YaRN, bağlamı genişletmek için hangi konum kodlama yöntemini değiştirir?
    • Döner Pozisyon Gömmeleri (RoPE)
    • Mutlak sinüzoidal gömmeler
    • Öğrenilen konumsal arama tabloları
    • Yalnızca göreceli önyargı matrisleri
  2. Bir RoPE modeli eğitim uzunluğundan daha uzun diziler gördüğünde ne yanlış olur?
    • Tokenizer çöküyor
    • Dönüş açıları görülmeyen aralıklara giriyor ve performans çöküyor
    • Model yalnızca sıfırlar üretir
    • Gradyanlar tam olarak bir oluyor
  3. YaRN farklı RoPE frekans boyutlarını nasıl ele alıyor?
    • Tüm boyutları eşit şekilde enterpolasyona tabi tutar
    • Yüksek frekanslı boyutları siler
    • Yüksek frekanslı boyutları büyük ölçüde korurken düşük frekanslı boyutları enterpolasyona tabi tutar
    • Her boyutu rastgele seçer
  4. Frekansları yeniden ölçeklendirmenin yanı sıra YaRN hangi ekstra ayarlamayı uygular?
    • Yeni bir tokenizer
    • Katman sayısını iki katına çıkarmak
    • Katman normalleştirmesini kaldırma
    • Dikkat sıcaklığı (softmax ölçeklendirme) ayarı
  5. YaRN'nin saf enterpolasyona göre önemli pratik avantajı nedir?
    • Çok daha az ince ayar verisi ve adımıyla uzun bağlama ulaşır
    • Hiçbir modele ihtiyacı yok
    • Yalnızca 512 tokenin altında çalışır
    • GPU ihtiyacını ortadan kaldırır
  6. Tüm RoPE frekanslarının basit doğrusal enterpolasyonu neden zararlıdır?
    • Yalnızca önyargı terimlerini etkiler
    • Yerel ayrıntıları kodlayan yüksek frekanslı boyutları sıkıştırır
    • Modeli daha büyük hale getirir
    • Kelime boyutunu değiştirir
  7. In RoPE, which vectors receive position-dependent rotations?
    • Only the value vectors
    • Only the model’s token IDs
    • The query and key vectors
    • The optimizer’s gradient and momentum
  8. What does YaRN’s attention-temperature adjustment address when context length is extended?
    • The number of GPU layers
    • The dimensions of the token vocabulary
    • The weight decay coefficient
    • Changes in attention entropy or softmax sharpness caused by the longer context