Rehber bağlantılı sınav · Sert Seviye

YaRN Bağlam Penceresi Ölçeklendirme Testi

YaRN frekans bantlarını, geçiş harmanlamayı, dikkat sıcaklığını, uyarlama maliyetlerini ve desteklenen uzunluk ile performans arasındaki farkı gözden geçirin.

Soru 1 arasında 8

YaRN bağlam uzunluğunu genişletmek için hangi konum kodlama şemasını değiştirir?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. YaRN bağlam uzunluğunu genişletmek için hangi konum kodlama şemasını değiştirir?
    • Döner Pozisyon Gömmeleri (RoPE)
    • Mutlak sinüzoidal gömmeler
    • Öğrenilen konumsal arama tabloları
    • ALiBi doğrusal önyargıları
  2. YaRN, yüksek frekanslı ve düşük frekanslı RoPE boyutlarını nasıl ele alıyor?
    • Her ikisini de eşit şekilde enterpolasyon yapar
    • Yüksek frekanslı boyutları tamamen ortadan kaldırır
    • Yalnızca yüksek frekanslı boyutları değiştirir
    • Yüksek frekanslı boyutları çoğunlukla sağlam bırakır ve düşük frekanslı olanları enterpolasyona tabi tutar
  3. How should YaRN's reported data and fine-tuning efficiency be interpreted?
    • As proof that no YaRN model ever needs training
    • As results for its evaluated model-extension setups, rather than a fixed guarantee for every model
    • As a universal promise that every dataset size works equally well
    • As removal of the need for GPUs or inference computation
  4. Frekansları yeniden ölçeklendirmenin yanı sıra, uzun mesafeli dikkati sabit tutmak için YaRN hangi ekstra ayarlamayı uygular?
    • Bırakma artışı
    • Daha geniş bir kelime dağarcığı
    • Dikkat sıcaklığı (softmax ölçeklendirme) ayarı
    • Degrade kırpma
  5. What motivates evaluating a RoPE model before using a context far beyond its original training length?
    • The model necessarily becomes perfectly accurate at longer lengths
    • The context extension automatically reduces memory to zero
    • A larger window proves every passage is equally easy to retrieve
    • Positional and attention behavior may degrade outside the conditions it learned
  6. Saf doğrusal Konum İnterpolasyonu, YaRN'nin korumayı amaçladığı yeteneklerden hangisine zarar verir?
    • Yakındaki tokenler arasında iyi yerel ilişkiler
    • Modelin kelime dağarcığı boyutu
    • Tokenizer'ın hızı
    • Katman sayısı
  7. What happens in the transition region between YaRN's high- and low-frequency treatments?
    • Every dimension is assigned a random vocabulary token
    • All transition dimensions are deleted from attention
    • The scheme blends original and interpolated frequency treatment across the relevant dimensions
    • One identical scaling rule ignores frequency differences entirely
  8. What does a checkpoint's advertised longer YaRN context limit fail to establish by itself?
    • Whether the positional scheme can accept any coordinates at all
    • Reliable performance for every intended task and position within that window
    • The spelling of the model's name
    • A requirement that every inference request retrain all weights