Rehber bağlantılı sınav · Orta Seviye
Uzun Bağlam Testi için Konumsal İnterpolasyon
Konumsal enterpolasyonun RoPE konumlarını nasıl yeniden ölçeklendirdiğini, ekstrapolasyonun neden dikkatin istikrarını bozabileceğini ve kaynağının neyi değerlendirdiğini kontrol eder.
Soru 1 arasında 8
Konumsal İnterpolasyonun arkasındaki temel fikir nedir?
Her soruyu önizleyin8 sorular
Testi çözdüğünüzde cevaplar ve açıklamalar görünür.
- Konumsal İnterpolasyonun arkasındaki temel fikir nedir?
- Yeni konum endekslerini modelin önceden eğitilmiş olduğu aralığa sıkıştırmak
- Her boy için sıfırdan yepyeni bir model yetiştirmek
- Konumsal bilgilerin tamamen kaldırılması
- Belirteçleri önem sırasına göre sıralama
- Daha uzun pozisyonlara yönelik saf tahminler neden başarısız oluyor?
- Çok az bellek kullanıyor
- Dikkat puanlarını son derece büyük, istikrarsız değerlere kadar patlatabilir
- Her zaman aynı jetonu döndürür
- Farklı bir belirteç gerektirir
- Orijinal PI çalışmasının LLaMA'yı 32K'ya genişletmek için kabaca ne kadar ince ayar yapması gerekiyordu?
- Hiç ince ayar yok
- Yaklaşık 1 milyon adım
- Yaklaşık 1000 adım
- Tam bir ön eğitim koşusu
- Bağlamı bir s faktörü kadar genişletirseniz, PI bir m konumunu nasıl dönüştürür?
- M'yi m çarpı s'ye eşler
- M'yi m kareye eşler
- M'yi değiştirmeden bırakır
- M'yi m'ye bölerek s'ye eşler
- PI, YaRN gibi daha sonraki yöntemleri nasıl etkiledi?
- Frekansa duyarlı yöntemlerin geliştirildiği temel çizgi haline geldi
- Terk edildi ve asla alıntı yapılmadı
- Transformer mimarisinin yerini aldı
- Yalnızca görüntü modelleri için geçerlidir
- Konumsal İnterpolasyon öncelikli olarak hangi konum kodlamasını hedefler?
- Tek sıcak kodlamalar
- RoPE (Döner Pozisyon Gömmeleri)
- Word2Vec vektörleri
- Kelime çantası sayıları
- A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
- 2
- 8
- 16
- 32
- With extension factor s = 16, where does PI map original position m = 16,000?
- Position 16,000
- Position 256,000
- Position 32,000
- Position 1,000