Rehber bağlantılı sınav · Sert Seviye
Blok-Seyrek ve Yerel Seyrek Dikkat Sınavı
Blokların seyrek dikkatini, NSA'nın sıkıştırma seçim penceresi dallarını, donanım hizalamasını ve uzun dizilerle ölçeklendirmeyi kontrol eder.
Soru 1 arasında 8
Standart kişisel dikkat uzun sekanslar için neden pahalıdır?
Her soruyu önizleyin8 sorular
Testi çözdüğünüzde cevaplar ve açıklamalar görünür.
- Standart kişisel dikkat uzun sekanslar için neden pahalıdır?
- Maliyeti dizi uzunluğuyla birlikte ikinci dereceden artar
- Çok az parametre kullanıyor
- GPU'larda çalışamaz
- Yalnızca ilk jetona katılır
- Blok-seyrek dikkatin temel fikri nedir?
- İleri besleme katmanlarını kaldırma
- Dikkatin yalnızca seçilen jeton blokları arasında hesaplanması
- Yalnızca bir dikkat başlığı kullanma
- Gömme boyutunun iki katına çıkarılması
- Yerel Seyrek Dikkat'i (NSA) daha önceki birçok seyrek yöntemden farklı kılan nedir?
- Dikkati tamamen ortadan kaldırır
- Yalnızca çıkarım sırasında çalışır
- Uçtan uca eğitilebilir ve donanımla uyumludur
- GPU gerektirmez
- NSA anahtarları ve değerleri için hangi üç dalı birleştiriyor?
- Kodlayıcı, kod çözücü ve yerleştirme
- Bırakma, normalleştirme ve havuzlama
- Niceleme, budama ve damıtma
- Sıkıştırma, seçme ve kayan pencere
- NSA neden rastgele belirteç düzeyinde seyreklik yerine blok düzeyinde işlemleri kullanıyor?
- Gerçek hızlanmalar için GPU bellek erişimi ve tensör çekirdeği verimiyle uyum sağlamak
- Modeli büyütmek için
- Dikkati hiç kullanmaktan kaçınmak için
- Katman sayısını azaltmak için
- Otoregresif kod çözme sırasında, seyrek dikkat özellikle faydalıdır çünkü bu adım genellikle:
- Matris çarpımlarında hesaplamaya bağlı
- Belleğe bağlı olduğundan, katılan belirteçlerin azaltılması onu hızlandırır
- Dizi uzunluğundan bağımsız
- Yalnızca CPU'larda çalıştır
- What information does NSA’s compression branch provide to the attention computation?
- A full dense score for every token pair
- Only the optimizer’s first moment
- Coarse-grained summaries of blocks of tokens
- A random subset of output labels
- Why can learned sparsity patterns be more useful than a fixed arbitrary mask?
- They remove the need to compute attention scores
- They guarantee zero memory use
- They force every token to attend globally
- They can select blocks relevant to the input while remaining aligned with efficient hardware operations