Rehber bağlantılı sınav · Sert Seviye
Doğrusal Dikkat ve Performans Çekirdekleri Testi
Softmax dikkatin sıra maliyetini, ilişkisel yeniden düzenlemeyi, FAVOR+ çekirdek yaklaşımını, rastgele özellikleri ve doğrusal karmaşıklığı kontrol eder.
Soru 1 arasında 8
Standart softmax dikkati dizi uzunluğuna göre neden zayıf ölçekleniyor?
Her soruyu önizleyin8 sorular
Testi çözdüğünüzde cevaplar ve açıklamalar görünür.
- Standart softmax dikkati dizi uzunluğuna göre neden zayıf ölçekleniyor?
- Zamanı ve hafızası dizi uzunluğunun karesiyle büyür
- Tüm belirteçlerin alfabetik olarak sıralanmasını gerektirir
- Aynı anda yalnızca bir jetonu işleyebilir
- Token başına ayrı bir sinir ağına ihtiyaç duyar
- Hangi matematiksel özellik doğrusal dikkatin n'ye n matristen kaçınmasını sağlar?
- Toplamanın değişebilirliği
- Matris çarpımının ilişkilendirilebilirliği
- Softmax'ın dağılım yasası
- Özdeğer ayrıştırması
- Performer'ın FAVOR+ mekanizması yaklaşık olarak ne kadardır?
- Gradyan iniş güncellemeleri
- Tokenizer sözlüğü
- Softmax dikkat çekirdeği
- Katman normalleştirme istatistikleri
- Performer neden daha önceki trigonometrik özellikler yerine pozitif rastgele özellikler kullanıyor?
- Yalnızca CPU'larda daha hızlı çalışırlar
- Herhangi bir rastgelelik ihtiyacını ortadan kaldırırlar
- Modeli tamamen yorumlanabilir hale getiriyorlar
- Olumsuz olmayan dikkat ağırlıklarını garanti eder ve sayısal kararlılığı artırırlar
- n dizi uzunluğundaki Performansçı tarzı doğrusal dikkatin yaklaşık karmaşıklığı nedir?
- Açık)
- Ç(n^2)
- O(n log n)
- Ç(2^n)
- Tam softmax dikkatiyle karşılaştırıldığında saf doğrusal dikkatin ortak sınırlaması nedir?
- GPU'larda çalışamaz
- Genellikle biraz daha düşük modelleme kalitesi elde eder
- Yalnızca görseller için işe yarar
- Her jeton için etiketlenmiş veri gerektirir
- For attention written as phi(Q)(phi(K)^T V), which multiplication can be done first to avoid creating an n-by-n matrix?
- Compute QK^T and store every pairwise score
- Apply softmax to the full n-by-n matrix first
- Compute phi(K)^T V before multiplying by phi(Q)
- Multiply the final output by the sequence length
- What benefit does using orthogonal random features provide in Performer’s FAVOR+ approximation?
- It guarantees exact softmax for every sequence
- It removes the need for query and key vectors
- It makes attention quadratic in sequence length
- It reduces variance in the random-feature estimate