Rehber bağlantılı sınav · Orta Seviye

ALiBi Pozisyon Önyargı Testi

ALiBi'nin mesafeye dayalı dikkat önyargılarını nasıl eklediğini ve öğrenilmiş mutlak konum tabloları olmadan daha uzun çıkarım dizilerini nasıl desteklediğini kontrol edin.

İlgili kılavuz yollarıAlibi Pozisyonu Önyargısı
Soru 1 arasında 8

ALiBi'nin açılımı nedir?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. ALiBi'nin açılımı nedir?
    • Doğrusal Önyargılara Dikkat
    • Uyarlanabilir Doğrusal Önyargı
    • Hizalanmış Çift Yönlü Kodlama
    • Mutlak Doğrusal İndeksleme
  2. ALiBi uzaktaki tokenları nasıl cezalandırıyor?
    • Sabit bir pencerenin ötesindeki yerleştirmeleri sıfırlayarak
    • Sorgu ile anahtar konumlar arasındaki mesafeyle orantılı bir ceza eklenerek
    • Her konum için ayrı bir yerleştirme öğrenerek
    • Sorgu ve anahtar vektörleri döndürerek
  3. ALiBi'nin en ünlü pratik avantajı nedir?
    • Softmax ihtiyacını ortadan kaldırır
    • Dikkatin sürekli hafızada çalışmasını sağlar
    • Eğitimde görülenlerden daha uzun dizilere iyi bir tahminde bulunur
    • Birden fazla dikkat başlığına olan ihtiyacı ortadan kaldırır
  4. Dikkat kafaları arasındaki doğrusal önyargının farkı nedir?
    • Her kafa tam olarak aynı eğimi paylaşıyor
    • Eğimler antrenman sırasında öğrenilir
    • Yalnızca ilk kafa önyargı alır
    • Her kafa, geometrik bir dizi oluşturan kendi sabit eğimine sahiptir
  5. Geleneksel konumsal yerleştirmelerle karşılaştırıldığında ALiBi kaç tane öğrenilmiş parametre ekler?
    • Yok — önyargı eğimleri sabittir, öğrenilmez
    • Pozisyon başına bir tane
    • Jeton başına bir tane
    • Dikkat kafası başına iki
  6. Hangi tanınmış büyük model konum bilgisi için ALiBi'yi kullandı?
    • GPT-2
    • ÇİÇEK
    • BERT
    • Word2Vec
  7. At what stage does ALiBi apply its distance-based bias?
    • To token IDs before they enter the embedding table
    • To the final vocabulary probabilities after decoding
    • To query-key attention scores before the softmax
    • To the training labels after loss calculation
  8. Why can ALiBi support inference on sequences longer than those used in training?
    • It removes the need for attention at longer lengths
    • It automatically retrains the model while generating
    • It stores a complete answer for every possible sequence length
    • Its distance-based bias does not require a separately learned embedding for every absolute position