Kuis terkait panduan · Sedang Tingkat

Kuis Bias Posisi ALiBi

Periksa bagaimana ALiBi menambahkan bias perhatian berbasis jarak dan mendukung rangkaian inferensi yang lebih panjang tanpa mempelajari tabel posisi absolut.

Jalur panduan terkaitBias Posisi Alibi
Pertanyaan 1 dari 8

Apa kepanjangan dari ALiBi?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Apa kepanjangan dari ALiBi?
    • Perhatian dengan Bias Linier
    • Bias Linier Adaptif
    • Pengkodean Dua Arah yang Selaras
    • Pengindeksan Linier Absolut
  2. Bagaimana ALiBi menghukum token jarak jauh?
    • Dengan memusatkan perhatian pada penyematan di luar jendela tetap
    • Dengan menambahkan penalti yang sebanding dengan jarak antara kueri dan posisi kunci
    • Dengan mempelajari penyematan terpisah untuk setiap posisi
    • Dengan memutar query dan vektor kunci
  3. Apa keunggulan praktis ALiBi yang paling terkenal?
    • Ini menghilangkan kebutuhan akan softmax
    • Itu membuat perhatian berjalan dalam memori yang konstan
    • Ini mengekstrapolasi dengan baik ke urutan yang lebih panjang daripada yang terlihat dalam pelatihan
    • Ini menghilangkan kebutuhan akan banyak kepala perhatian
  4. Apa yang berbeda dengan bias linier di seluruh kepala perhatian?
    • Setiap kepala memiliki kemiringan yang sama persis
    • Lereng dipelajari selama pelatihan
    • Hanya kepala pertama yang mendapat bias
    • Setiap kepala mempunyai kemiringan tetapnya sendiri, membentuk barisan geometri
  5. Dibandingkan dengan penyematan posisi tradisional, ALiBi menambahkan berapa banyak parameter yang dipelajari?
    • Tidak ada - kemiringan biasnya tetap, tidak dipelajari
    • Satu per posisi
    • Satu per tanda
    • Dua per kepala perhatian
  6. Model besar terkenal manakah yang menggunakan ALiBi untuk informasi posisi?
    • GPT-2
    • MEKAR
    • BERT
    • Kata2Vec
  7. At what stage does ALiBi apply its distance-based bias?
    • To token IDs before they enter the embedding table
    • To the final vocabulary probabilities after decoding
    • To query-key attention scores before the softmax
    • To the training labels after loss calculation
  8. Why can ALiBi support inference on sequences longer than those used in training?
    • It removes the need for attention at longer lengths
    • It automatically retrains the model while generating
    • It stores a complete answer for every possible sequence length
    • Its distance-based bias does not require a separately learned embedding for every absolute position