Kuiz berkaitan panduan · Sederhana Tahap

Kuiz Bias Kedudukan ALiBi

Semak cara ALiBi menambah bias perhatian berasaskan jarak dan menyokong jujukan inferens yang lebih panjang tanpa jadual kedudukan mutlak yang dipelajari.

Laluan panduan yang berkaitanBias Kedudukan Alibi
soalan 1 daripada 8

Apakah maksud ALiBi?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah maksud ALiBi?
    • Perhatian dengan Bias Linear
    • Bias Linear Adaptif
    • Pengekodan Dwi Arah Sejajar
    • Pengindeksan Linear Mutlak
  2. Bagaimanakah ALiBi menghukum token jauh?
    • Dengan menyifarkan benam di luar tetingkap tetap
    • Dengan menambahkan penalti yang berkadar dengan jarak antara pertanyaan dan kedudukan utama
    • Dengan mempelajari pembenaman berasingan untuk setiap kedudukan
    • Dengan memutarkan pertanyaan dan vektor kunci
  3. Apakah kelebihan praktikal ALiBi yang paling terkenal?
    • Ia menghapuskan keperluan untuk softmax
    • Ia menjadikan perhatian berjalan dalam ingatan yang berterusan
    • Ia mengekstrapolasi dengan baik kepada urutan yang lebih lama daripada yang dilihat dalam latihan
    • Ia menghilangkan keperluan untuk pelbagai kepala perhatian
  4. Apakah yang berbeza tentang bias linear merentas kepala perhatian?
    • Setiap kepala berkongsi cerun yang sama
    • Cerun dipelajari semasa latihan
    • Hanya kepala pertama menerima berat sebelah
    • Setiap kepala mendapat cerun tetapnya sendiri, membentuk jujukan geometri
  5. Berbanding dengan benam kedudukan tradisional, ALiBi menambah berapa banyak parameter yang dipelajari?
    • Tiada — cerun berat sebelah ditetapkan, bukan dipelajari
    • Satu setiap kedudukan
    • Satu setiap token
    • Dua setiap kepala perhatian
  6. Model besar yang terkenal manakah yang menggunakan ALiBi untuk maklumat kedudukan?
    • GPT-2
    • BLOOM
    • BERT
    • Word2Vec
  7. At what stage does ALiBi apply its distance-based bias?
    • To token IDs before they enter the embedding table
    • To the final vocabulary probabilities after decoding
    • To query-key attention scores before the softmax
    • To the training labels after loss calculation
  8. Why can ALiBi support inference on sequences longer than those used in training?
    • It removes the need for attention at longer lengths
    • It automatically retrains the model while generating
    • It stores a complete answer for every possible sequence length
    • Its distance-based bias does not require a separately learned embedding for every absolute position