แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบอคติตำแหน่ง ALiBi

ตรวจสอบว่า ALiBi เพิ่มอคติความสนใจตามระยะทางและสนับสนุนลำดับการอนุมานที่ยาวขึ้นโดยไม่ต้องเรียนรู้ตารางตำแหน่งสัมบูรณ์

เส้นทางแนะนำที่เกี่ยวข้องอคติตำแหน่งข้อแก้ตัว
คำถาม 1 ของ 8

อาลีบี ย่อมาจากอะไร?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. อาลีบี ย่อมาจากอะไร?
    • ความสนใจด้วยอคติเชิงเส้น
    • อคติเชิงเส้นแบบปรับตัว
    • จัดการเข้ารหัสแบบสองทิศทาง
    • การจัดทำดัชนีเชิงเส้นแบบสัมบูรณ์
  2. ALiBi ลงโทษโทเค็นระยะไกลอย่างไร
    • โดยการทำให้การฝังเป็นศูนย์นอกเหนือจากหน้าต่างที่ตายตัว
    • โดยเพิ่มโทษตามสัดส่วนระยะห่างระหว่างคิวรีและตำแหน่งคีย์
    • โดยการเรียนรู้การฝังแยกทุกตำแหน่ง
    • โดยการหมุนแบบสอบถามและเวกเตอร์คีย์
  3. อะไรคือข้อได้เปรียบในทางปฏิบัติที่โด่งดังที่สุดของ ALiBi?
    • ทำให้ไม่จำเป็นต้องใช้ซอฟต์แม็กซ์อีกต่อไป
    • มันทำให้ความสนใจทำงานในหน่วยความจำคงที่
    • มันคาดการณ์ได้ดีถึงลำดับที่ยาวกว่าที่เห็นในการฝึก
    • มันขจัดความจำเป็นในการมีหัวความสนใจหลายอัน
  4. อะไรคือความแตกต่างเกี่ยวกับอคติเชิงเส้นในหัวความสนใจ?
    • แต่ละหัวมีความชันเท่ากันทุกประการ
    • มีการเรียนรู้ความลาดชันระหว่างการฝึกซ้อม
    • เฉพาะหัวแรกเท่านั้นที่ได้รับอคติ
    • แต่ละหัวมีความชันคงที่ของตัวเอง ทำให้เกิดลำดับทางเรขาคณิต
  5. เมื่อเปรียบเทียบกับการฝังตำแหน่งแบบเดิม ALiBi จะเพิ่มพารามิเตอร์ที่เรียนรู้จำนวนเท่าใด
    • ไม่มี — ความชันอคติได้รับการแก้ไขแล้ว ไม่ได้เรียนรู้
    • ตำแหน่งละหนึ่งคน
    • หนึ่งรายการต่อโทเค็น
    • สองต่อหัวความสนใจ
  6. รุ่นใหญ่ชื่อดังรุ่นใดที่ใช้ ALiBi สำหรับข้อมูลตำแหน่ง
    • GPT-2
    • บลูม
    • เบิร์ต
    • Word2Vec
  7. At what stage does ALiBi apply its distance-based bias?
    • To token IDs before they enter the embedding table
    • To the final vocabulary probabilities after decoding
    • To query-key attention scores before the softmax
    • To the training labels after loss calculation
  8. Why can ALiBi support inference on sequences longer than those used in training?
    • It removes the need for attention at longer lengths
    • It automatically retrains the model while generating
    • It stores a complete answer for every possible sequence length
    • Its distance-based bias does not require a separately learned embedding for every absolute position