แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบอคติตำแหน่ง ALiBi
ตรวจสอบว่า ALiBi เพิ่มอคติความสนใจตามระยะทางและสนับสนุนลำดับการอนุมานที่ยาวขึ้นโดยไม่ต้องเรียนรู้ตารางตำแหน่งสัมบูรณ์
คำถาม 1 ของ 8
อาลีบี ย่อมาจากอะไร?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- อาลีบี ย่อมาจากอะไร?
- ความสนใจด้วยอคติเชิงเส้น
- อคติเชิงเส้นแบบปรับตัว
- จัดการเข้ารหัสแบบสองทิศทาง
- การจัดทำดัชนีเชิงเส้นแบบสัมบูรณ์
- ALiBi ลงโทษโทเค็นระยะไกลอย่างไร
- โดยการทำให้การฝังเป็นศูนย์นอกเหนือจากหน้าต่างที่ตายตัว
- โดยเพิ่มโทษตามสัดส่วนระยะห่างระหว่างคิวรีและตำแหน่งคีย์
- โดยการเรียนรู้การฝังแยกทุกตำแหน่ง
- โดยการหมุนแบบสอบถามและเวกเตอร์คีย์
- อะไรคือข้อได้เปรียบในทางปฏิบัติที่โด่งดังที่สุดของ ALiBi?
- ทำให้ไม่จำเป็นต้องใช้ซอฟต์แม็กซ์อีกต่อไป
- มันทำให้ความสนใจทำงานในหน่วยความจำคงที่
- มันคาดการณ์ได้ดีถึงลำดับที่ยาวกว่าที่เห็นในการฝึก
- มันขจัดความจำเป็นในการมีหัวความสนใจหลายอัน
- อะไรคือความแตกต่างเกี่ยวกับอคติเชิงเส้นในหัวความสนใจ?
- แต่ละหัวมีความชันเท่ากันทุกประการ
- มีการเรียนรู้ความลาดชันระหว่างการฝึกซ้อม
- เฉพาะหัวแรกเท่านั้นที่ได้รับอคติ
- แต่ละหัวมีความชันคงที่ของตัวเอง ทำให้เกิดลำดับทางเรขาคณิต
- เมื่อเปรียบเทียบกับการฝังตำแหน่งแบบเดิม ALiBi จะเพิ่มพารามิเตอร์ที่เรียนรู้จำนวนเท่าใด
- ไม่มี — ความชันอคติได้รับการแก้ไขแล้ว ไม่ได้เรียนรู้
- ตำแหน่งละหนึ่งคน
- หนึ่งรายการต่อโทเค็น
- สองต่อหัวความสนใจ
- รุ่นใหญ่ชื่อดังรุ่นใดที่ใช้ ALiBi สำหรับข้อมูลตำแหน่ง
- GPT-2
- บลูม
- เบิร์ต
- Word2Vec
- At what stage does ALiBi apply its distance-based bias?
- To token IDs before they enter the embedding table
- To the final vocabulary probabilities after decoding
- To query-key attention scores before the softmax
- To the training labels after loss calculation
- Why can ALiBi support inference on sequences longer than those used in training?
- It removes the need for attention at longer lengths
- It automatically retrains the model while generating
- It stores a complete answer for every possible sequence length
- Its distance-based bias does not require a separately learned embedding for every absolute position