แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบความเท่าเทียมของลำดับและความสนใจของวงแหวน

การถ่ายโอนบล็อก Ring Attention ของการฝึกปฏิบัติ ซอฟต์แม็กซ์ออนไลน์ และการปรับสมดุลโหลดเชิงสาเหตุ รวมถึงขีดจำกัดของการสื่อสารที่ทับซ้อนกันระหว่างอุปกรณ์

เส้นทางแนะนำที่เกี่ยวข้องความขนานของลำดับและความสนใจของวงแหวน
คำถาม 1 ของ 8

ความขนานของลำดับจะแบ่งข้อมูลตามมิติใด

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. ความขนานของลำดับจะแบ่งข้อมูลตามมิติใด
    • มิติที่ซ่อนอยู่/คุณลักษณะ
    • มิติโทเค็น (ลำดับ)
    • มิติแบทช์เท่านั้น
    • จำนวนชั้น
  2. Ring Attention ส่งผ่านอะไรระหว่าง GPU ที่จัดเรียงเป็นวงแหวน
    • ตุ้มน้ำหนักรุ่นเต็ม
    • สถานะของเครื่องมือเพิ่มประสิทธิภาพ
    • บันทึกสุดท้าย
    • บล็อกคีย์/ค่า
  3. Ring Attention สามารถรวมบล็อคความสนใจบางส่วนโดยไม่ต้องประมาณรูปแบบความสนใจทั้งหมดได้อย่างไร
    • softmax ออนไลน์ที่มีการรันสูงสุดและนอร์มัลไลเซอร์
    • สุ่มวางบล็อคคีย์ที่มองไม่เห็น
    • การตัดทอนทุกคีย์ที่อยู่ห่างไกล
    • การแทนที่คะแนนความสนใจทั้งหมดด้วยศูนย์
  4. เหตุใด Ring Attention จึงไม่ต้องใช้ GPU ตัวเดียวในการจัดเก็บ K/V แบบเต็ม
    • มันทิ้งกุญแจส่วนใหญ่
    • มันใช้รุ่นเล็กกว่า
    • K/V จะถูกสตรีมเป็นบล็อกและจะสะสมผลลัพธ์เพียงบางส่วนเท่านั้น
    • ความสนใจเป็นการประมาณ ไม่ใช่ที่แน่นอน
  5. เมื่อใดที่ Ring Attention สามารถลดเวลาที่ใช้ในการถ่ายโอนบล็อก K/V ได้
    • เมื่อใดก็ตามที่โมเดลมีพารามิเตอร์จำนวนเท่าใดก็ได้
    • เมื่อทุกอุปกรณ์จัดเก็บลำดับทั้งหมดเท่านั้น
    • โดยกำจัดการถ่ายโอนระหว่างอุปกรณ์ทั้งหมด
    • เมื่อการคำนวณบล็อกที่มีประโยชน์ซ้อนทับกับการถ่ายโอนเหล่านั้น
  6. การมาสก์เชิงสาเหตุทำให้เกิดความยุ่งยากอะไรบ้างสำหรับการปรับสมดุลโหลด Ring Attention
    • มันทำให้โมเดลไม่สามารถแยกแยะได้
    • โทเค็นในภายหลังเข้าร่วมกับคีย์มากขึ้น ส่งผลให้การทำงานต่อ GPU ไม่สม่ำเสมอ
    • มันทำให้ไม่จำเป็นต้องใช้แหวน
    • มันเพิ่มจำนวนพารามิเตอร์เป็นสองเท่า
  7. บล็อก Ring Attention ใหม่มีคะแนนความสนใจมากกว่าบล็อกก่อนหน้า เหตุใดจึงต้องรีสเกลผลรวม softmax ก่อนหน้านี้
    • เพื่อละทิ้งคีย์ก่อนหน้าอย่างถาวร
    • เพื่อแทนที่การฝังโทเค็นทั้งหมด
    • เพื่อให้เงื่อนไขสะสมสอดคล้องกับค่าสูงสุดที่อัปเดต
    • เพื่อลดขนาดคำศัพท์
  8. ภายใต้การมาสก์เชิงสาเหตุด้วยชิ้นส่วนลำดับที่ต่อเนื่องกัน โทเค็นใดที่ต้องดำเนินการเอาใจใส่มากกว่านี้
    • โทเค็นภายหลังที่สามารถเข้าร่วมตำแหน่งก่อนหน้าได้
    • โทเค็นทั้งหมดต้องมีคีย์เดียวเท่านั้น
    • เฉพาะโทเค็นการขยายที่จุดเริ่มต้น
    • โทเค็นก่อนหน้านี้เพราะพวกเขาสามารถมองเห็นอนาคตได้