แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบความเท่าเทียมของลำดับและความสนใจของวงแหวน
การถ่ายโอนบล็อก Ring Attention ของการฝึกปฏิบัติ ซอฟต์แม็กซ์ออนไลน์ และการปรับสมดุลโหลดเชิงสาเหตุ รวมถึงขีดจำกัดของการสื่อสารที่ทับซ้อนกันระหว่างอุปกรณ์
คำถาม 1 ของ 8
ความขนานของลำดับจะแบ่งข้อมูลตามมิติใด
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- ความขนานของลำดับจะแบ่งข้อมูลตามมิติใด
- มิติที่ซ่อนอยู่/คุณลักษณะ
- มิติโทเค็น (ลำดับ)
- มิติแบทช์เท่านั้น
- จำนวนชั้น
- Ring Attention ส่งผ่านอะไรระหว่าง GPU ที่จัดเรียงเป็นวงแหวน
- ตุ้มน้ำหนักรุ่นเต็ม
- สถานะของเครื่องมือเพิ่มประสิทธิภาพ
- บันทึกสุดท้าย
- บล็อกคีย์/ค่า
- Ring Attention สามารถรวมบล็อคความสนใจบางส่วนโดยไม่ต้องประมาณรูปแบบความสนใจทั้งหมดได้อย่างไร
- softmax ออนไลน์ที่มีการรันสูงสุดและนอร์มัลไลเซอร์
- สุ่มวางบล็อคคีย์ที่มองไม่เห็น
- การตัดทอนทุกคีย์ที่อยู่ห่างไกล
- การแทนที่คะแนนความสนใจทั้งหมดด้วยศูนย์
- เหตุใด Ring Attention จึงไม่ต้องใช้ GPU ตัวเดียวในการจัดเก็บ K/V แบบเต็ม
- มันทิ้งกุญแจส่วนใหญ่
- มันใช้รุ่นเล็กกว่า
- K/V จะถูกสตรีมเป็นบล็อกและจะสะสมผลลัพธ์เพียงบางส่วนเท่านั้น
- ความสนใจเป็นการประมาณ ไม่ใช่ที่แน่นอน
- เมื่อใดที่ Ring Attention สามารถลดเวลาที่ใช้ในการถ่ายโอนบล็อก K/V ได้
- เมื่อใดก็ตามที่โมเดลมีพารามิเตอร์จำนวนเท่าใดก็ได้
- เมื่อทุกอุปกรณ์จัดเก็บลำดับทั้งหมดเท่านั้น
- โดยกำจัดการถ่ายโอนระหว่างอุปกรณ์ทั้งหมด
- เมื่อการคำนวณบล็อกที่มีประโยชน์ซ้อนทับกับการถ่ายโอนเหล่านั้น
- การมาสก์เชิงสาเหตุทำให้เกิดความยุ่งยากอะไรบ้างสำหรับการปรับสมดุลโหลด Ring Attention
- มันทำให้โมเดลไม่สามารถแยกแยะได้
- โทเค็นในภายหลังเข้าร่วมกับคีย์มากขึ้น ส่งผลให้การทำงานต่อ GPU ไม่สม่ำเสมอ
- มันทำให้ไม่จำเป็นต้องใช้แหวน
- มันเพิ่มจำนวนพารามิเตอร์เป็นสองเท่า
- บล็อก Ring Attention ใหม่มีคะแนนความสนใจมากกว่าบล็อกก่อนหน้า เหตุใดจึงต้องรีสเกลผลรวม softmax ก่อนหน้านี้
- เพื่อละทิ้งคีย์ก่อนหน้าอย่างถาวร
- เพื่อแทนที่การฝังโทเค็นทั้งหมด
- เพื่อให้เงื่อนไขสะสมสอดคล้องกับค่าสูงสุดที่อัปเดต
- เพื่อลดขนาดคำศัพท์
- ภายใต้การมาสก์เชิงสาเหตุด้วยชิ้นส่วนลำดับที่ต่อเนื่องกัน โทเค็นใดที่ต้องดำเนินการเอาใจใส่มากกว่านี้
- โทเค็นภายหลังที่สามารถเข้าร่วมตำแหน่งก่อนหน้าได้
- โทเค็นทั้งหมดต้องมีคีย์เดียวเท่านั้น
- เฉพาะโทเค็นการขยายที่จุดเริ่มต้น
- โทเค็นก่อนหน้านี้เพราะพวกเขาสามารถมองเห็นอนาคตได้