แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบความเท่าเทียมของเทนเซอร์สำหรับโมเดลขนาดใหญ่
ตรวจสอบว่าเทนเซอร์ความขนานของชิ้นส่วนเมทริกซ์เป็นชั้น รวมเอาต์พุตบางส่วน แยกส่วนหัวของความสนใจ และปรับให้เข้ากับความขนานแบบหลายแกนได้อย่างไร
คำถาม 1 ของ 8
ความเท่าเทียมของเทนเซอร์แบ่งตาม GPU อย่างไร
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- ความเท่าเทียมของเทนเซอร์แบ่งตาม GPU อย่างไร
- เมทริกซ์น้ำหนักภายในชั้นเดียว
- เลเยอร์ทั้งหมดวางอยู่บน GPU แยกกัน
- ชุดข้อมูลการฝึกอบรมที่แตกต่างกัน
- อัตราการเรียนรู้ของเครื่องมือเพิ่มประสิทธิภาพ
- ในการแยก MLP แบบเมกะตรอน เมทริกซ์น้ำหนักสองตัวจะถูกแบ่งพาร์ติชันเพื่อลดการสื่อสารอย่างไร
- ทั้งแบบคอลัมน์
- เรียงตามคอลัมน์แรก เรียงตามแถวที่สอง
- ทั้งสองแถว
- พวกเขาไม่ได้แบ่งพาร์ติชันเลย
- เหตุใดความเท่าเทียมของเทนเซอร์จึงมักถูกเก็บไว้ภายในโหนดเดียว
- โหนดไม่สามารถเรียกใช้ GPU ได้
- GPU ในโหนดที่ต่างกันใช้คณิตศาสตร์ต่างกัน
- ต้องการการสื่อสารที่มีแบนด์วิธสูงบ่อยครั้งซึ่งให้บริการโดย NVLink ได้ดีที่สุด
- มันเป็นข้อกำหนดทางกฎหมาย
- โดยทั่วไปแล้วกลไกความสนใจจะขนานกันภายใต้ความเท่าเทียมของเทนเซอร์อย่างไร
- ด้วยการให้ GPU ทุกตัวมีการคำนวณความสนใจอย่างเต็มที่อย่างซ้ำซ้อน
- โดยละเลยความสนใจโดยสิ้นเชิง
- โดยการเปลี่ยนความสนใจไปสู่การบิดเบี้ยว
- โดยการแยกส่วนความสนใจออกไป GPU แต่ละตัวจะจัดการชุดย่อย
- การดำเนินการโดยรวมแบบใดที่มักรวมผลลัพธ์บางส่วนไว้ในความเท่าเทียมของเทนเซอร์
- ลดทั้งรายการ
- สำเนาไฟล์
- การเข้าร่วมฐานข้อมูล
- การค้นหา DNS
- โดยทั่วไปแล้วความเท่าเทียมของเทนเซอร์จะเข้ากับ 'ความเท่าเทียม 3 มิติ' ได้อย่างไร
- มันมาแทนที่ความเท่าเทียมรูปแบบอื่นๆ ทั้งหมด
- มันถูกรวมเข้ากับไปป์ไลน์และความเท่าเทียมของข้อมูล
- มันใช้งานได้โดยไม่มีความเท่าเทียมอื่นใด
- ใช้สำหรับโมเดลรูปภาพเท่านั้น
- After the row-wise partition of an MLP’s second matrix, why must GPUs combine partial outputs?
- The GPUs each hold a different optimizer
- The result is a vocabulary probability that must be sorted
- Each GPU computed a partial contribution to the same output, so the pieces must be summed
- The model needs to average separate datasets
- Why can interconnect latency limit tensor-parallel scaling across distant nodes?
- Tensor parallelism never communicates between GPUs
- The attention mask must be copied after every token
- Every GPU trains a separate model
- Collectives are required repeatedly within layers, so communication latency accumulates