แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบความเท่าเทียมของเทนเซอร์สำหรับโมเดลขนาดใหญ่

ตรวจสอบว่าเทนเซอร์ความขนานของชิ้นส่วนเมทริกซ์เป็นชั้น รวมเอาต์พุตบางส่วน แยกส่วนหัวของความสนใจ และปรับให้เข้ากับความขนานแบบหลายแกนได้อย่างไร

เส้นทางแนะนำที่เกี่ยวข้องความขนานของเทนเซอร์สำหรับรุ่นขนาดใหญ่
คำถาม 1 ของ 8

ความเท่าเทียมของเทนเซอร์แบ่งตาม GPU อย่างไร

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. ความเท่าเทียมของเทนเซอร์แบ่งตาม GPU อย่างไร
    • เมทริกซ์น้ำหนักภายในชั้นเดียว
    • เลเยอร์ทั้งหมดวางอยู่บน GPU แยกกัน
    • ชุดข้อมูลการฝึกอบรมที่แตกต่างกัน
    • อัตราการเรียนรู้ของเครื่องมือเพิ่มประสิทธิภาพ
  2. ในการแยก MLP แบบเมกะตรอน เมทริกซ์น้ำหนักสองตัวจะถูกแบ่งพาร์ติชันเพื่อลดการสื่อสารอย่างไร
    • ทั้งแบบคอลัมน์
    • เรียงตามคอลัมน์แรก เรียงตามแถวที่สอง
    • ทั้งสองแถว
    • พวกเขาไม่ได้แบ่งพาร์ติชันเลย
  3. เหตุใดความเท่าเทียมของเทนเซอร์จึงมักถูกเก็บไว้ภายในโหนดเดียว
    • โหนดไม่สามารถเรียกใช้ GPU ได้
    • GPU ในโหนดที่ต่างกันใช้คณิตศาสตร์ต่างกัน
    • ต้องการการสื่อสารที่มีแบนด์วิธสูงบ่อยครั้งซึ่งให้บริการโดย NVLink ได้ดีที่สุด
    • มันเป็นข้อกำหนดทางกฎหมาย
  4. โดยทั่วไปแล้วกลไกความสนใจจะขนานกันภายใต้ความเท่าเทียมของเทนเซอร์อย่างไร
    • ด้วยการให้ GPU ทุกตัวมีการคำนวณความสนใจอย่างเต็มที่อย่างซ้ำซ้อน
    • โดยละเลยความสนใจโดยสิ้นเชิง
    • โดยการเปลี่ยนความสนใจไปสู่การบิดเบี้ยว
    • โดยการแยกส่วนความสนใจออกไป GPU แต่ละตัวจะจัดการชุดย่อย
  5. การดำเนินการโดยรวมแบบใดที่มักรวมผลลัพธ์บางส่วนไว้ในความเท่าเทียมของเทนเซอร์
    • ลดทั้งรายการ
    • สำเนาไฟล์
    • การเข้าร่วมฐานข้อมูล
    • การค้นหา DNS
  6. โดยทั่วไปแล้วความเท่าเทียมของเทนเซอร์จะเข้ากับ 'ความเท่าเทียม 3 มิติ' ได้อย่างไร
    • มันมาแทนที่ความเท่าเทียมรูปแบบอื่นๆ ทั้งหมด
    • มันถูกรวมเข้ากับไปป์ไลน์และความเท่าเทียมของข้อมูล
    • มันใช้งานได้โดยไม่มีความเท่าเทียมอื่นใด
    • ใช้สำหรับโมเดลรูปภาพเท่านั้น
  7. After the row-wise partition of an MLP’s second matrix, why must GPUs combine partial outputs?
    • The GPUs each hold a different optimizer
    • The result is a vocabulary probability that must be sorted
    • Each GPU computed a partial contribution to the same output, so the pieces must be summed
    • The model needs to average separate datasets
  8. Why can interconnect latency limit tensor-parallel scaling across distant nodes?
    • Tensor parallelism never communicates between GPUs
    • The attention mask must be copied after every token
    • Every GPU trains a separate model
    • Collectives are required repeatedly within layers, so communication latency accumulates