แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบส่วนผสมของความลึก

ทดสอบเราเตอร์โทเค็นที่เรียนรู้ของ MoD ความจุ Top-K แบบคงที่ เส้นทางที่เหลือสำหรับโทเค็นที่ถูกข้าม รูปร่างคงที่ และการป้องกันการกำหนดเส้นทางเชิงสาเหตุ

เส้นทางแนะนำที่เกี่ยวข้องส่วนผสมของความลึก
คำถาม 1 ของ 8

Mixture of Depths แตกต่างกันไปตามโทเค็นอย่างไร

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. Mixture of Depths แตกต่างกันไปตามโทเค็นอย่างไร
    • แต่ละโทเค็นได้รับการประมวลผล (เลเยอร์ใด) มากเพียงใด
    • คำศัพท์ที่ใช้
    • ชุดข้อมูลการฝึกอบรม
    • ภาษาเอาท์พุท
  2. MoD จะรักษางบประมาณการประมวลผลให้คาดการณ์ได้อย่างไร
    • โดยสุ่มทิ้งน้ำหนักโมเดลลงครึ่งหนึ่ง
    • โดยการประมวลผลโทเค็นเศษส่วน top-k คงที่ในแต่ละบล็อก
    • โดยใช้รูปแบบที่แตกต่างกันในแต่ละประโยค
    • โดยปิดบังความสนใจโดยสิ้นเชิง
  3. จะเกิดอะไรขึ้นกับโทเค็นที่เราเตอร์ไม่ได้เลือกที่บล็อกที่กำหนด
    • พวกมันจะถูกลบออกจากลำดับ
    • พวกเขาถูกส่งไปยังรุ่นแยกต่างหาก
    • พวกเขาข้ามบล็อกผ่านการเชื่อมต่อที่เหลือโดยผ่านโดยไม่มีการเปลี่ยนแปลง
    • พวกเขาจะถูกแปลงเป็นรูปภาพ
  4. Which lab published the Mixture of Depths technique?
    • OpenAI ในปี 2019
    • Meta ในปี 2558
    • Microsoft ในปี 2012
    • Google DeepMind ในปี 2024
  5. การรวม MoD เข้ากับ Mixture-of-Experts ก่อให้เกิดอะไร?
    • โหมดซึ่งกำหนดเส้นทางทั้งเชิงลึกและตัวเลือกของผู้เชี่ยวชาญ
    • โมเดลที่ไม่มีพารามิเตอร์
    • เครือข่าย Convolutional ที่บริสุทธิ์
    • ระบบโทเค็นเท่านั้น
  6. เหตุใดจึงเลือกใช้ top-k แบบคงที่มากกว่าเกณฑ์ต่อโทเค็นใน MoD
    • มันทำให้โมเดลส่งออกข้อความแบบสุ่ม
    • มันทำให้รูปร่างของเทนเซอร์คงที่ ซึ่งมีประสิทธิภาพกับฮาร์ดแวร์
    • มันขจัดความจำเป็นในการฝึกอบรม
    • มันเพิ่มขนาดคำศัพท์
  7. What does the learned router do at a Mixture-of-Depths block?
    • Selects a new model family for every prompt
    • Predicts labels for the next training batch
    • Scores tokens so the block can select which ones receive full attention and MLP computation
    • Changes the vocabulary size at inference
  8. Why does causal generation in MoD use auxiliary predictors for routing?
    • To let a model read the entire answer before generating
    • To remove the fixed top-k compute budget
    • To convert the sequence into an image
    • To make routing decisions without looking at future tokens